ロボットはどこまで人に近づけるのか 進化する卓球ロボット「フォルフェウス」開発者インタビュー(前編)

オムロンのコア技術のフラッグシップとして毎年進化を続けている卓球ロボット「フォルフェウス(FORPHEUS)」。

第5世代はカットやドライブでの返球といった高度な技術や、人の打球動作を高精度に予測する技術、そして個々のプレーヤーに即したコーチング機能を搭載。オムロンが目指す「人と機械の融和」に欠かせない「人の能力を引き出すロボット」の姿にまた一歩近づいた。この開発のために集まったのが、新入社員2人を含む5人の技術者。与えられた開発期間は9か月。その中で彼らは何に挑み、何を成し遂げたのか、開発の軌跡に迫った。

(メンバー紹介)

チームリーダー 八瀬 哲志 (組込システム研究開発センタ 無線・組込研究室所属) (写真中央)

ハードウェア/制御担当 浅井 恭平 (知能システム研究開発センタ AI制御研究室所属) (左から2人目)

制御担当 劉 暁俊(りゅう・ぎょうしゅん) (知能システム研究開発センタ AI制御研究室所属) (左端)

ビジョン担当 中山 雅宗 (センシング研究開発センタ 画像センシング研究室所属) (右から2人目)

ビジョン担当 佐々木 勇輝 (センシング研究開発センタ 画像センシング研究室所属) (右端)

 

"世界初"への挑戦 「人の肘のように動くアーム」

ーー第5世代の開発テーマは「KURO-OBI(黒帯) ~エキスパートプレイヤー&コーチ~」と伺いました。その理由を教えてもらえませんか?

八瀬:はい。フォルフェウスには、「人と機械の融和」というオムロンが目指す未来像を、世の中の人に体験を通して理解・共感していただくという目的があります。「人と機械の融和」とは、人と機械が互いに学び合い、共に成長していく姿です。人の能力を引き出すためには、一人ひとりに応じたコーチングが不可欠で、そのためにはまず、フォルフェウス自身が卓球の「エキスパートプレイヤー」であり、かつ「エキスパートコーチ」になる必要があると考えました。

 

ーー「エキスパート」になるため、具体的にどんな進化を目指したのですか?

浅井:「カットやドライブでの返球」の実現です。このためにハードウェアから見直す必要がありました。使用していたピック&プレイス※のロボットは、ボールを打つためにラケットを前に押し出す動作はできたのですが、上方向に振り上げる動きが弱く、そのための新たな軸を増やしたらどうかと思い、関節を1軸増やし、「人の肘のような動き」を実現できるようにしました。

 

八瀬:卓球に限らずピック&プレイスの理想は、人間が手で行う細かい作業もできるようになることです。それはつまり、ハードウェアとして、いかに人間の肩から手先の機能に近づけることができるかという挑戦でもあります。

※ピック&プレイス...ファクトリーオートメーションの中で特定の位置のモノを掴み特定の場所へ運ぶ機構のこと

ーーメンバーにハードウェアの専門家はいたのですか?

浅井:新人の劉が大学で学んでいましたが、開発が始まった時はまだチームには加入しておらず、ほとんど私が行いました。私は情報処理系の人間で、ハードの設計はおろか触ったことすらなく、苦労しかなかったです。

 

ーーそれは大変でしたね。特にどんな点で苦労しましたか?

浅井:モーターや減速機一つをとっても、世の中には数え切れないほどあり、その中から最適なものを選ぶのにまず時間がかかりました。モーターの制御においても、最初はごく簡単な動きですら軸が振動してしまい、原因を突き止めるのに一週間、二週間かかったことも。あの形のアームは世の中にありませんでしたからね。資料もない中、試行錯誤の日々が続きました。

 

八瀬:ハードウェアの作り込みに加えて、どう動かすかという部分が大きな課題でした。卓球は非常に早いスイングを要求されるスポーツです。数十ミリ秒、数ミリ秒くらいの高精度で上手くスイングしてボールに当てないといけない。速さと精度を両立したハードウェアを作り、かつ、それを最大化するためのアルゴリズムを実装するという部分で、多くの時間を費やしがんばっていました。

 

浅井:たとえば卓球のドライブは下から上に振り上げて回転をかけますが、ロボットにどういう指令を送って、どういう動作をさせたらいいか、それを研究しているところが世界にはなく、ラケットを制御する複数軸のアームが世界初なら、それを動かすアルゴリズムも世界初。正解のないところを突き進んでいく感じでした。もしかしたら、ほかの方法に解があったかもしれないですが、限られた開発期間の中で到達した今の姿は一つの最適解だと思っています。

巧みなスイングを可能にする複数軸のロボットアーム。人間の肘や手首の動きのように軸を制御している

劉:私は浅井とは正反対で、大学では機械系を学んでいて、入社するまでアルゴリズムを考えたり、実装したりという経験がありませんでした。だからとても時間がかかってしまって......。それでも納期に間に合わせないといけない。そんなプレッシャーから落ち込んでいた時、出身地の上海で一世代前の卓球ロボットを展示する展示会に参加したんです。

 

ーー中国といえば卓球の本場です。お客様も厳しそうですね。

劉:「もっと速く打てないの?」「スマッシュ打ってみて」と要求が高くて。自分ががんばってアルゴリズムを実装しないと卓球ロボットのすごさをわかってもらえないことを実感し、逆に励みになりました。今の第5世代なら「もっと速く打てないの?」とおっしゃっていたお客様にも満足してもらえると思います。

 

浅井:逆に第5世代を初披露した1月のCESでは「回転をかけて返している!」「腕の動きがなんか変わっている」と細かい部分まで気づいてくれた方も多く、4月のハノーバーメッセでは、ドイツのメルケル首相にも目の前で見てもらえて、数々の苦労も一瞬で喜びに変わりました。

CES2019での開発チームの様子

CES2019での開発チームの様子

人のような高度な返球能力を持つロボットへ

ーーアームに加え、第5世代はカメラの数も増えていますよね?

中山:卓球の動きは非常にダイナミックで、カメラが1台しかないと欲しい動作がうまく撮れないんです。たとえば振りかぶった時など、体が邪魔になって手の動きが見えていませんでした。そのため、人の動きをとらえるカメラを2台に増やしました。

さらに、人がどこへ打とうとしているのかを判断するためには、体の動きだけでなく、人の持つラケットの位置や向きもセンシングする必要があると考え、新たにラケットを撮るカメラも追加しました。その部分の画像処理は新人の佐々木に任せました。

今回追加したラケットを撮るカメラ今回追加したラケットを撮るカメラ

ーー佐々木さんは画像処理の経験はあったんですか?

佐々木:プログラミングは大学でもやっていましたが、画像処理はこれが初めての経験でした。そこでまず苦労したのが、ラケット自体を撮るのにものすごく時間がかかったことです。

 

八瀬:ロボットから見たらラケットってとても小さいんです。それに、展示会は毎回環境が変わります。照明環境もいろいろですし、来場者の動きも着ている服の色もさまざま。そんな中でもラケットを断定して、システムを動かすための調整が大変なんです。

 

ーー聞いているだけでも、その大変さが想像できます。

佐々木:精度の追求を行っていくことも、初めての挑戦でした。大学時代はそれなりのものを作って提出すれば終わりでしたが、ここでは私が作ったデータの精度が悪ければロボットの制御につなげられません。データを作ってから精度を上げていく作業にこれほど時間がかかるとは思ってもいませんでした。

カメラのキャリブレーションを行う佐々木カメラのキャリブレーションを行う佐々木

中山:ラケットのマーカーからラケットの向きを判定する時、ラケットがどちら側を向いているのか、開発当初のアルゴリズムでは正確には判定できなかったんです。なので、佐々木にはより精度を追求してもらいつつ、私は仮に精度の低いデータでも、人がどこに打とうとしているかを判断するアルゴリズムを作り込みました。

また、ボールがラケットに当たる瞬間は、ボールとマーカーが被ってしまうため、ラケットの計測ができません。つまり、データはラケットに当たる前までしかないんです。そこからラケットとボールがどのように動いていくかを予測できるアルゴリズムもいろいろ試しました。試行錯誤した結果、どんな人がどんな風にラケットを持ってもある程度ラケットとボールの動きを予測できるシステムが構築でき、人の打球前に打球コースを高精度で予測することができるようになりました。その予測コースにあらかじめロボットが構えることで、人のような高度な返球に近づけたと自負しています。

 

ーーすごいですね。だからこそ体験した人の感想が気になるのではないでしょうか?

佐々木:ビジョン関連の開発結果というのは見る人にとって気づきやすい部分でもあります。CESではその部分に対しての質問だったり、写真を撮られていたり、お客様のリアクションがすごくうれしかったですね。

 

中山:私がいちばんうれしかったのは、「去年と大きく違っている」「改善ではなく、進化だ」と言っていただいたこと。自分たちが仕込んだ技術や機能がしっかり理解してもらえて、楽しんでもらえたのかなと。

 

ーー開発者の困難と苦労を乗り越え、生まれた第5世代のフォルフェウス。その先に見える人を幸せにする未来とは? (後編)に続きます。

関連リンク