新たなロボットの実現に向けて、2022年4月にオムロンのコーポレートR＆D組織である技術・知財本部にてスタートした「Voyager PJ」。ロボティクスの最先端の研究開発を行うこのPJの中で、ロボットのシステムアーキテクチャをゼロから考え直すところからチャレンジしている2人の開発リーダー　柴田義也と田渕一真に、これまでの開発経験を通して、どのようにしてスキルを蓄積し、世の中にない新たなロボット開発をしたいという想いに至ったのかを語ってもらいました。

前編では、「簡単な教示で、より複雑な動きができるロボットを実現する」という柴田の想いを紹介します。

柴田義也の略歴

「認識技術」や「制御技術」の開発を通して学んだ、顧客目線で課題を見つけることの重要性

私は、生き物のように自律的に動く機械を実現したいという夢がありました。大学院卒業後の進路として、当時コア技術としてSensing ＆ Controlを打ち出していたオムロンを選んだのはそのためです。入社後は画像処理技術を応用した、電子回路基板のはんだ検査装置の開発に従事し、この装置の立上げ負担を削減するための、実装される電子部品を認識する技術開発を行いました。検査のための初期設定は設定項目が大量にあり、装置入力の負担は大きいものでしたがこの開発で実現した自動ティーチング機能は装置へアシスト機能として実装され基板の設定を大幅に省力化することができました。

その後、2011年にPLC向けのアプリケーションツールとしてモーションシミュレータなどの開発を担当。モーションシミュレータは、複数のモーターを同時に動かすために作成したプログラムがどのような挙動をするかを可視化するツールです。当時はPLCのことを全く知らない中での担当でしたが、事業部門の開発者やチームメンバーの協力を得ながら、制御に関する知識を深く学ぶことができたと感じています。

これらの開発経験を振り返ると、「認識技術」、「制御技術」そして「アプリケーションソフトの開発」でロボットに必要な機能を実開発で学ぶことができたことに加え、ユーザーの操作性を高める技術開発の重要性に気づくことができ、貴重な経験をすることができたと感じています。

フォルフェウスの初代開発リーダーとしての奮闘から、ロボットシステムに必要なことを思い知る

2013年に卓球ロボット「フォルフェウス」の初代開発リーダーに任命されました。フォルフェウスは、オムロンのコア技術の象徴として、我々がめざす“人と機械の関係”を社会に提案するために開発しているロボットです。海外で開催する自社の展示会でのお披露目をターゲットとして、研究開発がスタートしました。展示会のコンセプトは「参加者が体験を通じて人と機械の未来像を理解してもらう」こと、そして出展先が中国だったことから「卓球の相手となるロボットを製作する」という２点でしたが、コンセプトが決まったのは同年の4月。そして展示会開催は秋という超短期間でゼロからの製作を行う必要がありました。私に開発リーダーとして白羽の矢が立ったのは、直前に部品のピック＆プレイスの開発を行っていたからではないかと思います。ピック＆プレイスはＦＡのラインでコンベアに流れてくる部品をカメラで認識し、移動する速度から移動量やその部品をつかみに行くという動作計画をリアルタイムで計算するものです。この開発で培った技術をさらに高度化してほしいと期待されたものだと感じています。

卓球ロボットはピンポン玉を連続して認識し、何秒後にどこに移動するかを計算して打ち返すための場所を決め、ラケットがどのような角度と速度で通過すればよいかをモデル化します。そしてラケットのテイクバック、スイング、フォローの３ステップの動作を繰り返すシステムを組めば実現できると、構想自体は比較的早く考えつきました。ピック＆プレイスでは認識する座標系は２次元ですが、卓球ロボットでは３次元となり、予測のモデルや動作計画は難しくなりますが、それぞれの機能を拡張すればできるのではと目途付けをしました。構想が決まれば、予測や同期タイミングなどの精度をどこまで向上することができるかという課題に分解していくことができます。

このように、これまでの開発経験からも機能を組み合わせて、あるシステムを実現するという構想設計は得意だと感じ始めました。ただ当初はまだピンポン玉の回転予測などの機能はなく、あくまでラケットを当てるだけでしたが。

しかし、展示会出展という納期が設定される中で開発を進めることに、とても苦労しました。“人とラリーをする”というからには、１０回程度は連続して打ち返せないとラリーとは言えないでしょうし、上手な人ばかりではないので山なりに返球をされたり、ロボットが容易に返球できるところへ返してくれるわけではないので、バラエティ豊富な返球パターンをどれだけ考慮するかが非常に難しいポイントでした。

以前は、認識技術や制御技術、そして一つのアプリケーションの視点と狭い範囲で考えていましたが、このフォルフェウスの開発を通して実現したいシステム全体の系で考えると、非常に複雑で扱うのが難しいということを実感しました。

オムロンが掲げている人と機械の関係の未来像である「融和」を実現するには、今までのロボットの正常進化ではダメだと思うようになってきたのもこのころです。

使いたい人が誰でも使えるロボットを目指し、動的タスクの研究のために単身MITへ駐在

ロボットを使いたい人は、ロボットの専門家ではなく、ロボットを使ってそれぞれの課題を解決したい人です。そのようなユーザーのためのロボットとはどのようなものなのかを考えるようになりました。その先行技術を調査しているなかで、マルチエージェント系(1)の研究をされている、マサチューセッツ工科大学（MIT）のKamal Youcef-Toumi教授が、様々な状況の変化に対応するダイナミクスを考慮して、動的に計画やスケジューリングを作り直す研究を行っていることを知りました。誰もが使える賢いロボットは、当時から技術・知財本部での注力テーマだったこともあり、卓球ロボットの開発経験もかわれ、MITで研究を行うことになりました。

障害物を動的に回避する研究や、生産数量の目標に対して複数のロボットが行う作業スケジュールを生成する研究などを通して、大きな構想を考え、動かしてみて、課題を見つけ、そしてまたやってみるという研究の進め方を学んだのはこの時です。

(1) マルチエージェント （multi-agent）とは複数のエージェントから構成されるシステムであり、個々のエージェントやモノリシックなシステムでは困難な課題をシステム全体として達成するもの。詳細は例えばWikipedia (https://en.wikipedia.org/wiki/Multi-agent_system) などを参照。

新たなロボットシステムを世の中に問うため、World Robot Summit 2018（WRS2018）へ参加

帰国後も、誰もが使えるロボットの要素技術としてAIを活用した「把持スキル」や「はめ合い勘合(2)」などの開発を行ってきました。そして、これらを応用したロボットでどの程度のことができるかの腕試しとして2018年のWRS2018で開催されたWorld Robot Challenge 2018(WRC2018)の組み立てタスクチャレンジに参加しました(3)。専用の治具を必要とせず位置誤差が多少あってもロバストに組み立てられることを目指したものでした。

チャレンジ課題の一つであった「はめ合い勘合」は、従来の位置と力の制御で解決できると考えていましたが、部品同士が接触して初めてできたかどうかがわかる作業のため、成功確率を高めるためには接触する前から高速高精度に位置を認識して制御する必要があり、制御周期を短くしないといけません。それはハードウエアに高い処理能力を求めることになるので高価なシステムになり、ロボットを普及することは難しくなる方式です。そこで逆の発想でアプローチすることとしました。つまり、人であれば遠くから慎重に狙ってはめ合いをするような動作は行いません。まず、はめ合うモノどうしを接触させて、いい位置を探りながら勘合させます。人と比べてロボットは精度が高く、高速に動作できますが、人には誤差を許容しながら器用に動作できるという“人ならではの良さ”があり、その良い点を兼ね備えたロボットを創ることへのチャレンジとなりました。

このWRSでチャレンジした、専用治具を必要としないコンセプトの組立ロボットは、総合4位という成績だけでなく、計測自動制御学会賞としても認めていただくなど、ロボットの目指す先として間違っていないという自信になりました。また、実現の難しさも改めて分かりました。

(2) 穴にねじやピンなどを通す作業のこと。

(3) WRC（World Robot Challenge）は WRS（World Robot Summit）の中で行われた競技会。（https://wrs.nedo.go.jp/wrs2018/）
また、2021年には新たなチームとしてオムロン サイニックエックス、大阪大学、産業技術総合研究所、中京大学の合同チームの 「O2AC」 が参加し、第3位入賞と同時に「人工知能学会賞」を受賞。
ニュースリリース（https://www.omron.com/jp/ja/news/2021/09/c0928.html）
参考論文（https://www.omron.com/jp/ja/technology/omrontechnics/2021/20211119-felix.html）

実現したい未来を描き、課題解決を続けながら構想を実現する

ロボットに実行させたい事を構想設計として具体化し、要素技術を組み合わせればロボットは作れると思いますが、現在の発想では卓球ロボット、将棋を指すロボット・・・といった専用ロボットの個別開発となり用途ごとに立上げ、調整の労力がかかりすぎ普及することはないと思います。ロボットを普及させるためにロボットを使うユーザーが、簡単な教示で使えるロボットを実現したいと考えています。

そしてそのためには、これまでの開発経験を通して、人のように触れて気づいて修正していくような新しいアーキテクチャを構築する必要があるという想いに至りました。

これまでの開発で学んだ、まず大きく構想設計を行い、今あるものから必要なコンポーネント、ソフトウエアを使ってみる、あるいはまず制作して動かして評価してみることでより本質的に必要な機能や性能がわかってくるということです。そしてまた作って不足部分を特定し、一歩前進することで実現したい未来へ近づいていることを肌で感じることができます。人の創造性を高め、人に寄り添いアシストするロボットへのチャレンジもその繰り返しを行うことで実現できると確信しています。

休暇は海でのルアーフィッシングを楽しんでいるという柴田さん。自らが回遊魚のように新しい課題を設定し解決し続け、新しいロボット実現に向けて前進していくチャレンジは続きます。

後編では、「人とロボットのインタラクションはどうあるべきかを探求したい」という田渕の想いを紹介します。

このページを閲覧している方へのおすすめリンク：

機械が人に寄り添いアシストする、新たなロボット開発に挑戦
https://www.omron.com/jp/ja/technology/activities/07/

リクルートのページ
https://www.omron.com/jp/ja/recruit/

ロボット開発に取り組むリーダーたちのチャレンジ 後編
~「人とロボットのインタラクションのありたい姿」を探求し開発にチャレンジ ~
https://www.omron.com/jp/ja/technology/activities/10/