オムロン株式会社
イノベーション推進本部
エンゲージメント・コミュニケーション部

オムロンサイニックエックス（本社所在地：東京都文京区、代表取締役社長：諏訪正樹、以下、OSX）は、京都大学（所在地：京都府京都市左京区、総長：湊長博）、東京工業大学（所在地：東京都目黒区、学長：益一哉）、奈良先端科学技術大学院大学（所在地：奈良県生駒市、学長：塩﨑一裕）と共同で、自然言語指示によるロボット制御によって、ロボットの多様な作業を可能にする研究プロジェクトを開始しました。本プロジェクトでは、言葉による指示によってロボットが作業に必要な動作の一覧を生成するアルゴリズム開発と、生成された動作を人と身体性^*2が異なるロボットの動作に自動で変換しロボットを制御する技術の構築を目指します。
本研究を通じて、OSXは人と機械が対話し、パートナーのような関係性を築くことで、人がより創造的な活動をおこなうことができる「人と機械が融和」した世界の実現を目指します。

*1)自然言語とは、私たち人間が日常書いたり話したりしている日本語や英語のような、自然な言語のことを表します。
*2)身体性とは、体の動き方や可動性を表します。

近年、さまざまな業種・業態において労働力不足が社会的課題となっており、ロボットを使って人の作業を代替する取り組みが盛んに行われています。こうした中、人からの言葉の指示によってロボットに作業を代替させる技術は、ロボット制御に関する専門知識を必要とせず、ユーザーが話しかけるだけでロボットに作業の内容を伝えることができる技術として期待が高まっています。他方、現在実現されているシステムの多くは、箱の中から指示した物を掴み移動させるといった特定のシーンにおけるロボット制御にとどまっています。様々なシーンでロボットに作業を代替させるためには、作業の目的からそれに必要となる動作の一覧を生成でき、それに基づいてロボットを簡単に制御できるアルゴリズムが必要です。

これらの課題に対して、人からの自然言語指示で様々なシーンにおいてロボットを制御するアルゴリズムの研究開発を、OSXと京都大学、東京工業大学、奈良先端科学技術大学院大学による共同研究プロジェクトとして取り組みます。

従来の言語指示、プロジェクトで目指す状態

自然言語指示によるロボット制御研究の多くは、「モノを掴む」や「部屋を移動する」といった単純な動作にとどまっています。そこで、本プロジェクトでは、作業工程の写真や、実際に人間が作業している動画をもとに、機械学習によって自然言語指示と動作環境の情報から、「初期状態」を「指示内容を実行した後の状態」にするという動作の“意図”を形成し、作業に必要となる動作を生成するアルゴリズム開発を行います。

また、生成された動作は学習データとしている人の動作に基づいているため、ロボットでその動作を実現するためには、人とロボットの身体性の違いを考慮し、ロボットに合わせた制御方法を実現する必要があります。そこで、本プロジェクトでは、人とロボットの身体性の違いによる影響を解決するために、「道具の使い方」に着目します。「道具の使い方」は人もロボットも同じはずという前提のもと、人が行う複数の作業動画における道具を使っているシーンから学習し、例えばニンジンの皮を剥く際のニンジンへのピーラーの当て方といった、道具の使い方や力加減を真似することでロボットアームの動作モデルの生成を目指します。

これらの研究を進めることで、人がロボットに言葉で指示をするだけでロボットが自動的に取るべき動作を理解し、道具を使いながら作業を遂行できるようになり、ロボットの社会的意義をこれまで以上に高められる可能性があります。さらにこれらの機能の社会実装を通じて新たな課題発見への期待も見込まれます。
OSXでは、今後も積極的に社内外との共創を進め、研究を通じて新たなイノベーションを創造し、よりよい社会づくりに貢献していきます。

■取組期間
2021年度から2023年度までの3年間

※本共同研究プロジェクトは、日本学術振興会による令和3(2021)年度の科学研究費助成事業基盤研究(A) 21H04910の支援を受けて遂行します。

■各機関の役割
オムロンサイニックエックス：研究プロジェクトの代表者（研究統括）
各機関における研究成果に基づく統合的なシステム開発の主担当
画像や触覚に基づいたロボット制御信号の生成の主担当
各共同研究機関が主として担当する課題の副担当

京都大学大学院情報学研究科
言語指示からの、実行すべき動作系列の生成の主担当

東京工業大学情報理工学院情報工学系
画像や触覚に基づいた動作記述を獲得する研究・開発の主担当

奈良先端科学技術大学院大学先端科学技術研究科情報科学領域
動作系列を入力としたロボット制御信号の生成に関する研究・開発の主担当

オムロンサイニックエックス株式会社について
オムロンサイニックエックス株式会社は、オムロンの考える"近未来デザイン"を創出する戦略拠点です。「AI」「ロボティクス」「IoT」「センシング」など、幅広い領域の最先端技術のトップ人財が研究員として在籍し、社会的課題を解決するために、技術革新をベースに「ビジネスモデル」「技術戦略」「知財戦略」を統合し具体的な事業アーキテクチャに落とし込んだ"近未来デザイン"を創り出します。また、大学や社外研究機関との共同研究を通じて「近未来デザイン」の創出を加速していきます。詳細については、https://www.omron.com/sinicx/ をご参照ください。

■ 本件に関する報道関係からのお問い合わせ先: オムロン株式会社
イノベーション推進本部
エンゲージメント・コミュニケーション部
TEL：0774-74-2010

オムロン サイニックエックス、ロボット制御に関する共同研究プロジェクトを京都大学・東京工業大学・奈良先端科学技術大学院大学と開始

オムロンサイニックエックス、ロボット制御に関する共同研究プロジェクトを京都大学・東京工業大学・奈良先端科学技術大学院大学と開始