2024年10月14日～18日にアラブ首長国連邦・アブダビで開催された、ロボティクス分野のトップカンファレンス「The 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2024)」にてオムロン 技術・知財本部の付 星斗（Xingdou Fu）が、研究成果を発表しました。本記事では、発表したファクトリーオートメーション向けバラ積みピッキングシステムに関する研究成果をご紹介します。このアプローチは、高速アクティブビジョンピッキングシステムを実現した世界初の試みです。

論文情報

「A Low-Cost, High-Speed, and Robust Bin Picking System for Factory Automation Enabled by a Non-stop, Multi-View, and Active Vision Scheme」 [Paper][YouTube]
Xingdou Fu (OMRON), Lin Miao (OMRON), Yasuhiro Ohnishi (OMRON), Yuki Hasegawa (OMRON), and Masaki Suwa (OMRON)

はじめに

本論文は、私たちが長年にわたり取り組んできた、3次元(3D)センサーと3Dセンシング技術に関する研究成果です。この研究は、Microsoft Kinect Fusion*1やIntel® RealSense™ *2といった低コストで簡易に３D計測できる技術が登場した2010年代にスタートしました。これまでに、3Dボディスキャンや産業用検査、ドライバーモニタリング、物流ピッキング、工場の自動化などに向けた多くの3D計測技術を研究してきました。今回紹介する研究は、工場自動化における3Dセンサーとピッキング製品（FH-SMDシリーズ）のさらなる強化を目指したものです。

技術の特長

工場自動化でロボットによる部品ピッキングを導入しようとすると、いくつかの問題が発生します。その一つが、金属や鏡面仕上げの対象物が3Dセンサーに対して強い反射や相互反射を引き起こし、対象物の3Dデータを正確に取得できないため、ピッキングがうまく行えないというものです。3Dデータの誤差を軽減し、この問題を解決するためには、相互反射が発生しない複数の視点から対象物を観察する必要があります。そのため、低コストの3Dセンサーを使用した、ロバスト性の高い「ロボットハンド搭載型」のマルチビュー技術が注目されています。しかし、この技術はロボットを異なる視点に移動させ画像を取得することに依存しているため、ピッキングの連続性を保証するために重要なアクティブビジョンのような、より高度な処理が展開される場合には、処理速度が遅くなってしまうという課題があります。本研究では、この課題を解決し、タクトタイム（1つの製品の製造にかける時間）が重要視される工場自動化に適した、低コストのマルチビューピッキングシステムの実現を目指しています。

私たちは、この課題の原因が、ロボットのモーションタスクと対象物のセンシングタスクが分離され、それぞれを個別のモジュールとして扱っており、センシングを考慮したピッキングシステムの設計になっていないことにあると特定しました。そして、この課題に対処するために、マルチビューのアクティブビジョンセンシングスキームを「ロボットハンド搭載型」で実装し、モーションタスクを緊密に連携させたピッキングシステムを開発しました。このアプローチは、ロボットの配置動作と高速センシングを同時に行うことでシステムを高速化するだけでなく、ピッキングプロセスの連続性を維持するための最適なセンシングパスを決定します。その結果、関連する研究と比較してタクトタイムを約90％削減し、実験では97.75％以上のピッキング成功率を達成しました。このアプローチは、高速アクティブビジョンピッキングシステムを実現した世界初の試みです。

IROS2024参加者の反応

多くの研究者が私たちのポスター展示を訪れ、研究に興味を持ってくださいました。同じ分野の仲間からの温かいフィードバックは、本当に嬉しいものです。特に、カナダからの参加者で、IROS 2024で別のピッキング技術に関する論文を発表した研究者からは、「アクティブビジョンと高速性を同時に実現するアイデアは他になかった」と称賛していただきました。また、IROSやICRAの併設行事で、ロボットによる把持・操作精度を競う競技会「Robotic Grasping and Manipulation Competition（RGMC）」※3の主催者であるイタリアのサルバトーレ・ダヴェッラ助教授からは、ピッキング時間が重要な評価指標である「ピッキングチャレンジ」への参加をお誘いいただきました。私たちの研究が認められたことを大変光栄に思います。

今後の技術展望

前述のとおり、本論文は長年取り組んできた3Dセンサーを活用したセンシング技術に関する研究の一環です。金属製品の3Dセンシングの課題を解決しましたが、次は透明物体の3Dセンシングに着目しています。ロボットが実験室(ラボ)や日常生活でガラス製品を3Dで認識できるようになることは、自動化の重要なステップです。現在、ラボオートメーションに向けた応用技術を開発しており、新メンバーから非常にエキサイティングな研究成果が生まれています。

プロジェクトメンバー紹介

私たちは、マルチビュー技術や先進的な光学技術、AIベースのアルゴリズムなど様々なアプローチで3Dセンシング技術を探求してきました。本研究では、長年にわたって3Dセンシング技術の研究開発を牽引されてきた執行役員で技術・知財本部長（当時技術専門職）の諏訪正樹さんとの侃々諤々の技術的議論を重ねることで支えられてきました。また、⻑⾕川友紀さんはマネージャーとして、大西康裕さんはグループリーダーとして、ビジネスパートナーとの連携を強化し、顧客ニーズに応える成果を導いてくれました。苗林さんは入社直後からプロジェクトに参加してパラメータ最適化や実験分析などを担当し、設計の進化に大きく貢献してくれました。プロジェクトリーダーとして、メンバー全員の貢献に深く感謝いたします。

*1 KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera - Microsoft Research
*2 インテル® RealSense™ テクノロジー
*3 https://sites.google.com/view/rgmc2025

このページを閲覧している方へのおすすめリンク：

人がより創造的であるために ～機械が人に寄り添いアシストする、新たなロボット開発に挑戦～
ロボット開発に取り組むリーダーたちのチャレンジ 前編
ロボット開発に取り組むリーダーたちのチャレンジ 後編
技術・知財本部新卒採用サイト