製造業において、人手不足や人件費の高騰により製造の自動化、とりわけロボットの導入が積極的に行われているが、設置スペース、立ち上げ工数、作業の柔軟性などが課題である。特にニーズがあるバラ積みされた部品をピッキングするアプリケーションでは、部品の正確な位置・姿勢を認識するために3Dセンサが必要不可欠であり、課題解決のためにロボットハンド搭載型3Dセンサが求められている。ロボットハンドにセンサを搭載する要件として小型・軽量であることが挙げられるが、従来の3Dセンサはその計測手法に起因して大型で重量が重いものが多かった。そこで、我々は最適な計測手法とシンプルな光学系の開発により高さ53mm×幅110mm×奥行77mmで質量約570gのロボットハンド搭載型3Dセンサを開発した。また、製造現場での温度変化による計測誤差を低減するため、ヒーターにより光学系の温度を一定に制御する手法を採用し、実験により0℃～40℃の温度変化における距離値の計測誤差が1mm以内であることを確認した。

1. まえがき

近年、製造業の人手不足や人件費の高騰が深刻化する中、人の経験や感覚を必須とし、人に依存している組立、検査、搬送工程の自動化が急務となっている。また、製造現場では人の作業を機械（ロボット）に置き換えることで、生産性を向上することがますます求められている。例えば、これまで人が行ってきたバラ積みされた部品をピッキングする工程にロボットを導入するには、部品を正確に計測・認識できる3Dビジョンセンサ（以下、3Dセンサ）が必要不可欠である。2Dカメラでは平面的な画像から縦横の2次元の情報しか得られないのに対し、3Dセンサでは縦横の情報に加え、距離情報が得られるので、部品の3次元位置・姿勢を認識することができる。

また、製造現場へのロボットの導入においては、設置スペース、立ち上げ工数、作業の柔軟性を考慮する必要があり導入の障壁となっている。人が作業しているスペースにロボットを導入するには設置スペースが限られる。立ち上げ工数はロボットやセンサを設置・調整するのにかかる時間であり、削減が望まれている。また、段取り替えや様々な位置に置かれた多品種の部品に対応するため、作業の柔軟性が求められている。製造現場で用いられる3Dセンサには固定型とロボットハンド搭載型（以下、ハンド搭載型）がある。固定型はセンサの設置に専用の大掛かりな取り付け設備が必要である。さらに設置位置・姿勢により計測領域が固定されるためセンサ取り付け位置の調整に時間がかかり、段取り替え等の工程の変化に柔軟に対応できない。一方、ハンド搭載型は簡易な取り付けジグでロボットに設置でき、ロボットハンドを動かしてセンサの位置・姿勢を自由に変えることができるという特長をもつ。このため、ハンド搭載型は上記のロボット導入の際の3つの障壁を解決する形態として期待を集めている。図1に人が行っていた作業の例、図2にロボットによる自動化の様子を示す。我々は生産現場へのロボットの導入によりお客様の生産性を向上することを目指し、ロボットハンドに搭載可能な3Dセンサを開発した。

2. 3次元計測原理と製造現場で活用されている3Dセンサ

2.1 3次元計測原理の比較

3次元計測には様々な手法がある^1）。図3に3次元計測原理を整理した図を示す。

3次元計測の原理として、まずは計測光を投射して計測するアクティブ方式と計測光を必要としないパッシブ方式に大きく分けられる。パッシブ方式は計測光を使わずに環境光をもとに得られる画像から3次元計測を行う。そのため、環境光の影響を受けて計測できなくなりやすい、計測誤差が大きくなりやすいという欠点がある。アクティブ方式は飛行時間計測法（Time of Flight法：以降TOF法）と三角測距法に分けられる。TOF法は投光した光が計測対象物で反射して撮像素子で受光するまでの時間から距離値を算出するが、バラ積みされた部品の場合、計測光が部品間で反射を繰り返す（相互反射）ことで、誤計測が起こりやすい。また、非常に高速な光の飛行時間を計測するため、近距離では計測精度が悪くなるという欠点がある。一方、三角測距法は原理的に近距離ほど計測精度がよくなるため比較的近距離（約1m以内）でセンサが使用されるロボットピッキング環境において高精度に計測できる。以上より、ロボットピッキング向けの3Dセンサには三角測距方式が適している。

2.2 製造現場で使用されてきた従来の3Dセンサ

三角測距法の中で、光切断法は計測できる領域がライン状のため、3次元計測を行うには投光部にスキャン機能を持たせるか、対象物を動かす機構が必要となる。投光部にスキャン機能をもたせるには可動部が必要となり、信頼性に課題がある。また、コンベア等でバラ積みされた対象物を動かすと対象物の位置がずれてしまい、正しく計測できないという課題がある。空間コード法は対象物に投影したパターンが歪むことにより計測誤差が生じるという課題がある。このため、製造現場では主に位相シフト法に代表される時間コード法やアクティブステレオカメラの3Dセンサが使われてきた。

3．ハンド搭載型3Dセンサ実現への課題

3.1 ハンド搭載型3Dセンサに求められる要件

ロボットハンドに3Dセンサを搭載する際、搭載するロボットハンドによって視野が遮られることを避けるために比較的ハンドの先端側に取り付けることが多い。そのため、センサのサイズが大きい場合、部品のピッキング時に部品の入ったコンテナに干渉する可能性が高くなる。また、特に協調ロボットに代表される小型ロボットは可搬重量が小さいものが多い。そのため、センサが重い場合、可搬重量を超えてしまいセンサをロボットハンドに搭載できない、センサの重量＋部品の重量が可搬重量を超えてしまい部品をピックできない可能性がある。以上より、ロボットハンドに搭載する3Dセンサには小型・軽量であることが求められる。また、製造現場によっては半屋外や加工装置の近くのような温度変化が大きい環境でロボットが使われる場合がある。3Dセンサにはそのような環境であっても正確に部品をピッキングするために計測誤差が数mm以内という高精度な計測を行い、生産性に影響を与えることがないように耐環境性が求められる。

3.2 従来の3Dセンサの問題点

従来の3Dセンサで採用されてきた時間コード法は計測に投影するパターンが異なる複数の画像が必要なため、センサに搭載されるプロジェクタにはパターンを切り替える機能が求められ、複雑な光学系が必要となる。アクティブステレオカメラは少なくとも2台のカメラと1台のプロジェクタが必要である。以上より、時間コード法やアクティブステレオカメラは構成部品が多く、センサが大きく重くなりやすかった。また、上記の方式の計測原理はともに三角測距法であるため、センサの温度変化により部材寸法の変化や光学パラメータの変動があった場合、計測精度を保つためにお客様が製造現場で工程を止めてキャリブレーションを実施する必要があり、生産性が低下していた。以上の課題により、従来の計測方式ではハンド搭載型3Dセンサを実現することが難しかった。

4．課題を解決する技術

上記の課題をうけ、以下の2点について検討を行った。

4.1 小型・軽量な構造を実現する計測原理

小型・軽量な構造を実現するためには、光学系をシンプルにする必要がある。そのためには投影するパターンを切り替える必要のない3次元計測方式が適している。そこで、我々は3次元計測方式に単一の投影パターンで計測できる空間コード方式を採用した。

空間コード法はパターンを対象物に投影して画像を取得し、解析することによりプロジェクタとカメラの対応関係（プロジェクタのどの画素がカメラのどの画素に対応して結像しているか）を特定し、三角測距を行うことで距離値を算出する方式である。プロジェクタとカメラの対応関係を特定する手法として、領域ベースマッチング法（テンプレートマッチング法）と特徴ベースマッチング法がある。領域ベースマッチング法ではランダムパターンを使用し、特徴ベースマッチング法では対応関係を特定するために、特徴点を埋め込んだパターンを使用する。我々は比較的コントラストの低下や画像の歪みに強いという性質を持つ特徴ベースマッチング法を採用した。パターンの構成を図4に示す。4種の最小単位パターンの組み合わせにより、パターンを構成した。最小単位パターンは中央の小さな矩形S1と大きな矩形S2で構成される。

図5に検討したパターンの例を示す。最小単位パターン内の領域S1と領域S2のサイズの比S1/S2と、最小パターンサイズLを設計パラメータとした。これらのパターンについてワークに投影されたときに発生するコントラストの低下やパターンの歪みを計算機上でシミュレーションし、空間分解能と計測安定性が両立されるように、パラメータを最適化した。

図6に作成したパターンを示す。

4.2 環境温度が変わっても安定計測を実現する構造

三角測距法において、距離値（計測値Z ）は式（1）で表される。

（1）

ここでb は基線長（カメラとプロジェクタ間の距離）、f はレンズの焦点距離、D はカメラ／プロジェクタ間の視差である。基線長、特にレンズの焦点距離は温度変化により変動するパラメータであるため、計測値Z は温度により変化する。また、温度変化により光学系の幾何配置がずれるため、視差D も温度変化により変動する。以上から、光学系まわりの温度を一定にすれば、温度変化による計測誤差を抑えられることがわかる。そこで、我々は光学系、特にレンズの温度を一定に制御するための構造を検討した。図7にカメラの構造を示す。

レンズを保持するレンズホルダを加熱するために小型・軽量という観点でフィルムヒーターを採用し、温度のモニタのためにヒーター上に温度センサを搭載した。これらにより、レンズの温度が一定となるように環境温度の変化に応じてヒーターの発熱量を制御した。レンズホルダを加熱しても筐体を通して放熱されるため、特に環境温度が低いとき、ヒーターの発熱量が足りなくなってしまう。ヒーターの出力を大きくするためにはさらに電力が必要となるため電源回路の規模が大きくなり、基板サイズが大きくなる、コストがかかるといった問題がある。そこで、レンズホルダから熱が逃げないように、伝熱と熱放射を止め、レンズホルダからの放熱経路を遮断する断熱構造とした。

以上により、ハンド搭載可能なレベルのサイズ・重量に抑えつつ、製造現場の環境でも安定計測できる3Dセンサを実現した。図8にセンサの構造を示す。筐体のサイズは高さ53mm×幅110mm×奥行77mm、質量は約570gである。

5．評価実験

5.1 空間コード法での3次元計測評価

図9に作成したパターンを採用した3Dセンサ（特徴ベースマッチング法）で計測した点群の表示結果を示す。比較のため、ランダムドットパターンを使用したセンサ（領域ベースマッチング法）の3次元点群の表示結果を示す。対象物はオフィスチェアである。

結果より、領域ベースマッチング法では対象物の座面で計測できていない領域があることがわかる。これは、ランダムドットパターンが対象物の座面の細かい凹凸により歪んでしまい、計測に失敗しているためである。また、対象物がないところでも計測値を出力し、誤計測している。一方、特徴ベースマッチング法では、比較的、パターンの歪みに対して強いため、正しく計測できている。

以上より、本開発で採用した特徴ベースマッチングの方が高い精度で安定計測できることがわかった。図10に開発した3Dセンサで各種部品を計測したときの距離画像表示結果を示す。バラ積みされた様々な部品に対して、距離画像を取得でき、部品の位置・姿勢がわかる。

5.2 温度変化による計測誤差評価

開発した3Dセンサのプロトタイプ機をプレート表面の温度を制御できる装置（日伸理化社製クールプレートNCP-2215：仕様温度範囲－5℃～80℃）に設置し、プレートの温度を0℃、20℃、40℃に設定した時の計測誤差を評価した。図11に評価系を示す。

評価はヒーター制御を行う場合と行わない場合のそれぞれで実施し、ヒーター制御の効果を確認した。最も計測誤差が大きくなる計測視野の端の100×100点の距離値の平均を記録し、環境温度0℃の距離値を基準として距離値の誤差を算出した。図12に評価結果を示す。

温度制御なしの場合は、環境温度0℃～40℃で距離値の計測誤差 ΔZが20mmを超えるのに対し、温度制御ありの場合は誤差を1mm以内に抑えられることを確認した。

以上より、レンズ温度を一定に制御することで大幅に計測誤差を低減できることを確認した。

6．むすび

製造現場へのロボット導入の障壁となっていた3Dセンサの設置スペース、立ち上げ工数、作業の柔軟性の課題に対し、ロボットハンドに搭載できる小型・軽量な3Dセンサを開発した。最適な計測原理の選択とシンプルな光学系のプロジェクタの設計により高さ53mm×幅110mm×奥行77mmで質量約570gという小型・軽量な構造を実現した。また、製造現場の温度変化の影響に対しては、光学系の温度制御により環境温度が40度変化したときの距離の計測誤差を1mm以内に抑えられることをプロトタイプ機で確認した。本技術を搭載した3Dセンサ形FH-SMDA-GS050を2021年3月に商品リリースした。図13に3Dセンサの外観を示す。

今後も引き続き、高速・高精度を維持した上でさらなる小型・軽量化を実現する技術を開発し、お客様の製造現場の生産性向上に貢献したい。

参考文献

1）

Geng, J. Structured-light 3D surface imaging: a tutorial. Advances in Optics and Photonics. 2011, Vol.3, Issue 2, p.128-160.