高負荷環境でも使えるData Matrix読取技術

藤川 正寛
藤川 正寛代表執筆者 Masahiro Fujikawa
インダストリアルオートメーションビジネスカンパニー 商品事業本部
センサ事業部 第2開発部
JAISA認定バーコード専門技術者
ISO/IEC/JTC 1/SC 31/WG1国内専門委員会所属
栗田 真嗣
栗田 真嗣 Masashi Kurita
技術・知財本部 センシング研究開発センタ
専門:画像処理

近年、自動車業界のリコールといった品質問題に対応するために、トレーサビリティの重要性が増している。企業はトレーサビリティを実現し、その社会的責任を果たすために、あらゆる物・あらゆる場所に二次元シンボルを印字して、個体管理の対象を拡大しようとしている。印字する二次元シンボルには、印字の省スペース化や印字形状の柔軟性からData Matrixがよく使われる。しかし、印字対象物の範囲拡大に伴い、現場ではData Matrixが安定して読めないという問題が起こっている。これは、読取工程の拡大や部品形状の多様化に伴う読取環境の変化により、Data Matrixに対して汚れや損傷といった負荷条件が新たに加わってきたからである。
本稿では、現場の読取環境を考慮したData Matrixの読取技術の提案を行い、従来技術と比較して、性能改善を確かめた。本技術により、高負荷条件でも安定してData Matrixが読めるようになると考える。

1. まえがき

近年、自動車のリコールや食品の異物混入が起こる度に、「トレーサビリティの重要性」がよく語られる。なぜか?疑問に答えるべく、この章では、トレーサビリティの重要性と動向について述べる。
トレーサビリティ(traceability)とは、トレース(trace:追跡)とアビリティ(ability:できること)を組み合わせた言葉で、「追跡可能性」と訳される。製造業においては、「原材料や部品の調達、加工、組立、流通、販売の各工程で、製造者・仕入先・販売元などを記録し、履歴を追跡できるようにすること」という意味で使われることが多い。
トレーサビリティを実現することで、①企業の社会的責任を果たす、②消費者の安心・安全を守る、③企業の競争力を向上させる、という恩恵を享受できる。①に関しては、商品の欠陥や不具合といった品質問題が発生したとき、対象となる原材料や部品がどこで使われたかを時系列に沿って追跡することで、企業は迅速に適切な対応を取ることができる。これにより、消費者や取引先の不信感を高めることなく、企業の社会的責任を果たすことができる 1)。②に関しては、消費者の手元にある商品について、時系列を遡って追跡することで、本物か偽物かが分かったり、アレルギー物質の有無が分かったりする。これにより、消費者は安心して、安全に商品を利用することができる 1)。③に関しては、加工、組立といった各工程内の生産情報が全て記録されているため、情報を分析することで、生産品質の因果関係が分かる。これにより、生産品質が改善するため、企業の競争力を向上させることができる 2)
トレーサビリティを実現するには、原材料や部品がいつ、どこで、どのように使われたかという情報を記録し、追跡できることが要件になるので、原材料や部品にユニークな番号を付与して管理する個体管理が必要になる。個体管理を実現するための手段の1つとして、一次元シンボルや二次元シンボルを使って、ユニークな番号を印字したラベルを対象品に張り付けて管理する方法が知られている 3)。近年は管理する情報が増加傾向にあることから、二次元シンボルがよく使われている 4)。さらに、対象品が小さいときやラベルが剥がれてしまう環境では、対象品に二次元シンボルを直接印字するDPM(Direct Part Mark)が使われる。印字スペースが小さくて済むことや印字形状(正方形/長方形)が選択できることから、Data Matrixがよく使われる。
近年、自動車業界では、個体管理の対象部品が増えてきている。この背景には、①重要保安部品は1つのリコールで経営に影響が出るため、エアバッグのリコール以降、個体管理の導入が加速している 2)こと、② EV シフトに伴い車載電装部品が増加していること、が挙げられる。その結果、エンジンブロックのような大きな部品から、インダクタのような小さな部品まで、あらゆる物・あらゆる場所にData Matrixが印字されるようになってきた。トレーサビリティの観点から見れば、個体に印字されたData Matrixが読めないことは、その個体の記録が途絶えてしまうことに繋がるため、最悪の場合、製品品質としては問題のない個体を破棄することになってしまう。だからこそ、高負荷条件でも、安定してData Matrixを読み取る技術の必要性が高まってきている。

2. 従来技術と課題

2.1 Data Matrixの特徴

Data Matrixは、ISO/IEC 16022で規定されている 5)。構成の特徴を図1に示す。

図1 Data Matrixの構成
図1 Data Matrixの構成

Data Matrixの最小構成単位はモジュールと呼ばれ、モジュールの中心(グリッド)は碁盤の目状に配置される(図1(a))。Data Matrixは、位置検出パターンとデータから構成される(図1(b))。位置検出パターンは、1モジュール幅で構成されており、左側と下側に配置されるL字と右側と上側に配置されるクロックトラックに分けられる。L字は暗モジュールのみ配置されており、Data Matrixの位置と向きを求めるために用いる。クロックトラックは明/暗モジュールが交互に配置されており、グリッドを求めるために用いる。このように、位置検出パターンは非常に重要な役割を担っている。

2.2 従来技術

弊社は以前からData Matrixの読取技術を持っている 6)。従来技術の読取フローを図2に示す。

図2 従来技術のData Matrix読取フロー
図2 従来技術のData Matrix読取フロー

「L字検出」は、取り込んだ画像の中から位置検出パターンのL字を探し出す。「グリッド推定」は、検出したL 字からクロックトラックを求めて、グリッドを算出する。「モジュール2値化」は、全グリッドにおいて、暗モジュール(1)か明モジュール(0)かを判定する。「文字列変換」は、2値化された0/1情報を文字列に変換する。
読み取れる可能性を上げるために、条件を変えて、文字列変換を再度行うことをリトライと読んでいる。従来は、モジュール2値化の閾値を変えて、リトライを実施していた。
また、リトライの方法はモジュール2値化の閾値を変える方法以外に、モフォロジーのような画像前処理を用いて処理する画像を変える方法もある 7)

2.3 課題

個体管理の対象部品が増え、あらゆる物・あらゆる場所にData Matrixが印字されることで、現場では安定して読めないという問題が起こっている。例を図3に示す。

図3 安定して読めないData Matrixの例
図3 安定して読めないData Matrixの例

図3(a)は、既存工程の後付でリーダを設置するときなど、撮像環境が最適にできないときに起こる。この場合は、Data Matrixのコントラストが低くなったり、S/N比が悪くなったりして、読めなくなる。図3(b)は、シンボルの印字位置が多少変動するなど、撮像環境が常に最適になるとは限らないために起こる。この場合は、ハレーションが起こり、一部の位置検出パターンやデータ領域における輝度がバラつき、読めなくなる。図3(c)は、加工工程を経ると、油汚れや水滴が付着したり、スクラッチによりシンボルが一部破損したりすることで起こる。この場合は、撮像されるData Matrixは一部欠けており、特に、読取に重要である位置検出パターンが損傷した場合には、読めなくなる。図3(d)は、高速なインクジェットプリンタ印字やドットピーン印字の場合、印字するタイミングによってはドットの並びが一定にならないときに起こる。この場合は、ドット間隔が均一にならなかったり、直線が波打ったりすることで、読めなくなる。
このように、読取時に重要である位置検出パターンに対して、コントラストが不安定になったり、損傷したり、歪んだりする負荷がかかることで、Data Matrixの検出に失敗して、読めなくなっているケースが多い。

3. 技術内容

3.1 位置検出パターンに対する補正処理

本技術では、位置検出パターンに対して負荷がかかった場合、負荷に対する補正処理を行うことで、高精度にData Matrixを読み取れるようにした。本技術の読取フローを図4に示す。赤く示している箇所が従来技術 6)との差分である。

図4 本技術のData Matrix読取フロー
図4 本技術のData Matrix読取フロー

画像作成、L字検出やグリッド推定に対してもリトライを追加することで、様々な位置検出パターンに対する補正処理を実施できるようにした。
グリッド推定に対するリトライの一例を挙げると、クロックトラックが欠けたり、汚れたりした時である。Data Matrixの1辺に配置されるモジュール数はISO/IEC16022で規定されており、表1に示す 5)。そのため、検出したクロックトラックのモジュール数が規定された数と合致しない場合、規定された数を元にクロックトラックのモジュール中心位置を推定している。

表1 規定されているモジュール数の一覧
形状 モジュール(行×列)
正方形
(24種)
10×10,12×12,14×14,16×16,18×18,20×20,22×22,24×24,26×26,32×32,36×36,40×40,44×44,48×48,52×52,64×64,72×72,80×80,88×88,96×96,104×104,120×120,132×132,144×144
長方形
(6種)
8×18,8×32,12×26,12×36,16×36,16×48

グリッド推定を行う時、クロックトラックを構成しているモジュールの中心座標が必要である。クロックトラックのモジュールが欠けた時の例を図5に示す。

図5 クロックトラックが欠けた時の例
図5 クロックトラックが欠けた時の例

図5(a)のように、負荷がないときは、それぞれの明/暗モジュールの中心を求めることができる。図5(b)のように、左から2番目の暗モジュールがハレーションによって欠けた場合、明モジュールが長くなり、モジュール中心間隔が部分的に疎になる。このようなときに、公知のモジュール数を参考にして、図5(c)のように、クロックトラックの中心位置を追加する。
クロックトラックが汚れた時の例を図6に示す。

図6 クロックトラックが汚れた時の例
図6 クロックトラックが汚れた時の例

図6(a)のように、負荷がないときは、それぞれの明/暗モジュールの中心を求めることができる。図6(b)のように、左から3番目の明モジュールに汚れが付着した場合、暗モジュールが増えるため、モジュール中心間隔が部分的に密になる。このようなときに、公知のモジュール数を参考にして、図6(c)のように、クロックトラック中心位置を削除する。
このような補正処理を入れることで、より正確なグリッド位置を求めることができ、高精度に読み取れるようにしている。

3.2 リトライの順序決定

リトライを何回も行うことで、高精度に読み取れるようになるというメリットはあるが、処理時間が伸びるというデメリットもある。
図4に示したように、本技術は、モジュール2値化の閾値や作成する画像の種類などのパラメータ値を変えながらリトライを繰り返し、途中で一度でも読み取れると処理が完了するように設計されている。したがって、読み取れる可能性が高いパラメータから先にリトライを実施し、読み取れる可能性が低いパラメータは後でリトライを実施することで、処理時間を確率的に短くできると考えられる。
図7を使って、リトライにおけるパラメータ順序を決定する方法を説明する。

図7 パラメータ順序を決定する例
図7 パラメータ順序を決定する例

まず、モジュール2値化の閾値や作成する画像の種類など、リトライを実施するパラメータの組み合わせを求める(図7(a)のパラメータA~C列)。次に、サンプル画像を1枚準備し、各組み合わせに対して読み取れる可能性を評価し、スコアを求める(図7(a)のスコア列)。最後に、読み取れる可能性が高いパラメータからリトライが実施されるように、スコアを基にパラメータ順序を決定する(図7(b))。
一般的に、サンプル画像を用いて、シンボルの読取技術に必要な情報を事前知識として取得することをティーチングと呼んでいる。本技術では、ティーチング時にリトライにおけるパラメータ順序の最適化も実施している。

4. 効果

4.1 検証方法

本技術による性能改善を確かめるために、現場状況を模擬した評価画像DBを用いて検証を行った。評価画像DBは、現場で起こりうる負荷条件やワークの種類をできるだけ集めた画像により構成されている。その中から、2.3章で述べた低コントラスト、低S/N比、ハレーション、油汚れ、印字バラつきの負荷条件について、それぞれ表2に示す画像枚数を抽出した。負荷条件ごとに、抜き出した1枚に対してティーチングを実施し、抽出画像に対して計測を行った。

表2 検証に用いた画像枚数
負荷条件 モジュール数 画像枚数
低コントラスト 16×16 85
低S/N比 22×22 85
ハレーション 16×16 105
油汚れ 12×12 85
印字バラつき 18×18 85

4.2 検証結果

抽出した画像に対する従来技術 6)と本技術の認識率を図8に示す。

図8 従来技術と本技術の認識率
図8 従来技術と本技術の認識率

全ての負荷条件に対して、認識率が約2倍に改善しており、約100%と非常に高い値になっていることが分かる。
ハレーションや油汚れは、部分的に照明の正反射成分が強くなるため、クロックトラックの輝度値が途中から白側に大きく変化する。これにより、部分的にクロックトラックの2値化結果が明モジュールと判定され、欠けていると見なされる。したがって、前述のクロックトラックが欠けた時のグリッド推定処理が有効になり、高い認識率を実現できたと考えられる。
印字バラつきは、モジュール中心が整列されていないため、クロックトラックのモジュール中心を推定する際に、誤判定が起こる。クロックトラックの暗モジュールの位置がずれることで明モジュールに判定されたり、クロックトラックに隣接した行・列の暗モジュールがはみ出してくることで暗モジュールに判定されたりする。したがって、前述のクロックトラックの補正処理が有効になり、高い認識率を実現できたと考えられる。
抽出した画像に対する従来技術と本技術の処理時間を図9に示す。

図9 従来技術と本技術の処理時間
図9 従来技術と本技術の処理時間

処理時間は、弊社の画像センサ(形FH-5050)で読取が成功した画像の処理にかかった時間の平均値である。全ての負荷条件に対して、処理時間が約4倍に改善していることが分かる。従来技術よりも多くのリトライの組み合わせが存在するが、負荷条件ごとにティーチングを実施して計測しているため、負荷状況に応じたリトライの最適化が効いていると考えられる。
例えば、低コントラストと低S/N比は処理時間の観点から見れば、トレードオフな負荷になる。低コントラストに対する処理時間を速くするためにコントラストに関する閾値を下げると、小さなノイズも検出しやすくなり、低S/N比では遅くなる。逆もまた然りである。トレードオフな負荷であっても、それぞれの負荷に応じたスコアが正しく算出されているため、高い認識率を担保しながら、速い処理時間を実現できている。

5. むすび

本稿では、あらゆる物・あらゆる場所にData Matrixが印字されることで、現場で安定してData Matrixが読めないという課題に対して、位置検出パターンに対する補正処理を行うリトライの組み合わせを増やして、ティーチングによりその順序を最適化する読取技術の提案を行った。従来技術との性能比較を行い、高精度と高速を両立した性能改善を確かめた。したがって、本技術は高負荷条件でも、安定してData Matrixを読み取る技術になっていると考える。
今後、個体管理の対象部品はさらに増え、より小さい部品にもData Matrixが印字されると予想される。この場合、画像に対するData Matrixの大きさは小さくなるため、処理時間がかかるようになる。一方で、部品は小さいため、検査に許されるタクトタイムは短くなる。このような状況下でも高精度・高速な読み取りを実現するため、L字検出やグリッド推定の技術をブラッシュアップしていく。

参考文献

1)
高山勇. トレーサビリティにおける自動認識技術活用の現状と展望. 月刊自動認識. 2013, vol.26, no.10, p11-15.
2)
池松由香. 品質管理の「万能薬」. 日経ビジネス. 2017, No.1916, p.48-52.
3)
國領二郎. デジタルID革命. 日本経済新聞社, 2004, 356p.
4)
コグネックス⑭. トレーサビリティやワールドワイド調達を支えるバーコードリーダ. 月刊自動認識. 2014, vol27, no.7, p5-9
5)
ISO/IEC 16022, Information technology – Automatic identification and data capture techniques – Data Matrix bar code symbology specification .2006, p.3-5, p16.
6)
坂頂幸治, 村田卓也, 白水岳. 自動車業界の製造工程で求められる2次元コードリーダ. OMRON TECHNICS. 2002, Vol.42, No.3( 通巻143号), p.248-252.
7)
Sateesh Gopalakrishna Nadabar; Ranjit Desai; METHOD AND APPARATUS USING INTENSITY GRADIENTS FOR VISUAL IDENTIFICATION OF 2D MATRIX SYMBOLS. 2005, United States Patent, US6941026.

冊子版 OMRON TECHNICS