近年、製造現場における「労働人口の減少」、「熟練者の不足」といった社会的課題は深刻さを増しており、自動化ニーズは高まり続けている。シート製品の製造をしている高機能フィルム業界、製紙業界においても、検査員が目視作業をしている工程があり、作業にかかる工数や工程そのものを削減する取り組みが続けられている。

本稿ではシート検査装置において、AI技術（Deep Learning）を活用し、欠陥を精度良く分類する手法「Dual Class AI（商標登録中）」を提案する。シート検査装置に搭載されている分類手法の主流は、欠陥画像から特徴量（欠陥画素の幅/長さ/面積、欠陥画素の合計値/最大値/平均値、等）を測定し、それぞれの特徴量の値がどの範囲にあるかを使って分類を行う手法であった。しかしながら、従来手法である特徴量を使った分類では、発生パターンが多様な欠陥において高精度かつ安定した分類が困難であり、製造現場で検査員が目視による分類を行っている。このような特徴量による分類が困難な欠陥に対して、CNN（Convolutional Neural Network）による分類を適用させる処理フローとし、2種類の欠陥において提案手法の分類精度を検証した。その結果、目視による分類と同等レベルの性能が確認できたため、ここに紹介する。

1. まえがき

近年、製造現場における「労働人口の減少」、「熟練者の不足」といった社会的課題は深刻さを増しており、自動化ニーズは高まり続けている。シート製品の製造をしている高機能フィルム業界、製紙業界においても、検査員が目視作業をしている工程があり、作業にかかる工数や工程そのものを削減する取り組みが続けられている。

我々オムロン株式会社 検査システム事業部では、カメラを利用した検査装置を販売しており、基板実装後のはんだ接合部や部品を検査する基板外観検査装置（AOI）^1）や、X線を利用した高速CT型X線基板検査装置^1）、二次電池やディスプレイに用いられる高機能フィルムや段ボール等の無地シートの表面欠陥を高速・高精度で検査するシート検査装置^2）を取り扱っている。オムロン株式会社の検査装置ラインアップを図1に示す。

本稿ではシート製品の製造現場における前述の社会的課題の解決を目的とし、様々な画像解析の分野において成果を上げているAI技術（Deep Learning）を活用した分類手法を提案する。

2. 従来手法と課題

2.1 従来手法

我々のシート検査装置では、検出したい欠陥の特徴に応じて、可視光・近赤外など複数の光源から最適な波長を選択し、システムに実装する。そして、ラインカメラを用いて撮像を行い、独自のアルゴリズムを駆使することで高い検出力と高度な判別性能を実現する「マルチウェーブセンシング技術」を強みとしている。マルチウェーブセンシング技術の概要を図2に示す。

この技術により、検査対象シートの正常領域（地合）と異常領域（欠陥）を検出し、更に検出した欠陥の特徴量を算出して分類することでシート製品の検査を行っている。特徴量とは、画像から欠陥の特徴を表す情報を抽出して数値化したものである。我々のシート検査装置で利用している特徴量の代表例を図3に示す。

検出した欠陥を特徴量によって分類し、欠陥ごとの発生数を集計する。欠陥ごとの発生数は、製品の出荷可否判断や出荷品の格付けに使用されるため、欠陥を精度良く分類することは極めて重要である。欠陥の分類に誤りがあれば、出荷不可の製品が市場に誤って出荷されたり、その逆で出荷可能な製品が誤って廃棄処分されたり、また高値で出荷されるはずだったA級品が安値のB級品で出荷されたり、と多大な不利益を被ることとなる。

2.2 従来手法における課題

従来手法である特徴量を使った分類は、数値化されたデータによる論理的な分類ロジックであり、分類の根拠が明確であることが長所として挙げられる。

特徴量による分類が有効な欠陥の例としては「穴欠陥」がある。「穴欠陥」とは、文字通りシートに穴が空いてしまった状態の欠陥で、透過光源を使って検出する。透過光源下では、穴の画素値がおよそ255（8bitカメラの場合）となるため、安定した分類が可能である。

一方、分類が困難な欠陥の例としては「虫欠陥」と「水滴欠陥」がある。

「虫欠陥」とは、シート製品の表面に虫が付着した状態の欠陥である。シート検査装置で撮像した「虫欠陥」の画像を図4に示す。

虫の種類によって、欠陥画素の形状や大きさが変わったり、シートに付着した時の虫の潰れ方によって欠陥画素の色合いが変化したり、発生パターンが多様であるのが「虫欠陥」の特徴である。

次に「水滴欠陥」とは、シート製造途中の乾燥工程内で結露した水滴が落下して発生する欠陥で、ユーザー使用時に外観不良・印刷不良の要因になる欠陥である。シート検査装置で撮像した「水滴欠陥」の画像を図5に示す。

水滴落下時の製造ライン速度によって欠陥画素の形状が変わったり、落ちた水滴の量によって欠陥画素の色合いが変化したり、「虫欠陥」と同じく発生パターンが多様であるのが特徴である。

発生パターンが多様な欠陥を分類するには、使用する特徴量の数が増えてしまうことが多く、分類ロジック（論理式）も複雑になりがちである。また時間をかけて分類ロジックを設定したとしても、新たな発生パターンが見つかった場合は設定した複雑な分類ロジックを慎重に修正しなければならない。

我々の顧客の製造現場においても、発生パターンが多様な欠陥の分類は検査装置ではなく、検査員が目視作業で行っているケースが多く存在した。また製造中に目視検査をする時間的な余裕がない現場においては、製造完了した翌日に目視検査を実施しており、目視検査の結果によって製品の出荷可否や格付けが後から変わる場合があった。後から製品の出荷可否や格付けが変わると、製品の保管場所を移動したり、製品ラベルの修正をしたり、在庫システム上の個数を修正したり、合わせて4～5時間/日の作業が発生しているケースも存在した。

3. 提案する解決手段

前章に記載した特徴量による分類が困難な欠陥に対して、CNN（Convolutional Neural Network）による分類を適用する。CNNは2012年の画像認識競技会ILSVRC（ImageNet Large Scale Visual Recognition Challenge）でAlexNetと呼ばれるモデルが2位以下に圧倒的な大差を付けて勝利したことから研究が盛んとなり、画像分類の手段として注目されるようになった^3）。また外観検査を行っている製造ラインにおいてCNNが欠陥の検出に適した技術であるという事例^4）があり、欠陥の分類においてもCNNによる解決が期待できると考えた。

本稿で提案する検査装置の処理フローを図6に示す。

CNNは教師あり学習であるため、教師画像の準備が製造現場の負担となってしまう。よって、現場導入には負担を最小化することが必要条件であった。その工夫として、先に「特徴量による分類」を行ってから「CNNによる分類」の対象欠陥を絞ることとした。具体的には、特徴量で安定した分類が可能な欠陥の画像と、製造ラインで欠陥として扱われない欠陥画素の幅／長さ／面積が一定値以下の極小欠陥の画像をCNNの対象外とした。これにより、数千枚程度の少ない教師画像でも顧客の要求する高い分類性能を達成できるとの仮説を立てた。

またCNNの対象欠陥を絞ることによって、欠陥の分類基準のブラックボックス化を最小限にできる効果もあることから、図6の処理フローが現場への様々な導入障壁をクリアする最適解の一つであると考えた。

4. 性能検証

4.1 検証方法

提案手法の性能を確かめるために、特徴量分類が困難であった「虫欠陥」と「水滴欠陥」の画像データを顧客の現場から抽出して検証を行った。分類性能の検証のため、検証対象の欠陥画像とそれ以外の欠陥画像をそれぞれ用意した。抽出した教師画像の枚数と、性能検証に使用した評価画像の枚数を表1に示す。

なお本検証では、検出した欠陥候補を中心に256pix×256pixのサイズで画像を切り出し、ResNetと呼ばれるモデルでCNNの学習を行った。また「虫欠陥」が発生するシート製品および製造工場と、「水滴欠陥」が発生するシート製品および製造工場が異なるため、CNNの学習は「虫欠陥」と「水滴欠陥」のそれぞれで行い、2種類のCNNを作成した。

4.2 検証結果

評価画像に対して行った検証結果を表2に示す。表中の見逃し率および見過ぎ率の算出式について、「虫欠陥」を例として説明する。見逃し率は、虫欠陥の評価画像を虫欠陥以外に誤分類した割合である。虫欠陥の評価画像32枚を分母に、虫欠陥以外に誤分類した数を分子にして算出を行った。見過ぎ率は、虫欠陥以外の評価画像を虫欠陥に誤分類した割合である。虫欠陥以外の評価画像7357枚を分母に、虫欠陥に誤分類した数を分子にして算出を行った。また表中の値は、小数第3位を四捨五入し、小数第2位までを記載している。

性能の比較対象となる従来手法での見逃し率および見過ぎ率については、顧客ごとに多少ばらつきはあるが、特徴量による分類が困難な欠陥を検査員が目視作業で分類しているケースを想定し、見逃し率を0％、見過ぎ率を1％以下と設定した。欠陥の市場流出を防止するため、欠陥の可能性がある場合は欠陥と判断するように検査員に指示して、見過ぎを一定割合許容しているのが一般的である。表2の検証結果より、用意した評価画像においては、提案手法の見逃し率および見過ぎ率が従来手法の見逃し率および見過ぎ率と同等レベルであることが確認できた。

また、ブラックボックスであるAI処理の妥当性確認をCNNの中間層からヒートマップ画像^5）を生成して行った。「水滴欠陥」で生成したヒートマップ画像を図7に示す。

水滴の形状、色合いが異なる複数パターンで確認を行ったところ、欠陥画素が分類結果に大きく寄与していることを確認できた。また地合箇所についても、シートの状態で多少のばらつきはあるものの、欠陥画素と比較して低い寄与であることが合わせて確認できた。水滴の評価画像118枚でヒートマップ画像を生成して同様の確認を行ったが全ての画像で同様の結果が得られ、安定した分類が期待できる結果となった。

発生パターンが多様な欠陥において安定した分類ができると製造後の目視検査および製品の出荷可否や格付けが変わることもなくなるため、従来手法において現場で発生していた4～5時間/日の作業もなくすことが期待できる。

5. むすび

本稿では、特徴量を使った従来の分類手法では困難であった欠陥に対してAI技術による分類手法の提案を行い、「虫欠陥」と「水滴欠陥」において目視による分類と同等レベルの性能が確認できた。

シート検査装置の欠陥分類性能が向上することで、製造現場における「労働人口の減少」、「熟練者の不足」といった社会的課題の解消や、出荷製品の品質確保が期待できる。またシート検査装置は製造工程の最終工程に位置づけられるため、正確な欠陥の発生情報は工程改善や予兆保全で利用する等の波及効果も期待できる。

今後の展望としては、検査データの可視化による品質情報提供サービスである「MONOSASHi」との連携を強め、分類性能向上だけで終わらず、欠陥の発生情報を含む検査装置から得られる全ての情報をDBで時系列に一元管理し、現場が必要とする情報に加工して見える化を行うことで製造現場の改善を推進する。実現イメージを図8に示す。

また性能面では可視光画像だけでは分類できない欠陥にも対応するため、近赤外など可視光以外の波長画像の入力拡張を行い、自社の強みであるマルチウェーブセンシング技術の更なる進化を検討している。

最後に、提案手法の検討に多大なご協力をいただいた技術本部の方々、性能検証の画像データのご提供および検証にご協力いただいた製造現場の方々に感謝の意を表する。

参考文献

1）

オムロン株式会社．“基板検査装置”．https://www.fa.omron.co.jp/product/special/pcb-inspection-system/，（参照2022-03-10）．

2）

オムロン株式会社．“シート検査装置”．https://www.fa.omron.co.jp/product/inspection-system/web-inspection-system/，（参照2022-03-10）．

3）

Krizhevsky, A.; Sutskever, I.; Hinton, G. E. ImageNet Classification with Deep Convolutional Neural Networks. Advances in Neural Information Processing Systems, 2012, Vol.25, p.1097–1105.

4）

半澤雄希，池田泰之，栗田真嗣，長谷川友紀．AI 技術による外観検査の自動化．OMRON TECHNICS. 2019, Vol.51, No.1, p.21-25.

5）

Chen, L.; Chen, J.; Hajimirsadeghi, H.; Mori, G. “Adapting Grad-CAM for Embedding Networks”. IEEE Winter Conference on Applications of Computer Vision （WACV）, 2020, p.2783-2792.