基板の外観検査において、部品に対するはんだの濡れ検査は最も重要である。しかしながら、はんだは電極やパッド／ランドの形状等により多様な形状を形成し、さらに基板設計や周囲の様々な部品による影や二次反射といった現象により、正しくはんだ形状を計測するのは困難となる。また、正しくはんだ形状を捉えられたとしても、多様な形状となるはんだに対して、良品と不良品を決定する検査基準の設定には、様々な箇所を計測した計測値を組み合わせる必要がある。本論文では、はんだの濡れ性を精度良く捉え、かつ二次反射や影といった設計制約の影響を排除した照明およびカメラの撮像系ハードウェア構造と、組み合わせ最適化手法により検査基準を自動的に求める方法を提案する。また、検査基準の自動化の効果検証を実施した結果、提案手法を用いることで、従来方法と比べて良品正解率を4.9%、不良品正解率を3.4%向上させることができた。

1. まえがき

検査システム事業部では基板実装工程のAOI（自動外観検査装置）事業を中心に、顧客の品質課題にも対応したソリューション事業を展開している。AOIの検査構成は、メカ、エレキ、光学、検査アルゴリズム等の装置技術と、ティーチングと呼ばれる対象の良・不良を見分ける判定条件の設定により成り立っている。中でもカラーハイライト照明という光学系のコア技術と、近年主流となっている位相シフト法による3D検査技術の組み合わせにより、部品の姿勢、位置やはんだの形状をこれまでより正確に検査できるようになった。しかしながら、現状は部品の実装位置などの基板設計起因による他部品の影や対向する部品からの二次反射などの影響により、正しく計測できない状態が少なからず存在する（例えば、光情報がそもそもない、または信頼できないケース）。そのような場合、2D検査等で代替しているが、設定項目が増えることでティーチングの作業が増え、それに加えて検査画像に対する知識や調整スキルを必要とするため、設備コスト以上に導入後のコストが大きな課題となっている（例えば、はんだ濡れ角度により良・不良を判断するティーチングロジックは一部のはんだの光情報ではなく特徴のある周辺はんだ情報と組み合わせることが必要）。

さらにティーチング作業者の定着が難しく、それにより検査プログラムの品質を担保できず、検査装置の性能を十分に引き出せず、見過ぎ（良品にもかかわらず、装置が不良品と誤判定してしまうこと）や見逃し（不良品にもかかわらず、装置が良品と誤判定してしまうこと）といったことが問題になっている。

本論文では、検査対象部品に対する照明の構造改善と検査基準決定ロジックの改善を提案する。

2. 従来技術

プリント基板に実装された部品のはんだ接合状態を検査する技術分野等において、カラーハイライト方式^1）による三次元形状の計測方法が知られている。この方式はオムロンが発明した技術であり、現在のAOIの色検査におけるデファクトスタンダード方法である。

図1にカラーハイライトの構造と原理を模式図で示す。カラーハイライト照明は、上段・中段・下段の3段の仰角を有しており、上段から赤、中段から緑、下段から青の光を照射する構造を持つ。また照明の中央部に撮像部（カメラ）を配置している。各段から照射された赤、緑、青光は、はんだの各位置における角度法線に対して反射され、色特徴（カメラから見て正反射方向にある光源の色）が現れるようにした状態で撮像を行うことにより、はんだ表面の三次元形状を二次元の色情報として捉える方法である。

はんだ表面の傾斜の計測精度は、二次元の色相情報としてある程度の精度で計測可能である。しかし、照明が全方位点灯している場合、角度法線に対して切り分けが出来ないため、同じ角度になる場合判断ができない。具体的には、はんだ表面の傾斜が電極に対して積み上がっている（いわゆる濡れ上がっている）のか、あるいは電極に対して低くなっている（いわゆる不濡れの状態）かの判断が困難となる。つまり「方位」は、360度から光を照射する限り、二次元の色相情報から判別できないという問題がある。

そこで、オムロンのAOI（VT-Sシリーズ）では、図2で示すように上記カラーハイライト方式による鏡面物体の三次元形状計測とは別に位相シフト法による拡散物体の三次元形状計測を組み合わせて、より正確に高さを計測することで、はんだ形状の復元および計測を実現している^2）。

なお、位相シフト法とは、パターン光を物体表面に投影したときのパターンの歪みを解析することにより物体表面の三次元形状を復元する手法の一つである。これにより、それぞれの方式の課題を補完することではんだ表面の光沢や形状の変動に対応できるようになった。

しかしながら、上記位相シフト法においても電極近傍においては、電極端面からの二次反射により、本来得られるはずの位相がずれて、正しい計測が困難であったり、鏡面性の高いはんだ面においては、投影縞がカメラに返ってこず、原理的に計測できないといった課題がある。

また、良品と不良品を検査するためには、はんだのどの部分がどういう形なら良品かあるいは不良品かという検査基準を設定する必要がある。そのため、はんだ形状が正しく復元できたとしても、正しい設定をしなければ、見過ぎか見逃しが発生することになる。

3. 解決策

ここでは、①はんだの向きの特定、②影／二次反射の排除、③検査基準設定のスキルレス化の3つの課題を解消するためにハードウェア構造の抜本的な見直しと組み合わせ最適化手法による検査基準の自動化を実施した。

3.1 方位点灯（MDMC点灯）

図3で示すような不濡れ状態のはんだをカラーハイライト方式で撮像する場合、図4の画像が取得できる。はんだの傾斜が緩い箇所は赤、急な箇所は青という状態を表現することが可能である。しかしながら、赤の領域に着目すると、はんだの法線角度は同程度であるが濡れ上がり、濡れ下がりどちらも同じ赤として表現されるため、はんだの方向特定は困難である。これは全方位（360度）から光を照射することによって、例えば0度方向からの照射光か、180度方向からの照射光かを特定することができないためである。

そのため、光情報を分解しティーチングするには周囲のはんだの色の特徴や位置の考慮が必要となる。

そこで光情報を後で分解するのではなく、撮像時に予め分割しておくことで、信頼性の高い光情報を取得する構成を実現した。

これまでのカラーハイライト照明の点灯を360度全周点灯から図5に示すように第一象限から第4象限にかけて分割し、90度毎の4方位個別点灯ができる照明構造（MDMC: Multi Direction Multi Color）とした。

次に、図6に方位点灯させた場合の画像を示す。それぞれ、電極先端に対して正面方向から照射した場合と、背面方向から照射した場合であるが、照射方向に傾いている面が明るくなる。

図7に図6で得られた2枚の方位点灯画像を用いた差分画像を示す。この画像では輝度の高い箇所が背面からの光が強く当たっていることを示しており、はんだが濡れ下がっている可能性が高いことを意味している。

3.2 4投光プロジェクタ

位相シフト法は特定の縞パターンを投影した光情報を用いたアルゴリズムであるが、一方向からの光の場合必ず影が発生するため、対向する方向からの光情報も必要になる。また投影した光が部品の側面に反射し、その光がノイズ要因となることもあるため、対向する前後左右の4方向から光を投影する構造とすることで信頼性の高い光情報の取得を可能とした。

3.3 検査基準最適化

はんだ検査で代表的な検査項目として、電極に対するぬれ高さやぬれ角度、ランドに対するぬれ長さやぬれ角度がある。図8に計測する部位と良不良を判定する検査基準の設定画面を示す。

これら1つの検査項目に対して、上下限の検査基準を設定する必要がある。また、1つの検査項目の検査基準を決定するのは比較的容易だが、実際には1つの検査項目だけで判定するだけでなく、複数の検査項目を組み合わせて、論理和、論理積を使用することで総合的に判定する必要がある（図9）。これは検査対象となるはんだの形状が電極の形状やランド設計、はんだの材質など様々な変動要素により多様な形状となるためである。

しかしながら、複数の検査項目とその組み合わせに対して、最適な検査基準を決定するのは組み合わせが膨大になり、人が最適な設定をするのは、多くの時間を要し、経験も必要となるため、非常に困難である。ここでは、検査基準の最適化を検討する。

以下に、検査基準決定までの流れを示す。

①

計測値の出力

②

クラスタリング

③

論理式作成

④

評価値算出

⑤

検査基準値選択

①では各検査項目が出力する計測値を取得する。この時、不良品の計測値には不良のラベルが手動でつけられているものとする。

次に②では浮きや不濡れ、はんだ過少、はんだ過多など様々な不良形状の計測値に対して、クラスタリングする。クラスタリングには、k-means＋＋法^3）を用いる。これにより、ある程度形状の近いものを1つ不良群としてまとめる（図10）。

次に③では各不良群を検出するのに最も効率が良い検査項目および論理式を決定する。ここでいう効率とは例えばクラスタaをすべて不良判定させたとき、最も見過ぎ数が少なくなるロジック（以下、第一ロジック）とする。

まず、図11のようにそれぞれのクラスタに対して、もっとも効率の良い第一ロジックを決定する。

次に第一ロジックに選択されなかった残りのロジックを各クラスタのいずれかの第一ロジックと論理積を組む。このとき、見逃しが起きない範囲に検査基準を設定した場合に、見過ぎが最も少なくなるクラスタに第二ロジックとして、論理積として設定する（図12）。それを残るロジックすべてで繰り返して、論理式を構築する。

④では、論理式の行ごとに検査基準として設定できる値を20分割（例えば0～100%の幅の中で設定できる場合は、0、5、10…95、100の5%刻みで設定）し、その時の各検査基準での見過ぎ／見逃し数を算出する。

次に評価値を以下のように定める。

（1）

（2）

（3）

（4）

（5）

（6）

（7）

：OK と判定した回数　　：NG と判定した回数
：見逃し数　　：見過ぎ数

次に各論理式毎に評価値の高い検査基準の組み合わせ上位50位をランキングする。

⑤の検査基準値選択では、ランキング算出で得られた中から、以下のルールで論理式を決定する。

• その行でしか検出できない不良がいれば、その候補を採用する。
• ある不良に対して複数の候補で検出できる場合は評価値の高いものを選ぶ。
• 途中ですべての不良が検出できるようになった場合は、それ以降の行では見過ぎ数の最も少ない候補を選択する。

※見過ぎ数が同一の場合は、それらの中で余裕値（内側）が最も大きい候補を採用する。

これにより、見過ぎが少ないかつ、見逃しが起きない組み合わせが選択できるようになる。

4. 実証結果

4.1 方位点灯

電極に対するはんだの濡れ角を徐々に変化させた0.5mmピッチQFP（Quad Flat Package）サンプルではんだ法線（向き）の特定精度について検証した（図13）。

検証部品の外観とカラーハイライト画像を図14に示す。また、表1に評価サンプル数を示す。なお、良品と不良品の分類はデジタル顕微鏡を用いて、熟練者が判断した。

表2に良品と不良品の改善前後での正答率の結果を示す。

従来のカラーハイライト画像を用いたはんだ法線（向き）の特定精度は、良品の正答率は87.3%だったのに対して、方位点灯画像を用いた方は97.2%まで改善した。不良の正答率も94.8%から100%に改善し、良品／不良品共に大きな改善効果を確認できた。

4.2 4投光プロジェクタ

隣接する部品により影が発生する部品において、改善効果を確認した。図15にその代表例の部品配置図と図16に改善前後の鳥観図を示す。2投光ではプロジェクタ光が隣接する部品に遮られ、部品に投影されず、不正な形状となっている。一方、4投光ではプロジェクタ光が正しく部品面に投影されることで、正確な形状を復元できている。

4.3 検査基準最適化

代表的な部品種である、チップ部品、ダイオード部品、IC部品の3種において、従来手法と本提案の手法で良品／不良品の正答率を比較する。評価ピン数を表3に示す。ここでいう従来手法とは、熟練した作業者が経験に基づき手動で設定したものである。また、評価の対象不良は濡れ不良としている。良品か不良品かどうかはあらかじめ熟練者により、ラベル付けがされており、良品を検査機が良品と判断した場合、もしくは不良品を検査機が不良品と判断した場合は正解とする。

図17に正答率の結果を示す。いずれの部品種においても、良品正答率、不良品正答率共に改善できている。全部品種の平均において、従来方法と比べて良品正解率を4.9%、不良品正解率を3.4%向上させることができた。

5. むすび

これまで課題であった、はんだの濡れ判定精度において、はんだの向きを直接観測できる撮像系を開発し、はんだの形状の再現精度を向上することができた。次に、4投光プロジェクタにより、影や二次反射の発生確率を大幅に削減でき、ノイズの少ないより実際の形状に近い状態で検査ができるようになった。

また、これまでティーチングの熟練者でないと困難であったはんだのどの部分がどういう形なら良品か不良品かという検査基準の設定を検査基準最適化により自動化し、スキルレスに実現できるようになった。

今後、はんだ形状を定量的に測定することで、単に良品／不良品判別をするだけでなく、実装工程能力を定量的に把握できるようにする。それにより実装工程の問題を素早く把握でき、実装工程改善、さらには基板設計改善にもつなげることで、検査コストだけでなく、品質コスト全体の低減という新たな付加価値を提供し顧客満足の最大化を図る。

参考文献

1）

特公平6－1173　公報

2）

Raschka, S.; Mirjalili, V. Python 機械学習プログラミング 達人データサイエンティストによる理論と実践．福島真太朗監訳．第2版，インプレス，2018, p.336-337.

3）

杉山俊幸，岸本真由子，藤井心平，杉田信治. SJI（Solder-Joint-Inspection）30年と3D 技術で解決すること．エレクトロニクス実装学会第31回春季講演大会．2017, p.70-73．