リアルタイム処理可能な特徴量を用いた機械学習によるねじ締め底付き不良検知の事例

坂元 佑気SAKAMOTO Yuki
インダストリアルオートメーションビジネス カンパニー
技術開発本部 第1技術部
専門:情報工学、生体医工学
中村 芳行NAKAMURA Yoshiyuki
インダストリアルオートメーションビジネスカンパニー
技術開発本部 第1技術部
専門:情報システム・データ工学
所属学会:計測自動制御学会、日本ロボット学会、電子情報通信学会、情報処理学会、日本信頼性学会、エレクトロニクス実装学会
博士(工学)
杉岡 真行SUGIOKA Masayuki
インダストリアルオートメーションビジネス カンパニー
技術開発本部 第1技術部
専門:情報科学

近年、製造業における労働力不足が顕著となっており、人の作業を人工知能(以下、AI)に置き換えることが推進され、画像検査による異常検知などが利用されるようになってきた1)。一方で、ねじ締めにおける軸力不足など外観上の違いが乏しく、画像検査の適用が困難な問題もある。そこで本稿では、作業者が手動でねじを締結物に締め付けるときの感触の違いを識別するように、自動ねじ締め機によるねじ締め動作中のACサーボシステムから収集されたデータにより、従来では検知困難だった「底付き」不良をリアルタイムに検知する手法を提案する。工場の生産ラインでは、ねじ締め不良発生時の無駄なねじ締め工程を無くしたいという需要があり、ねじ締めを行って次のねじ締めを行うまでにねじ締め不良を検知することが求められている。そのため、提案手法では、生産ラインでリアルタイムに不良検知が可能なオムロン製のAI 搭載マシンオートメーションコントローラ2-5)(以下、AIコントローラ)を用いた。本提案手法が、特に異常検知が困難な0.04mm未満の底付き不良に対しても有効であることを実験結果により確認した。

1. まえがき

近年、製造業における労働力不足が顕著となっており、Covid-19の流行によりさらに深刻化している。このため、人の作業をAI技術に置き換えることが世界的に推進されるようになった。AI技術の成功事例としては、画像認識が著名であり、製造業においては外観検査に活用されている1)

部品の取り付け漏れ、はんだ付け不良、傷、異物付着など画像認識にて網羅できる不良は多いが、検知困難な不良もある。ねじ締めにおける軸力不足はその代表例である。軸力とは雄ねじの座面と締結物で被締結物を締め付ける力であり、これが規定値に達していなければねじ締め不良となる。ねじ締めの軸力不足は画像検査での正確な検知は難しく、また、ねじ締め後に非破壊で軸力を計測することも困難である。

熟練作業者によるねじ締めであれば、締結物に締め付けるときの「感触」の違いにより、締結物に正常に締め付けられたかどうかはある程度は識別可能であるが、人依存の品質ばらつきが生じてしまう。ねじ締め工程をロボットにより自動化し、「感触」の違いをセンシングできれば、労働力不足の解消だけでなく、人依存の品質ばらつきを抑えることが可能である。しかし、この異常の検知をどのようにAI技術に置き換えるかは課題である。従来手法として、ねじの回転を制御するトルクの値を用いるアイデアなどは提案されているが6-8)、検知できる不良モードが限定されており、いまだ技術は確立しているとは言えない。

本稿では、自動ねじ締め機によるねじ締め不良の検知を、外付けのセンサ等を用いずに、ねじ締め機を制御するプログラマブルロジックコントローラ(以下、PLC)自身により行う手法を提案する。AI技術のエンジンは、オムロン社の商品であるAIコントローラ2-5)を用いた。提案手法が、特に異常検知が困難な底付き不良に対しても有効であることを実験結果により実証する。

2. ねじ締め機とねじ締め不良

2.1 ねじ締め機の構成

図1に本稿で想定する、一般的な自動ねじ締め機の構成を示す。主要な構成要素は以下である。

図1 ねじ締め機システム構成
図1 ねじ締め機システム構成
  • ねじ締め制御ファンクションブロック(以下、ねじ締め制御FB):ねじ締め制御を行うPLCプログラム
  • ヒューマンマシンインタフェース(以下、HMI):ねじ締め動作の設定を行うための表示機器
  • PLC:ねじ締め制御FBによりねじ締め制御を行う制御装置
  • ACサーボシステム:PLCからの指令に対して追従する、昇降軸(Z軸)と回転軸(R軸)を構成するサーボ機構
  • メカ機構:ACサーボシステムを用いて、ねじ締め動作(回転動作)とねじ押し当て動作(下降動作)により、ねじ締め作業を自動化する機構

2.2 ねじ締め制御

ねじ締め制御FBを使用したねじ締め制御について説明する。

ねじ締め制御FBは、図2に示すねじ締め制御ステップでねじ締め制御を行う。

図2 ねじ締め制御ステップ
図2 ねじ締め制御ステップ
  • STEP 0(下降) Z軸をワーク上に位置決めする。
  • STEP 1(仮着座) R軸を回転し仮締め目標トルクまで(雄ねじが着座するまで)ねじ締めする。
  • STEP 2(本締め) R軸を本締め目標トルクまでねじ締めする。
  • STEP 3(本締め保持) R軸を本締め目標トルクで保持する。
  • STEP 4(解放) R軸のトルクを解放する。
  • STEP 5(原点復帰) Z軸を原点復帰する。

2.3 ねじ締め不良

ねじ締め異常とは、ねじ締めが不完全であるため軸力が出ていない状態である。

その要因は8種に大別できる。図3、表1に8種のねじ締め不良モードの定義と説明を示す。

図3 ねじ締め不良モードの定義
図3 ねじ締め不良モードの定義
表1 ねじ締め不良モードの説明
不良モード 説明 従来検知手法
(1)ねじ山不良 ねじの山が切れていない、または、目詰まりした状態のねじを使用した不良である R軸回転負荷
(2)異物挟み込み 雄ねじの座面と被締結物の間に、はんだなどの異物を挟み込む不良である R軸回転負荷
(3)斜め締め 雄ねじが雌ねじに対して斜めに傾いた状態の不良である R軸位置
(4)雄/雌ねじ破壊 ねじの山が削れた状態のねじを使用した不良である Z軸位置
(5)カムアウト/リームアウト 雄ねじの十字穴が潰れて、ドライバービットが雄ねじの十字穴から外れる不良である Z軸位置
(6)ねじ締め位置ずれ 雄ねじの位置決めにずれが生じて、雄ねじと雌ねじの中心がずれた状態の不良である Z軸位置
(7)ねじなし 供給ミスや吸着ミスなどにより雄ねじをドライバービットに保持しない状態の不良である Z軸速度
(8)底付き 雄ねじの先が雌ねじの底に接触する不良である 浮き大 Z軸位置
浮き小 ×

2.4 ねじ締め不良検知の課題

2.3節に示したねじ締め不良モードのうち底付き以外は、表1に示す通り、サーボから収集したZ軸、R軸の位置および速度データに基づく一般的なしきい値判定により検知することができる6-8)

しかし、不良モード底付きの中でもねじ締め後に微小な浮きが生じるものを検知する手法は確立されていない。そのような底付きは、ねじ締め時に異物等は無く、トルクに違いが生じず、微小な浮きは外観による正確な検知は困難なためである。本稿では、底付きの微小な浮きを検知する方法について提案する。

3. 提案手法

本稿では、微小な浮きが生じる底付きのような、従来のしきい値判定では困難な異常をリアルタイムに検知するため、AIコントローラを用いた機械学習による判定システムを提案する。AIコントローラはマイクロ秒オーダーでAI処理を実行可能である。また、ねじ締め機によるねじ締め動作中のACサーボシステムから収集したデータを用いて特徴量抽出を行うことにより、ねじ締めを行って次のねじ締めを行うまでにねじ締め不良を検知することができる。

3.1 システム構成

提案するシステムでは図1の構成に対して、図4に示す通り以下の要素を追加している。

図4 提案手法のシステム構成図
図4 提案手法のシステム構成図
  • AIコントローラ:機械学習の外れ値検知アルゴリズムであるIsolation Forest9)によるリアルタイム異常検知機能を持つPLC
  • ねじ締め異常判別Function Block(以下、ねじ締め異常判別FB):AI機械学習モデルに基づき、ACサーボシステムから収集したデータからねじ締め異常を判別するPLCプログラム
  • AI機械学習モデル:過去に収集した学習データからIsolation Forestアルゴリズムにより構築された機械学習モデル。

3.2 AI機械学習モデルの構築

AI機械学習モデルは、ねじ締めの正常/異常を判別するためのモデルであり、以下の手順でデータを収集して構築する。本稿でのAI機械学習モデルの構築に用いるIsolation Forestは教師無し学習である。

(1)学習データ収集

ねじ締め機のAIコントローラで制御するR軸とZ軸のサーボから、それぞれねじ締め時の位置、速度、トルクを学習データとして収集する。なお、本稿の機械学習手法では学習モデルを構築する学習データには正常データのみを用いる。

(2)特徴量算出

収集したデータから各ステップの特徴量(最小、最大、平均、レンジ、標準偏差、時間)を算出する。なおここでレンジとは、|最大値-最小値| で定義される値である。図5に示す通り、特徴量の総数は、ステップ数×データ項目数×特徴量種類数となる。

図5 ねじ締めの特徴量算出
図5 ねじ締めの特徴量算出

(3)特徴量の選択

特徴量の総数は、ステップ数×データ項目数×特徴量種類数であり膨大である。しかし、ターゲットとなる不良検知に有効なものは限られるのでその選択が必要である。本稿では、文献(5)と同様の手法である、決定木9-10)やロジスティック回帰9-10)を用いて特徴量選択を行った。特徴量の選択はデータ分析手法に基づくものであるため、物理的に整合しない可能性がある。このため、選択された特徴量の妥当性については物理的観点からも考察する。

(4)AI機械学習モデルの作成

選択された特徴量のデータを用いて、Isolation Forestのアルゴリズムで木構造を構築し、AI機械学習モデルとする。

(5)評価

新たに収集した正常と異常のデータに対して、構築したAI機械学習モデルに基づき算出した異常度合いを示すAIスコアの妥当性を評価する。

4. 実験結果

4.1 実験に使用したねじ締め機

図6と表2に実験に使用したねじ締め機の構成と主要部品を示す。

図6 ねじ締めの構成
図6 ねじ締めの構成
表2 ねじ締め機主要部品
No. 品名 型式 数量 備考
1 ACサーボシステム 1Sシリーズ ACサーボドライバ(100V100W) R88D-1SN01L-ECT 2 R/Z軸
2 ACサーボシステム 1Sシリーズ ACサーボモータ(100Wブレーキなし) R88M-1M10030S-S2 1 R軸
3 ACサーボシステム 1Sシリーズ ACサーボモータ(100Wブレーキつき) R88M-1M10030S-BS2 1 Z軸
4 ねじ締め機 減速機 AB042-003-S2-P2 1 R軸
単軸ロボット KR30H06B-0220-0-10A0 1 Z軸
5 AI搭載マシンオートメーションコントローラ NYシリーズ NY512-Z300 1 コントローラ
6 プログラマブルターミナル NAシリーズ 7インチ NA5-7W001S 1 HMI

4.2 実験に使用したワーク

雄ねじは、M4の長さ25mmのセムスねじを使用した。締結物の材質はADC12、被締結物はガラスエポキシ基板であり、寸法は図7の通りである。なお、このワークは本技術開発時の共創先商品のねじ締め対象の中から代表的な組み合わせとして選定したものである。

図7 ワークの図面
図7 ワークの図面

4.3 学習データ収集

300個の正常データを収集した。データ数に関しては文献(9)を参考にIsolation Forestに適した数を設定した。本稿の機械学習手法では正常データのみで学習モデルを生成する。正常データ300個をランダムに3分割し、そのうちの200個を学習データとする。

4.4 参考用データ収集

後に機械学習モデルの妥当性を評価するための参考用データとしてねじ締めの軸力の測定データを収集する。軸力の測定には本稿の実験のようにロードセルを用いる方法や破壊検査などがあるが、いずれにしろ、製品の実製造環境ではデータ取得は不可能である。このため、参考用データは、実験用ワークを用いて事前に取得する。

参考用データ収集のため、被締結物と締結物の間にロードセルを挟み込み、軸力を測定した。測定した軸力データと学習モデルによる推定結果を比較する。

4.5 評価データ収集

評価データとして100個の底付き不良のデータを収集した。評価としては、4.3で説明した正常データのうち、学習データに使用しなかった100個のデータも用いる。

図8に示す通り、不良モード「底付き」を再現するため、締結物の材質(ADC12)と同じアルミ系のA5056の止めねじを使用し、底付き実験用の締結物2種類(底付き0.2mm、底付き0.5mm)を各50個ずつ作成した。また、底付き実験用の締結物はlot 1(20個)とlot 2(30個)の2種類を使用した。なお、これらの底付きの大きさは、従来手法では検出が困難な0~0.2mmまでの浮きの底付き不良を再現するために実験により決定した値である。

図8 底付き実験用の締結物
図8 底付き実験用の締結物

底付き0.2mmは、正常なねじ締めをした状態の雄ねじの先端より0.2mm上に止めねじの上面が位置するようにしたもの、底付き0.5mmは同様に0.5mm上に止めねじの上面が位置するようにしたものである。しかし、作成した底付きの寸法にはばらつきが生じるため、ねじ締め後に雄ねじの座面と被締結物の間に生じる隙間量を測定した。

4.6 特徴量算出、特徴量選択

取得された学習/評価データを用いて3.2(2)の特徴量を算出し、3.2(3)に述べたデータ分析手法にて、特徴量選択を行った。その結果、「STEP 2のZ軸位置レンジ」および「STEP 4のR軸位置レンジ」の2つが選択された。図9にSTEP 2のZ軸位置の最大値とSTEP 4のR軸位置の最大値およびSTEP 2のZ軸位置レンジとSTEP 4のR軸位置レンジについて、学習/評価データの分布を示す。データプロットエリア外には各分布の密度曲線を示す。

図9 STEP2のZ軸位置・STEP4のR軸位置の最大値とレンジの分布
図9 STEP2のZ軸位置・STEP4のR軸位置の最大値とレンジの分布

従来手法のR・Z軸位置による異常検知では図9の左図に示す通り、正常と底付き0.2mmの分布が重なっており判別することができない。また底付き0.5mmではロットの違いにより分布が異なっている。一方、右図に示したR・Z軸位置レンジのデータは正常の分布のばらつきが小さく、また底付き0.2mmの分布と異なっており、底付き0.5mmの分布もロットの違いによる分布の異なりは見られない。これは絶対値であるR・Z軸位置は、雄ねじの長さや締結物の高さの違い、ロット間の個体差などによるばらつきの影響を受けるが、相対値であるR・Z軸位置レンジは影響を受けないためであると考えられる。

特徴量の選択はデータ分析手法にて行われているため、物理的な整合を確認する。

(1)底付き不良発生時のZ軸位置

ねじ締め正常時と0.50mm底付きが生じたときの時系列グラフを図10に示す。

図10 正常と底付き不良のZ軸位置の違い
図10 正常と底付き不良のZ軸位置の違い

図10(a)はねじ締めのステップ全体(STEP 0~STEP 5)のZ軸位置の遷移を示す。青が正常、赤が底付きのそれぞれ一個ずつのデータである。今回の図10(a)に示したねじ締め動作のケースではSTEP 5の時間に差があるように見えるが、これはねじ締め中にねじ締めの状態によって動作時間が変化するステップがあるためである。しかし、この時間の変化はねじ締め不良時に必ず発生するものではないため判別には適していない。図10(b)は特徴量選択されたSTEP 2を拡大したものである。この2個のデータについては正常と底付きにはZ軸の位置に差があるように見えるが、図9に示した通り、全体の分布には差はない。

正常なねじ締めではSTEP 2(本締め)でねじは着座しているためZ軸位置はほとんど変化しないが、底付きではSTEP 2のトルクアップ時に雄ねじの先または雌ねじの底が変形するため、正常なねじ締めよりZ軸位置の変化量(レンジ)が大きくなっていると考えられる。

(2)底付き不良発生時のR軸位置

正常と底付きのR軸位置の時系列グラフを図11に示す。

図11 正常と底付き不良のR軸位置の違い
図11 正常と底付き不良のR軸位置の違い

図11(a)はねじ締めのステップ全体(STEP 0~STEP 5)のR軸位置の遷移を示す。青が正常、赤が底付きのそれぞれ一個ずつのデータである。R軸位置の遷移はほとんど差が無いことが分かる。図11(b)は特徴量選択されたSTEP 4を拡大したものである。この2個のデータについては、正常と底付き不良で、R軸の絶対値に差があるように見えるが、図9に示した通り、全体の分布には差はない。STEP 4でR軸トルクを解放する前は、雄ねじの回転方向にドライバービットを通じて本締めのトルクを加えている。その状態からR軸トルクを解放すると雄ねじのねじれが元に戻ろうとする力が発生する。その際、底付き時は着座しておらず回転抵抗がないため正常時(着座時)よりねじれが元に戻る(ねじが逆回転する)量が大きくなるためと考えられる。上記考察の根拠として、STEP 4でR軸トルクを0%にした際、正常時はねじの頭部回転が無く、底付き時は頭部回転していることを確認した。

4.7 AI機械学習モデルの構築

4.6.で選ばれた特徴量の学習データ(教師無し学習のため教師データは含まない)をAIコントローラに読み込ませてAI機械学習モデルを構築した。AIコントローラはIsolation Forestのモデルを自動で構築できる。AIコントローラに組み込まれたねじ締め異常判別FBは、ねじ締め機のコントローラで制御するR軸とZ軸のサーボから得られたデータから指定された特徴量を算出し、AIコントローラの機械学習機能が特徴量をAI機械学習モデルに適用しAIスコアを算出する。

4.8 評価

AIコントローラにて算出されたIsolation forestのAIスコアと、4.4で取得した参考用データである、ねじ締めの軸力を比較した。正常データ300個をランダムに3分割して、正常データ200個を学習データ、残りの正常データ100個、底付き不良のデータ100個を評価データとする検証を行った結果を図12に示す。

図12 正常と底付き不良のAIスコア
図12 正常と底付き不良のAIスコア

横軸は軸力である。縦軸はAIコントローラにより算出されたAIスコアである。AIスコアは値が大きいほど正常データの分布から外れている値であることを示す。青は正常データであり、青以外の色は底付き不良のデータである。底付き実験用の締結物は0.2mm、0.5mmの2種類を作成しているが、実際の底付きの程度にはばらつきがある。このため、ねじ締め後に雄ねじの座面と被締結物の間に生じた隙間量を測定し、①0.01mm未満、②0.01mm以上0.04mm未満、③0.04mm以上0.2mm未満、④0.2mm以上に分類して結果を表示している。正常データは軸力が高く、底付き不良のデータは軸力が低くなっていることが分かる。

また、正常データはAIスコアが低く、底付き不良のデータはAIスコアが高くなっており、AIスコアと軸力に相関があることが分かる。隙間量が0.04mm以上になると正常/異常のAIスコアは明確に分離されているが、隙間量が小さいデータは軸力の値とばらつきが大きく、AIスコアは小さい傾向にある。底付き不良データの中には、正常データに近い軸力となるものもある。このため、正常/異常のAIスコアの分布が近づき誤判別が生じる可能性がある。誤判別には、異常を正常と判別する見逃しと、正常を異常と判別する見過ぎがあるが、これらはしきい値の設定によりどちらにもなりえるものである。

本実験では、見逃しをゼロにする基準でしきい値を設定し、見過ぎ率により妥当性を評価する。上記結果に対して見逃し率がゼロになるように設定したしきい値を図12に赤の破線で示し、その場合の見過ぎ率を表3に示す。

表3 底付き不良検知の見過ぎ率
検証 見過ぎ率
パターンA 0.00%
パターンB 0.00%
パターンC 1.00%

パターンAはAIスコア約0.54、パターンBはAIスコア約0.56でしきい値を引くと見過ぎはなく、正常と異常が完全に分離できているため、見過ぎ率は0.00%である。パターンCではAIスコア約0.53でしきい値を引くと1点が見過ぎとなり、見過ぎ率は1.00%である。

以上の評価結果から本稿で使用したデータセットに対して、従来手法では4.6で述べた通り、正常と底付きの分布が重なっており判別不可なのに対して、本手法では見過ぎ率を大きく抑えることができることが示された。

5. むすび

本稿では、現場でリアルタイムにAI処理を行うAIコントローラにて自動ねじ締め機の異常検知を行う手法について述べた。微小な浮きが生じる底付き不良の実験を行い、実験結果から手法の有効性を評価した。従来手法では判別困難な0.04mm未満の隙間量の底付き不良についても、提案手法では、1%の見過ぎが生じるものの、判別が可能である。0.04mm以上の隙間量であれば、誤判別0%で判別ができることを示した。ねじ締めにおける軸力不足は外観上の違いが乏しく、画像検査の適用が困難である課題があったが、提案手法では、ねじ締め中のACサーボデータを用いて、外観検査では見分けがつきにくい異常もリアルタイムに検知できる。本手法を自動ねじ締め機に搭載することにより、省人化と同時にねじ締めの品質向上が可能であると思われる。

本実験ではねじ締めの専用機を利用した。今後は、ロボット組み立てアプリケーションと融合させ、汎用的なロボットを用いたねじ締めの品質向上への応用も検討する。本技術は社内工場との共創により実現したものであるが、本稿で論じてきた底付きを加えた、表1に記載の8種のねじ締め不良モードを検知できるアプリケーションを開発済みであり、生産ラインへの導入が完了している。生産現場からは高い評価が得られ、従来の目視検査等による検査工程を、本技術に置き換えることとなった。

今後、さらなる顧客への展開のためには、メカ・ねじ締め制御・ねじ締め条件における正常と異常の分離性の確認や、ワークの寸法・形状・材料、設備の摩耗/劣化、ねじ締め姿勢などの異常検知に影響のある変動要因の確認が必要であり、社外顧客への展開を通して、これらの課題を解決していく予定である。

参考文献

1)
経済産業省.“AI導入ガイドブック”.https://www.meti.go.jp/policy/it_policy/jinzai/AIutilization.html,(参照 2022-05-01).
2)
オムロン株式会社.“【注目商品】AI搭載マシンオートメーションコントローラ”.https://www.fa.omron.co.jp/product/special/sysmac/featured-products/ai-controller.html,(参照 2022-05-01).
3)
見置孝昌,出来仁太郎.AI 搭載マシンオートメーションコントローラの開発(1).OMRON TECHNICS. 2019, Vol.51, No.1, p.39-44.
4)
太田政則,西山佳秀.AI 搭載マシンオートメーションコントローラの開発(2).OMRON TECHNICS. 2019, Vol.51, No.1, p.45-51.
5)
宮本幸太,川ノ上真輔.AI 搭載マシンオートメーションコントローラの開発(3).OMRON TECHNICS. 2019, Vol.51, No.1, p.52-57.
6)
日東精工株式会社.自動ねじ締め装置.特開2012-223841.
7)
株式会社東芝.ねじ締め装置.特開平09-183027.
8)
株式会社デンソー.ねじ締め装置.特開平7-223132.
9)
Liu, F. T.; Ting, K. M.; Zhou, Z.-H. Isolation-based anomaly detection. ACM Transactions on Knowledge Discovery from Data (TKDD), 2012, Vol. 6, No.1, p.3.
10)
平井有三.初めてのパターン認識.森北出版,2012.

本文に掲載の商品の名称は、各社が商標としている場合があります。

冊子版 OMRON TECHNICS