PRINT

ピン球の回転速度を考慮することで高精度な返球が可能な卓球ロボットシステムの開発

浅井 恭平
浅井 恭平代表執筆者 Kyohei Asai
技術・知財本部
知能システム研究開発センタ
専門:機械学習,ロボット工学
中山 雅宗
中山 雅宗 Masamune Nakayama
技術・知財本部
センシング研究開発センタ
専門:画像処理,機械力学
八瀬 哲志
八瀬 哲志 Satoshi Yase
技術・知財本部 組込研究開発センタ
専門:電気電子工学

我々は、人と機械の関係の未来像「人と機械の融和」を表現するため、人とロボットでラリーというインタラクションができる卓球ロボット“フォルフェウス”を開発している。
卓球ロボットが卓球ボール(以下、ピン球)を返球するには、返球前後のピン球の軌跡予測及び返球時のラケットの動作計画をする必要がある。特に、ピン球の回転速度による軌跡への影響が大きいことから、卓球ロボットがより高精度に返球するためには、ピン球の回転速度の軌跡への影響を考慮する必要がある。我々の従来システムでは産業用カメラ(80fps)を用いており、回転速度を直接計測することが困難なため、ピン球の回転速度の影響を考慮することができていなかった。
そこで本稿では、産業用カメラを用いて回転速度を推定する手法を提案し、回転速度を考慮した返球前後のピン球の軌跡予測及び返球時のラケットの動作計画により高精度な返球を実現した卓球ロボットシステムの開発結果について報告する。回転速度を考慮したことにより、従来システムに比べて目標返球位置に対する返球精度が36.5cm向上し、回転の掛かったピン球に対してより高精度な返球ができるようになった。それにより、従来システムよりもラリーが続きやすくなったため、より多様な人と「融和」できる卓球ロボットを実現できた。

1.まえがき

我々は、オムロンの考える人と機械の関係の未来コンセプト「人と機械の融和」を表現するため、人とロボットがラリーというインタラクションができる卓球ロボット“フォルフェウス”を2013年から開発している1,2)。「人と機械の融和」とは、人と機械の関係性の進化を意味している。それは、機械が人の作業を代替するという関係から、機械と人が協調し合って作業する関係となり、さらには、機械が人の状態や行動を理解し、能力を引き出すという関係に進化するというコンセプトである。このコンセプトを達成するためには、大きく以下2つの機能が必要である。

・人の能力を認識し、「人より少し強い」ラリーを実現するための戦略を考える機能
・その戦略を表現しうる返球精度

ロボットが卓球を行うためには、高速高精度なピン球のセンシング技術やラケットの動作計画技術、高精度なコントロール技術が要求されるため、ロボティクスの研究題材として古くから研究されている3)。特に近年では、高精度な返球をするための、ラケットの動作計画技術が盛んに研究されている。回転したピン球を返球するため、回転速度の影響を考慮した空力モデルや衝突モデルを用いたモデルベースのアプローチ4,5)や、ラケットの動作とピン球の軌跡の因果関係に着目した学習ベースのアプローチ6)などが提案されている。さらに、人のような柔軟なラケットの動作を実現するため、人によるダイレクトティーチングで生成された動作を強化学習することで返球精度を高めるアプローチ7)や、トルクの最適性を制約条件に組み込んだ最適制御問題のアプローチ8)などが提案されている。
我々の卓球ロボットシステムは、文献4)を参考とし、「人と機械の融和」のコンセプトの実現性を伝えるため特殊な機器は用いず自社製品を中心とした工場向けの一般産業用機器で構築している。そのため、文献4,9)で提案されている超高速カメラ(900fps)を用いて回転速度を計測する手法は、我々が採用した一般向け産業用カメラ(80fps)では適用が困難であった。結果、従来の我々の卓球ロボットはピン球の回転速度を考慮せずに軌跡予測を行っており、目標返球位置に対する返球精度が低い状態であった。また、返球の際のラケットの動作計画においては、文献4)及び我々の従来の卓球ロボット共に回転速度を考慮できておらず、回転速度に合わせたラケットの動作ができていないため、更に返球精度の低下を招いていた。
一方、人の目の認識速度は、一般的に我々が用いているカメラ(80fps)と同程度と言われている。しかし、人はピン球の回転速度に応じて打ち方や球種を使い分け、高精度に返球することができている。それは、人がピン球の軌跡から回転速度を推定することができ、その回転速度の推定に応じたラケットの動作を行っているからである。そこで我々は、産業用カメラを用いてピン球の軌跡から回転速度を推定する手法を新たに考案した。
本稿では、「人と機械の融和」を達成するための機能の内、後者の「人とのラリーの中で人より少し強い」を表現するために開発した、ピン球の回転速度を考慮することで高精度な返球が可能な卓球ロボットシステムに提案する。回転速度を推定する手法を用いることで、返球前後のピン球軌跡予測及び返球時のラケットの動作計画に対して回転速度を考慮することができるようになり、高精度な返球が実現した。
以下、第2章で卓球ロボットのシステム構成について紹介し、第3章で卓球ロボットの返球原理について説明する。第4章にて、回転速度の推定を行わない従来システムを紹介し、第5章にて提案の回転速度の推定技術について説明する。第6章でその有効性を検証し、最後に第7章にて、まとめとして今後の展望について述べる。

2.卓球ロボットのシステム構成

卓球ロボットのシステム構成を図1に示す。オムロンで開発している卓球ロボットは、産業用ロボットなど産業用途として一般的に使われる機器を使用している。ピン球の3次元位置を計測するカメラには、製品検査などで使用される80fps、Quad-VGAの産業用カメラを用いている。またロボットには、ワークの高速搬送などに使用されるパラレルリンクロボットを用いている。ロボット及びラケット駆動部には、ベルトコンベアの駆動などで使用されるサーボシステムを用いており、PLC(ProgrammableLogicController)を用いて1ms周期で制御位置指令の更新を行っている。

図1 卓球ロボットのシステム構成
図1 卓球ロボットのシステム構成

3.卓球ロボットの返球原理

本章では、卓球ロボットの返球原理について説明する。

3.1 返球前のピン球の軌跡予測

図2 返球前のピン球の軌跡予測の概念図
図2 返球前のピン球の軌跡予測の概念図

図2に返球前のピン球の軌跡予測の概念図を示す。軌跡予測は、バウンド後から時刻tにて計測されたピン球の位置に基づいて、ロボットの打点付近までの軌跡を予測する。一般にピン球は単純な放物運動ではなく、ピン球の速度に起因するDrag力や回転速度に起因するMagnus力などの空力特性によって非線形運動することが知られている3)。ピン球にかかる空力を図3に示す。この時、ピン球は(1)式の動力学モデルに従って挙動する。

図3 ピン球にかかる空力
図3 ピン球にかかる空力
数式001

ここで、数式002はそれぞれ時刻における図2の座標系でのピン球の位置[m]、速度[m/s]、加速度[m/s2]を表す。また、はピン球の回転速度[rad/s]を表している。ここでx,y,z軸は図2に図示した通りである。つまり、人からロボットに向かっているピン球にx軸周りの回転速度の回転がかかっているとすると、それは強いトップスピンがかかっているピン球である。はピン球に加わるDrag力を表しており、進行方向とは反対方向に発生する。またはピン球に加わるMagnus力を表しており、進行方向と回転軸の外積方向に発生する。はピン球の質量[kg]を、はそれぞれDrag定数、Magnus定数を表している。(1)式はピン球の位置に関する2階非線形常微分方程式である。この常微分方程式を繰り返し解くことで、軌跡を予測することができる。

3.2 返球後のピン球の軌跡予測

卓球ロボットからの返球後のピン球の軌跡予測では、返球目標位置からピン球の軌跡を逆算し、返球直後のピン球の速度を決定する。図4に返球後のピン球の軌跡予測の概念図を示す。返球時の打点位置、目標返球位置、さらに返球直後の回転速度を境界値条件とし、返球後のピン球の速度を決定する。ただし、本稿では返球後のピン球の回転速度は減衰しないものとする。ここで、目標返球位置への到達時間をとする。

図4 返球後のピン球の軌跡予測
図4 返球後のピン球の軌跡予測

は、(1)式のピン球動力学モデルの逆問題を解くことで求めることができる。

3.3 返球時のラケットの動作計画

図5に返球時のラケットの動作計画の概念図を示す。返球時のラケットの動作計画では、返球後の軌跡予測によって決定したピン球の速度で返球できるように、返球時のラケットの速度と姿勢を決定する。

図5 返球時のラケットの動作計画の概念図
図5 返球時のラケットの動作計画の概念図

ラケットによるピン球の返球は、(2)式のラケット- ピン球衝突モデルで定式化できる。

ここで、はそれぞれ返球前後のピン球の速度及び回転速度を、は返球時のラケットの速度を表している。また、は図2で示した座標系から図5のラケットの座標系に変換する回転行列を、は返球前後のピン球の速度と回転速度の相互変換行列を表しており以下の式で表現される。

はラケットとピン球の反発係数を、はそれぞれピン球とラケットの相対速度、回転速度によって発生する摩擦係数を表す。
(4)式をについて解くことで、返球時におけるラケットの速度と姿勢を求めることができる。3.1~3.3節の問題を解くことで、卓球ロボットは目標返球位置に対してピン球を高精度に返球することができる

4.従来システム

本章では、従来システムで用いた回転速度を考慮しない()場合の3.1~3.3節の卓球ロボットからの返球について説明する。

4.1 回転速度を考慮しない返球前の軌跡予測

ピン球の動力学モデルはとすると、(3)式のようになる。

この動力学モデルを繰り返し解くことで、回転速度を考慮しない場合の軌跡予測を行う。

4.2 回転速度を考慮しない返球後の軌跡予測

ピン球の動力学モデルを、とし、解析的に解くため文献4で提案されている下記に示す近似動力学モデルを用いた。

ここで、である。(4)式は打点位置及び目標返球位置を境界値条件として解析的に解くことができ、返球後のピン球速度は(5)式で求められる。

4.3 回転速度を考慮しない返球時のラケットの動作計画

(2)式を、回転速度をω1= ω2=[0,0,0]T とすると下記となる。

(6)式をについて解くことで、ロボットが返球する際のラケットの速度及び姿勢を求めることができる。ただし、3次元座標系の3つの式に対して求めたい変数が5つあるため、一意に求めることができない。そこで、返球位置精度を高める際に影響の少ない動作であるラケットの上方向への振り上げ速度、及びラケットの仰角の2変数に対してという制約条件を追加して(6)式を解く。
以上の数値計算を用いて、回転速度を考慮しない条件で、ロボットと人とのラリーを実現している。

5.提案システム

本章では、目標返球位置に対し、より高精度な返球を実現するため、ピン球の回転速度の推定手法及び回転速度を考慮した返球前後の軌跡予測、返球時のラケットの動作計画について提案する。

5.1 回転速度を考慮した返球前の軌跡予測

回転速度を考慮した軌跡予測を行うには、(1)式のMagnus項()を含む動力学モデルを繰り返し解く必要がある。そこで本節では、人が返球したピン球の時刻tにおける回転速度を、計測する手法ではなく、推定する手法について説明する。
回転速度を推定する手法の概念図を図6に示す。バウンド後から現在時刻まで撮像した点全てのピン球の計測点において(1)式により対象とした計測点以後の予測点を求め、実際の計測点との平均誤差の合計値を評価関数Eとし、評価関数を最小化する回転速度を求める最適化問題を解く。

図6 回転速度推定の概念図
図6 回転速度推定の概念図

評価関数は(7)式になる。

ここで、は現在時刻から点前の計測点において予測した現在時刻までの予測点と実際の計測点の誤差を表し、点前の計測点から現在までの全てのを平均したものを表す。このN個の誤差平均値を合計したものが評価関数である。この評価関数を最小化する回転速度を推定することで、回転を考慮した軌跡予測を行うことができる。
本手法を採用した理由について述べる。回転速度は、計測点と予測点との差異を最小化することで求めるが、ピン球速度の推定精度が回転速度の精度に大きく起因する。それは、予測点を求める際に、ピン球の速度を初期条件として(1)式を繰り返し解くからである。さらに、ピン球の速度は2点の計測点の前進差分で求めるため、速度の精度は計測点の計測精度に依存する。そのため、過去のすべての計測点から予測した予測点の誤差を最小化する回転速度を採用することで精度を向上できる。

5.2 回転速度を考慮した返球後の軌跡予測

初めに、卓球ロボットからの返球後のピン球の回転速度の決め方について考える。返球後のピン球の回転速度を決めることは、ロボットが返球する球種を決定することと同義である。例えば、の値を設定した場合、ロボットはトップスピンをかけた返球を打つことになる。また、とすると、ロボットはサイドスピンをかけて返球することになる。このようにして、ロボットにどういった返球をさせたいかによって、を設定することになる。次に、ピン球の動力学モデルの逆問題を解くことを考える。(1)式は非線形常微分方程式であるため、解析的に解くことは困難である。したがって、数値的に解くため、卓球ロボットから速度で返球されたピン球が目標返球位置に到達する時間T秒後の予測返球位置をとしたときに、目標返球位置と予測返球位置との誤差を最小化する速度を求めるこのとき、評価関数Eは(8)式に定式化される。

この評価関数を最小化するを求めることで、正確な返球速度を求めることができる。

5.3 回転速度を考慮した返球時のラケット動作計画

5.1、5.2節で求めた返球直前のピン球の速度及びピン球の返球速度を(4)式に代入し、のすべての変数を決定することで、目標返球位置に対して高精度な返球をすることができる。

6.実機検証

本章では、5章で提案したシステムの有効性を確認した結果について述べる。

6.1 実験概要・結果

提案システムの有効性を、卓球ロボットからの実際の返球位置と目標返球位置との誤差を従来システムと比較することで確認した。なお、提案システム及び従来システムの両者に対し、軌跡予測誤差の影響による返球ミス(空振りやラケットのエッジにあたるなど)は外れ値とした。
図7に検証結果を示す。提案システム及び従来システムそれぞれについて、実際にロボットが約100球を目標返球位置( )に向かって返球したときのピン球の到達点を表している。なお、提案システムにおいては、返球の回転速度と設定している。図7に示した通り、提案システムの方が精度高く目標返球位置に返球できている。ここで、が卓球台の端であるので、の領域は、卓球台をオーバーしていることを表している。

図7 検証結果
図7 検証結果

目標返球位置と実返球位置の距離を誤差とした時、従来システムにおける誤差平均59.0cm、標準偏差23.3cmに対し、提案システムにおける誤差平均22.5cm、標準偏差0.9cmとなり、目標返球位置に対する返球精度が向上したことが分かる。
初心者に対して人の能力を高めるラリー(例えば、フォアハンドとバックハンドの使いわけ、安定的にフォアハンドを誘発させるなど)をする場合、ロボットは最低限でもミスせずに左右に打ち分ける性能を有する必要がある。すなわち、卓球台の大きさ(横幅が152.5cm、ネットまでの長さ137.0cm)を考慮すると、ロボットの返球精度は誤差平均が30cm程度である必要がある。したがって、実験結果より初心者に対して人の能力を高めるラリーを達成する場合十分な性能であると言える。

6.2 考察

回転速度を考慮した返球を行うことで、目標返球位置に対する返球精度が向上したが、提案システムでも目標返球位置に対する誤差が存在する。これは、以下が原因と考えられる。卓球の中級者(一般競技者レベル)に対して人の能力を高めるラリーを実現する場合、これらの問題を解決する必要がある。

①ピン球の位置計測精度
②ラケット- ピン球衝突モデルの精度
③ロボットの制御性能

①に関しては、ピン球の位置計測の誤差によって(7)式の回転速度の推定精度が決定されるためであり、更に計測精度の改善が必要である。②に関しては、本稿ではピン球とラケットとの衝突を(2)式のように線形モデルで表現している。しかし、ラケットにはラバーが貼ってあるため、ピン球とラケットとの衝突は非線形な現象となる。そのため、線形モデルでは返球時のピン球の速度に目標値との誤差が発生してしまう。最後に、③に関しては、ロボットの可動域や加速度などの制約によって目標とするラケットの速度を実現できないことがある。そのため、ロボット手先の構造を見直すなど、必要な速度を出せる機構にする必要がある。

7.まとめ

本稿では、80fpsの産業用カメラを用いた回転速度の推定手法及びその結果を用いた返球前後のピン球の軌跡予測と返球時のラケット動作計画により、目標返球位置に対して高精度な返球を実現した卓球ロボットシステムを提案した。
今後は、より高度な卓球動作を実現するため、6.2節で述べた課題を解決し、様々な球種に対してより高精度に返球できるようにし、それらの球種を相手に応じて戦略的に使い分ける技術の構築を目指す。また、ピン球だけでなく人の動作計測技術を構築することによって、人の返球時の動作から人が打つ前に回転速度の推定や軌跡予測を実行することで、さらに高度な卓球動作の実現を目指す。これらの技術を用い、更に人の成長を加速させる「人と機械の融和」の姿を世の中に発信していきたい。

参考文献

1)
山田圭介:卓球ラリーロボット-人と機械の融和を目指して-,電気学会誌,Vol. 137,No. 2,pp. 81-84,2017
2)
仁科有貴,諏訪正樹,川出雅人:卓球ロボットにおける画像センシング技術・AI技術活用,OplusE,Vol.39,No.12,pp.1195-1200,2017
3)
R.L. Anderson: A Ping-Pong Player: Experiment in Real-Time Intelligent Control, MIT Press, 1988
4)
C. Liu, Y. Hayakawa, and A. Nakashima: Racket Controlfor a Table Tennis Robot to Return a Ball, SICE Journalof Control,Measurement, and System Integration, Vol.6, No. 4, pp. 259-266, 2013
5)
Y. Zhao, R. Xiong, Y. Zhang: Model Based Motion StateEstimation and Trajectory Prediction of Spinning Ballfor Ping-Pong Robots using Expectation-MaximizationAlgorithm, Vol. 87, No. 3-4, pp. 407-423, 2017
6)
Q. Wang, Z. Sun: Trajectory Identification of SpinningBall Using Improved Extreme Learning Machine inTable Tennis Robot System, 2015 IEEE InternationalConference on Cyber Technology in Automation, Control and Interlligent Systems, pp. 551-554, 2015
7)
Y. Huang, B. Scholkopf, J. Peters: Learning optimalstriking points for a ping-pong playing robot, IEEE Internatinal Conference on Intelligent Robots andSystems, Vol. 2015-Decem, pp. 4587-4592, 2015
8)
O. Koç, G. Maeda, J. Peters: Online optimal trajectorygeneration for robot table tennis, Robotics and Autonomous Systems,Vol. 105, pp. 121-137, 2018
9)
C. Liu, Y. Hayakawa, A. Nakashima: A n on-linealgorithm for measuring the translational and rotationalvelocities of a table tennis ball, 2011 IEEE InternationalConference on Robotics and Biomimetics, Vol. 5, No. 4,2011

本文に掲載の商品の名称は、各社が商標としている場合があります。