プレイヤーのモチベーションコントロールを実現する卓球ロボットシステム

中山 雅宗 NAKAYAMA Masamune
技術・知財本部 研究開発センタ
専門:画像処理、機械工学、生体工学
栗栖 崇紀 KURISU Takanori
技術・知財本部 研究開発センタ
専門:動作解析、技能拡張
水野 勇太 MIZUNO Yuta
株式会社スクウェア・エニックス
テクノロジー推進部 AI Unit
専門:メタAI
三宅 陽一郎 MIYAKE Youichiro
株式会社スクウェア・エニックス
テクノロジー推進部 AI Unit
専門:デジタルゲームにおける人工知能
八瀬 哲志 YASE Satoshi
技術・知財本部
テクノロジープロデュースセンタ
専門:電気電子工学

我々は、人と機械の未来の関係性「融和」を訴求するために、人とラリーを継続しインタラクションする卓球ロボット「フォルフェウス」を開発している。年々の開発により卓球ロボットの返球性能は高まっているが、単調なラリーが続く傾向があり、ラリーを継続するためのモチベーションが低下してしまう問題があった。

そこで我々は、人がラリーを継続して行うことに対するモチベーションを向上させることを目的としたインタラクション機能を提案する。人の動作と生体情報を非接触で計測し、卓球技能と感情を推定する技術を開発した。また、スクウェア・エニックスの「メタAI」を組み込むことで、人を心地良くし集中力を高めさせるような返球計画を実装した。本機能により、体験者の8割以上において卓球ロボットとラリーを継続するためのモチベーションが向上された。人の限界を引きだし成長を促すという観点で「融和」を体現することができた。

1.まえがき

我々は、オムロンの創業者である立石一真の掲げた理念「機械にできることは機械に任せ、人間はより創造的な分野での活動を楽しむべきである」の下、人と機械の関係性について検討してきた。社会や技術の変化と連動して変化していく人と機械の関係性について、「代替」「協働」「融和」の順に変化していくと考えている。かつての人の作業を機械に担わせる状態が「代替」であり、機械が人の目的に合わせて共に作業を行う状態が「協働」である。そして、機械が人の意図を理解し人がより創造的な活動を行うように支援する状態が「融和」である。

我々は、オムロンの考える人と機械の未来の関係「融和」を訴求するために、人とラリーを継続する卓球ロボット「フォルフェウス」を開発している1,2,3)。2013年から開発が行われ、一般公開の展示としては2014年CEATEC JAPANに初代の卓球ロボットを出展して以来、毎年新機能の搭載、性能向上に向け開発を行い、進化を遂げてきた。

我々は「人と機械の融和」を具現化した卓球ロボットの実現に向け、下記の2つの技術が必要であると考えている。

(1)
ロボットが卓球タスクを実現する技術
例:高速高精度なピン球の計測技術
高速高精度なロボット制御技術など
(2)
人を理解し、人に介入する技術
例:動作解析技術
感情推定技術
ヒューマンマシンインタラクション技術など

(1)は、コンピュータビジョンやロボティクスの研究題材として古くから研究されている。(2)に関しては、コンピュータビジョン、認知心理学、及びエンターテインメント等の広い分野で研究が進められている。特に、人の行動変容にはモチベーションを引きだすことが重要であると考えられており、その実現手法として、ゲーミフィケーションが注目されている。

我々は、人が最大限のパフォーマンスを発揮し、成長を加速させるには、モチベーションを高く維持させることが必要であると考えた。従来の卓球ロボットは、(1)に注力して技術開発が進められており、初心者から上級者まで幅広い技能の方と卓球ラリーを行うことができていた。2016年に人の動作から技能を判定し、それに合わせてラリーを行う機能が搭載された。しかし、その結果単調なラリーが続くことが多く、人のモチベーションが下がることが多かった。

スクウェア・エニックスでは、メタAIという技術をゲームに実装することで、プレイヤーの感情に応じて敵キャラクターの行動を変化させるようなゲームの楽しさを提供している4,5)。例えば、FINAL FANTASY®XVに搭載されたメタAIは、プレイヤーと各仲間の状態を監視して、プレイヤーがピンチの場合、近くにいて戦闘中でないような、支援に最適な仲間が駆けつけることを実現している6)。このように、メタAIは、ゲーム全体の状況を認識し、変化させ、プレイヤーの感情を揺さぶる。その結果プレイヤーを飽きさせずにモチベーションを維持することができる。

我々は卓球ロボットにメタAIを導入することで、卓球ラリーをしている人のモチベーションコントロール(Moti-Ctrl)を実現できるのではないかと検討した。メタAIは、ゲームという外部ノイズの小さい理想的な環境下で構築されたアルゴリズムである。一方、卓球をしている人の動きは激しく外乱が大きいため、メタAIをそのまま導入するのは困難であった。

我々は、メタAIを導入することによりMoti-Ctrl機能を実現させるために7)、人の動作から技能を詳細に判定する技術と非接触で人の生体情報を取得し感情を推定する技術を開発した。本稿ではこの内容について報告する。

以下、第2章で卓球ロボットの構成について述べ、第3章では本機能を実機検証にて評価する。最後に、第4章でまとめと今後の展望について述べる。

2.卓球ラリーを実現する技術

自社製品や技術の訴求のために、卓球ロボットは産業用ロボットやカメラ等の汎用機器で構成されている(図1)。

図1 卓球ロボットの構成
図1 卓球ロボットの構成

以下、卓球ロボットが卓球を実現する技術として、ピンポン球(以下、ピン球)、人動作、及びラケットを計測する技術、ピン球の将来の軌跡を予測する技術、及びロボットの返球に関する動作生成技術について述べる。

2.1 ピン球、人動作、ラケットの計測

ピン球の位置計測には、解像度1440×1080pixels,220fpsの産業用RGBカメラ(STC-MCS163U3V,OMRON)を2台使用している。カメラはロボットの頭部左右に設置されており、視野が卓球台全域を含むようになっている。2台のカメラで取得されたそれぞれのRGB画像に対して、照明変動に頑健なHSV色空間に変換し、二値化処理、ノイズ除去を行う。その後、事前に取得されたカメラ内部パラメータを用いて、レンズ歪みの補正処理を行う。続いて、被写体を異なる位置から撮影した画像の同一点に成立する関係であるエピポーラ拘束により左右画像のピン球候補点の絞り込みを行い、重心抽出を行う。最後に、カメラ外部パラメータを用いたステレオ法により、ピン球の3次元位置を算出する8)

人の動作計測には、解像度640×360pixels,90fpsのデプスカメラ(RealsenseD415,Intel)を2台使用している。卓球時の人の動作は大きいため、1台のカメラでは自分の身体の一部が他の身体の一部を隠してしまう自己オクルージョンが発生しやすい。そのため、卓球台ネットの両端にカメラを設置し、卓球を行う人の上半身を2方面から撮像するようにしている。2台のカメラで取得されたそれぞれの深度画像に対して、骨格推定ミドルウェア(Nuitrack,3DiVi)を用いることで、上半身骨格12点の3次元位置と信頼性を取得する9)。続いて、各骨格の信頼性に基づき人のダイナミクスモデルの制約を加えることで、高精度な骨格位置を算出する10)

人の持つラケットの位置姿勢計測には、解像度1440×1080pixels,220fpsの産業用RGBカメラ(STC-MCS163U3V,OMRON)を1台使用している。カメラはロボットの頭部中央に設置されており、人の斜め上から撮像する。ラケットには9個のマーカーシールが貼付されており、ピン球計測と同等の手法で重心位置を算出している。マーカーの数が少ない場合、平面の姿勢推定には曖昧性が伴うため、ラケット面の法線周りの回転成分を除去し、自由度を削減したPerspective-n-Point(PnP)問題を解くことで、ラケットの位置姿勢を一意に求める11)

2.2 ピン球の軌跡予測

卓球は、ピン球の移動が非常に高速であるため、ピン球の移動に合わせてロボットを制御すると間に合わない。そのため、ピン球の位置計測後にピン球の将来の軌跡を求め、想定打点位置にロボットを移動させておく必要がある。ラリー中のピン球の運動は、空気中を移動する球体周りに作用する空力モデルで近似することができる。以前の我々の開発した手法により、計測されたピン球の時系列の位置変化から、ピン球の速度と回転速度を算出する。また、ピン球と卓球台の衝突を記述する衝突モデルを用いることで、衝突後のピン球の軌跡予測を行う3)

2.3 ロボットの返球動作計画

ピン球の将来の軌跡から、ロボットの可動域を考慮した打点を決定する。事前に設定した人側の卓球台の目標返球位置、速度、及び回転速度に対し、2.2で用いた空力モデルを用いて時間を逆時間発展させることで、ロボットが打球直後のピン球の満たすべき速度と回転速度を求める。続いて、これらの情報と打球直前のピン球の速度と回転速度を用いて、ピン球とラケットの衝突モデルにより、打球時のラケットの速度と姿勢を算出する3)

3.Moti-Ctrlを実現する技術

人を心地よくし集中力を高めさせるインタラクションにより、人がラリーを継続するためのモチベーションを維持することを目指し、Moti-Ctrl機能を開発した。まず、ピン球と骨格情報から人の技能の推定を行う。フォアハンドとバックハンドそれぞれで返球が可能な限界速度を算出する。また、ピン球と顔の動画像から取得できる生体情報から感情推定を行う。ラッセルの円環モデル15)に基づき、快/不快指数と覚醒/鎮静指数を算出する。最後に、技能推定と感情推定で算出された値を用いて、メタAIの概念に基づき卓球ロボットの返球位置と返球速度を決定する(図2)。

図2 Moti-Ctrl機能のシステムフロー
図2 Moti-Ctrl 機能のシステムフロー

以下、Moti-Ctrl機能を実現する技術として、人の卓球技能を推定する技術、人の生体情報を非接触で取得する技術、人の感情を推定する技術、及び人のモチベーションを維持するような返球計画を策定する技術について述べる。

3.1 技能推定

人が卓球のラリーを継続するモチベーションを高めるためには、まずロボットが体験者の卓球技能に合わせてラリーの難易度(球速・コース・回転・ランダムさなど)を迅速に調節する必要がある。2016年にはディープラーニングによるラリーレベル調整機能が卓球ロボットに実装された。しかし、この機能はアノテーションが設計者の主観によって行われており、体験者にとって不適切なラリー難易度を与えてしまう課題がある。したがって今回開発する技能推定では、体験者がぎりぎり返球可能なロボットの返球難易度を客観的な指標と定め、これを少数の卓球ラリーから推定することを目指す。今回は体験者の多くが初心者であることを踏まえ、基本的な難易度の要素である返球速度と返球コースに注目し、体験者が一定の確率以上で返球可能なロボットの最大返球速度をフォアハンド・バックハンドごとに推定する。

展示会でデモンストレーションは体験時間が短いため、少数の卓球ラリーから技能推定を行う必要がある。そこで動作情報、特に2.1で得られる骨格情報に注目して事前の学習的手法によってこれを実現することを試みる。技能推定の処理フローを図3に示す。まず体験者のスイング動作を切り出し、動作分類手法によってフォアハンド/バックハンドを判定する。そのあと、スイング分類ごとに学習的手法により最大返球速度を推定する。

図3 技能推定のシステムフロー
図3 技能推定のシステムフロー

スイング動作の切り出しは2.1で得られるボール位置時系列情報を用いる。ロボットが返球して、ピン球が人側の卓球台に到達した時刻から、人が返球してピン球がロボット側の卓球台に到達した時刻までを1スイングと定義し、一連の人の骨格位置情報を抽出する。動作分類では過去の実績12)と今後の開発における拡張性から隠れマルコフモデル(以下HMM)による学習的手法を用いる。今回はスイング動作の切り出しで得られた骨格データのうち、ラリー中に主要な動きが現れる腰から肩、腰から肘、及び腰から手首に向けた3つの3次元位置ベクトルの時系列情報xに注目する。事前に様々な体験者のフォアハンド・バックハンドの骨格情報を取得しておき、スイングごとにHMMを保持しておく(MFore,MBackとする)。HMMとしては一方向に変化する時系列情報の認識に有効なleft-to-right型のHMMを用いる。今、新しい体験者のスイング時系列骨格情報xが得られたとき、以下の式によってフォアハンド・バックハンドを判定する。なおここで、s={Fore,Back}である。

Swing=arg max i∈s P(x|Mi)
(1)

次にフォアハンド・バックハンドごとに体験者が台上に一定の確率以上で返球可能なロボットの最大返球速度の推定を行う。まず最大返球速度の定義を行う。いま、ある体験者がいろいろな速度・コースで飛来するロボットの返球に対して相手側の台中心のターゲットを狙って卓球ラリーを行った時のデータを図4に示す。この時のロボットの返球速度に対するターゲットと着弾位置間の誤差の関係から最大返球速度を算出する。具体的には図4のようにターゲットからの誤差0.75mを閾値として返球できたか否かを判定し、ロボットの各返球速度における体験者の返球確率を0.5m/sec.ごとにその近傍のおよそ20点のデータから算出し図5のような返球率のグラフを得る。そして返球率が85%を下回る時の最大のロボット返球速度を最大返球速度とする(図5)。

図4 データ取得結果と返球可否判定
図4 データ取得結果と返球可否判定
図5 最大返球速度の算出方法
図5 最大返球速度の算出方法

このように最大返球速度は多数の様々な速度の球に対するラリー結果が実際に得られなければ正しく定めることができない。しかしながら展示会ではそのような多数の球を打つ時間は想定できない。したがって今回は、一回のスイング動作と最大返球速度の関係を事前に学習しておくことで、多数の球を新規体験者に打たせることなく一回のスイング動作からその最大返球速度を推定することを目指す。

事前学習は以下の手続きで行う。まずは多数の被験者に対するデータ取得を行う。今回は18~50才までの健康な30名(うち女性5名)に対して事前データ取得を行った。卓球技能レベルの内訳は、卓球部に現役所属している超上級者レベルの被験者が5名、過去に卓球部に所属していた上級者レベルの被験者が5名、卓球部に所属していないが趣味等で卓球を行っている中級者レベルの被験者が12名、ほとんど卓球を行ったことがない初級者レベルの被験者が8名である。各被験者に対して様々な速度・コースで飛来するロボットの返球に対して相手側の台中心のターゲットを狙って卓球ラリーを行う課題を実施し、その際のボールデータ、骨格データを取得する。次に、体験者の各スイングの時系列骨格情報を入力データとして最大返球速度を出力する回帰学習モデルをニューラルネットワークによりフォアハンド・バックハンドごとに構築する。入力データとしては時系列骨格情報のうち技能レベルをより反映すると考えられる、肩から肘・肘から手首に向けた3次元時系列位置情報と、肩・肘の時系列関節角度情報を用いる。また、これらのデータに対してノイズ除去のためのローパスフィルタ処理、体験者ごとの体格差をなくすための骨格正規化処理、ロボットの返球位置の違いによるスイング差の影響をなくすための標準化処理、ニューラルネットワークに入力するための時間正規化処理を施す。データ取得中での最大返球速度の変化は無いと仮定し、個人内での複数の入力データに対する出力データは全て等しくなるようにラベル付けした(表1)。この入出力データを用いることで回帰モデルを事前学習する。

表1 入力データと出力データの関係
Person A B ...
Data Pair 1 ... 10 11 ... 20 ...
Ball Speed from the Robot 3.0m/sec. ... 8.5m/sec. 4.5m/sec. ... 7.0m/sec. ...
Swing Skeleton Swing A ... Swing J Swing K ... Swing T ...
Maximum Ball Return Speed 8.0m/sec. 3.0m/sec. ...

ニューラルネットワークとしては、30名の被験者という少ないデータセットを用いることからパラメータ数の少ないノード数16、3層程度の全結合モデルを用い、入力層は時系列データをすべて並列に入力する形、出力層は最大返球速度回帰結果として1つの値のみが出力される形で実現する。実際の推定の際には、切り出される時系列骨格情報を入力として1ラリーごとに最大返球速度を出力する。そして直近10ラリー分の出力値の平均値をフォアハンド・バックハンドごとに算出することで最大返球速度の推定値とする。また、本機能は「体験者が卓球台の中心を狙って打ち返す」ときのデータを基にして最大返球速度の推定を行っているため、むやみにスマッシュを打ち込んだり、台のコーナーを意図的に狙って打ち返したりというような体験者には適用できないことに留意されたい。

3.2 非接触生体情報計測

生体情報計測には、解像度4096×2160pixels,40fpsの産業用RGBカメラ(STC-MCS891U3V,OMRON)を1台使用している。カメラは、卓球台ネットの中央に設置されており、人の顔を正面から撮像する。人の顔動画像から表情、瞬目、脈拍を非接触で取得する。全体のフローを図6に示す。

図6 生体情報計測のシステムフロー
図6 生体情報計測のシステムフロー

画像から顔認識を行うOKAO Vision13)のミドルウェアを使用し、顔の領域、笑顔度、真顔度、及び左右の瞬目度を取得する。一定時間の左右の瞬目度の平均値の極値が事前に設定した閾値を超えた回数を瞬目数とする。

また、顔の皮膚領域の画像からremote-Photoplethysmog-raphy(rPPG)により、脈拍推定を行う。血中に含まれるヘモグロビンは500-600nmの波長に吸光ピークを持っているため、この波長に関わる輝度の変化を解析することで、脈拍を推定することができる。本研究では、脈拍推定を行う際に図7の皮膚拡散モデルを考える14)

図7 皮膚拡散モデル
出典:参考文献14)
図7 皮膚拡散モデル14)

人の皮膚は、外側から表皮と真皮の2層で構成されている。また、真皮の内側の皮下組織内に血管が張り巡らされており、一部の毛細血管が真皮に到達している。光が表皮に到達すると、一部は内部に透過し、一部は反射される。内部に透過された光は真皮も透過し、皮下組織内の血管まで達する。そこで反射された光は、真皮と表皮を透過し、表皮外で拡散される。表皮で反射した光と表皮から拡散された光の2種類の光がカメラで取得される。よって取得された情報から後者のみを抽出することで脈拍依存の輝度変化を取得することができる。脈拍推定のフローを図8に示す。

図8 脈拍推定のシステムフロー
図8 脈拍推定のシステムフロー

OKAO Visionによりトリミングされた顔領域に対し、照明変動に頑健かつ皮膚判定に広く使われているYCrCb色相空間に閾値を設けることで皮膚領域を抽出する。続いて、皮膚領域内のRGBそれぞれの値を平均化し、一定時間の時系列データに対して、正規化処理を行うことで、データに含まれるトレンドを除去する。卓球という動作の激しい状況を対象にしているため、被写体の動きに頑健なPlate-Orthogonal-to-Skin(POS)アルゴリズムにより、時系列データから脈拍依存の信号を抽出する14)。その後、正常時の心拍の範囲である60~180bpmに対応する1~3Hzに関するバンドパスフィルタを適応し、パルス信号からノイズを除去する。続いて、信号の時間領域の情報を失わずに周波数解析を行うために、ガウス関数を窓関数としたガボールウェーブレット変換によりスペクトログラムを算出する。最後に1~3Hz内に存在する極値のうち、最大値を示すところを脈拍の周波数として抽出する。

3.3 感情推定

人の感情推定に関する研究は、ヒューマンマシンインタラクションの分野で広く行われている。手法は大きく2つに分類することができ、表情や瞳孔変化などの表層情報から推定する手法と心拍数や脳波などの深層情報から推定する手法に分類することができる。また、スポーツにおいては、パフォーマンスと感情に強い相関があると考えられる。よって本研究では、表層情報、深層情報、及び卓球のパフォーマンスの情報を組み合わせることで高精度に感情を推定することを試みる。感情モデルとしては、快/不快の指標と覚醒/鎮静の指標の2つで表現されるラッセルの円環モデルを採用する15)。2.1節で取得されるラリーの継続回数c、人の打球速度vと3.2節で取得される人の笑顔度s、真顔度n、脈拍変動値h、及び瞬目数bを用いて快/不快の指標xと覚醒/鎮静の指標yを算出する。今回は、実装が容易であり、リアルタイム性を担保するために、単に入力情報と出力情報の関係は線形であると仮定し、式(2)のように表現する。

[xCy]=A[s n h b c v]T
(2)

Aは2×6の行列であり、式(3)のような成分を有する。

A=[a_1C0 0Ca_8 a_3C0 0Ca_10 a_5Ca_11 a_6Ca_12]
(3)

笑顔度と脈拍変動が快/不快との相関が強く、覚醒/鎮静に与える影響が小さいことと、真顔度と瞬目数が覚醒/鎮静に強い相関を持ち、快/不快に大きな影響を与えないと知られているので16)、影響が小さい成分を0に設定している。続いて残りの各成分の求め方を述べる。卓球初心者13名に卓球ロボットと5分程度ラリーをして頂き、ラリー情報と生体情報を取得する。卓球ロボットは被験者の技能レベルに関わらずランダムな速度とコースで返球するように設定する。ラリーが途切れた直後にアンケートを行い、ラリー毎の快/不快と覚醒/鎮静の値の変化を記録する。感情に関する絶対的な評価を行うのは困難であるため、1ラリー前との相対的な評価を実施する。ラリー情報と生体情報が変化した際の快/不快と覚醒/鎮静の変化値の期待値を算出し、それをAの成分とする。その結果、a1,a3,a8は正の値であり、a10は負の値である。これは先行研究での報告16)と定性的に等しい結果である。

3.4 返球計画策定技術

2.3のロボットの返球動作を決定する際に、事前に人側の卓球台の目標返球位置、速度、及び回転速度を設定する必要がある。今回は回転速度を一定にし、返球位置と速度を変化させることで人がラリーを継続するためのモチベーションを向上させることを試みる。人の感情を常時観察して、それを揺さぶるメタAI4)の設計を参考にし、人の感情の推移によって、ロボットの返球計画を変化させるようにする。返球速度は3.3で出力された値を初期値とし感情推移により変動させていく。本機能のアルゴリズムを図9に示す。

図9 返球計画のシステムフロー
図9 返球計画のシステムフロー

1スイング前からの感情の推移と大きく3パターンに分類する。

(1)
快指数と覚醒指数がともに増加する
(2)
快指数が増加し、覚醒指数が減少する
(3)
快指数が減少する

(1)は現状の返球計画が人にとってちょうど良く、ラリー継続に対するモチベーションが向上している状態であるため、返球計画を変えずに継続していく。(2)は現状の返球計画を簡単に感じており、退屈になっている状態であるので、返球速度を増加させる。一方、(3)は現状のタスクを困難であると感じており、不安を感じている状態であるため、返球速度を減少させる。また、一定回数(2)あるいは(3)が継続する場合は、返球コースを切り替えることで、継続してラリーを行うためのモチベーションの向上を試みる。

4. 実証実験

本章では、提案したMoti-Ctrl機能の有効性評価について述べる。

4.1 実験手法

卓球初心者27名に、Moti-Ctrl機能ありと、Moti-Ctrl機能なし(目標返球位置、速度は固定)の場合それぞれ5分間ラリーして頂き、その後下記の3項目に関してアンケートを取得した。

(1)
どちらが気持ちよくラリーできたか
(2)
どちらが集中してラリーできたか
(3)
どちらともう一度ラリーしたいか

(1)は快/不快の指標に関わり、(2)は覚醒/鎮静の指標に関わるものである。(3)はラリーに対するモチベーションに関わる質問として設定した。卓球の慣れによるアンケート結果への影響を除くために、実験前に十分に被験者にはラリーをして頂いた。また、被験者には、事前にMoti-Ctrl機能の内容は伝えず、機能有無の順番はランダムに実験を行った。

4.2 実験結果と考察

3項目のアンケート結果を図10に示す。

図10 機能有無のアンケート結果
図10 機能有無のアンケート結果

Moti-Ctrl機能が無い方が気持ちよくラリーできる傾向があり(63%)、Moti-Ctrl機能がある方が集中してラリーでき(96%)、ラリー継続のモチベーションが高い傾向がみられた(81%)。

Moti-Ctrl機能がある際に気持ちよくラリーできる傾向が見られなかった理由として、返球計画への反映に問題があったと考えられる。本機能があるとラリーのリズムが一定でなくなるため、ラリーを継続させることが困難であったことが考えられる。その結果、気持ちよくラリーできる割合が低下する可能性がある。また、卓球ロボットとのラリーをする時の被験者の意図が1種類でないことが考えられ(勝ちたい、ラリーを継続したい、ロボットの様子を伺いたい等)、その結果、快/不快の指標とラリーを継続するためのモチベーションの関係が薄くなってしまった可能性が考えられる。今後、さらに幅広い人のモチベーションを向上させるためには、下記3点が必要だと考えられる。

(1)
人の意図を理解する機能
(2)
取得情報の高精度化
(3)
返球計画以外のインタラクション手法

(1)に関しては、人の動作やラリーパターンの時系列情報から人の意図を推定することができると考えられる。その意図をロボットが汲み取ることで、意図に応じたモチベーション維持に寄与することができると期待される。 (2)に関しては、接触型デバイスによる生体情報計測の精度向上、新たなセンサにより呼気や発汗を取得、及び時系列の取得情報から感情を推定することで、より高精度な感情推定が期待できる。また、技能推定に関しては、ボールの情報とプレイヤーの動作だけでなく、プレイヤーの視線や筋活動のような生体情報も取得して考慮することで精度向上を見込むことができる。(3)に関しては、ロボットの返球動作だけでなく、ラリーや人の状況に合わせて、視/聴/触覚を用いた新たなインタラクションを検討していく。

5. むすび

本研究では、人の卓球ラリーを継続することに対するモチベーションを向上させるインタラクション機能の開発を行った。非接触で取得された人の動作や生体情報から、技能と感情を推定し、メタAIに基づく返球動作を実装した。その結果、8割以上の体験者のモチベーションを向上させることができた。

今後は、4.2での課題を克服し、より幅広い人のモチベーションを向上させることを目指す。また、「人と機械の融和」の更なる訴求に向け、「人と人」、「人と機械」の関係性に着目し、ラリーを通じてその関係性をよりよくするインタラクションを開発していく。

参考文献

1)
山田圭佑.卓球ラリーロボット―人と機械の融和を目指して―.電気学会誌.2017, Vol.137, No.2, p.81-84.
2)
仁科有貴,諏訪正樹,川出雅人.卓球ロボットにおける画像センシング技術・AI 技術活用.O plus E. 2017, Vol.39, No.12, p.1195-1200.
3)
浅井恭平,中山雅宗,八瀬哲志.ピン球の回転速度を考慮することで高精度な返球が可能な卓球ロボットシステムの開発.OMRON TECHNICS. 2018, Vol.50, No.1, p.174-179.
4)
三宅陽一郎,水野勇太.“人工知能(メタAI)を用いたゲームデザインの変革”.Computer Entertainment Developers Conference. 2017.
https://cedil.cesa.or.jp/cedil_sessions/view/1757, (参照 2021-1-28).
5)
Satoi, D.; Mizuno, Y. “Changing the Game: Measuring and Influencing Player Emotions Through Meta AI”. Game Developers Conference. 2019.
https://schedule2019.gdconf.com/session/changing-the-game-measuring-and-influencing-player-emotions-through-meta-ai/861775,(参照 2021-1-28).
6)
株式会社スクウェア・エニックス「FFXV」AIチーム.FINAL FANTASY®XVの人工知能―ゲームAIから見える未来―,p.116-117.
7)
三宅陽一郎,中山雅宗,藤田健介,水野勇太.“卓球ロボット「フォルフェウス」におけるゲームAI技術の応用”.Computer Entertainment Developers Conference. 2020.
https://cedec.cesa.or.jp/2020/session/detail/s5e83300d562e1,(参照 2021-1-28).
8)
中山雅宗.オムロンのコア技術“Sencing&Control+THINK”の集大成 卓球ロボットFORPHEUS―「人と機械の融和」の実現に向けて―.O plus E. 2019, Vol.469.
https://www.adcom-media.co.jp/report-iss/2019/09/25/32422/,(参照 2021-1-28).
9)
NUITRACK. “Nuitrack Full Body Skeletal Tracking Software”.
https://nuitrack.com/,(参照2020-12-21).
10)
Yeung, K.; Kwok, T.; Wang, C. Improved Skeleton Tracking by Duplex Kinects: A Practical Approach for Real-Time Applications. Journal of Computing and Information Science in Engineering. 2013, Vol.13, No.4, p.041107.
11)
Schweighofer, G.; Pinz, A. Robust Pose Estimation from a Planar Target. TR-EMT. 2005, Vol.28, No.12, p.2024-2030.
12)
Yamato, J.; Ohya, J.; Ishii, K. “Recognizing human action in timesequential images using hidden Markov model”. Proceedings 1992 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Champaign, IL, USA, 1992, p.379-385.
13)
OMRON. “OKAO Vition”.
https://plus-sensing.omron.co.jp/technology/,(参照2020-12-21).
14)
Wang, W.; Brinker, D.; Sander, S.; Gerard, D. Algorithmic Principles of Remote PPG. IEEE. Transactions on Biomedical Engineering. 2017, Vol.64, No.7, p.1479-1491.
15)
Russell, J. A Circumplex Model of Affect. Journal of Personality and Social Psychology. 1980, Vol.39, No.6, p.1161-1178.
16)
Ikeda, Y.; Sugaya, M. Estimate Emotion Method to Use Biological Symbolic Information Preliminary Experiment. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2016, Vol.9743, p.332-340.

本文に掲載の商品の名称は、各社が商標としている場合があります。

冊子版 OMRON TECHNICS

社会的課題を解決するために研究・開発を続けているオムロンの最新技術論文をまとめました。