コンピュータビジョン（Computer Vision: CV）分野の主要国際会議British Machine Vision Conference (BMVC) 2021で発表し、同分野トップジャーナルであるInternational Journal of Computer Vision (IJCV)に採録*1された、人混みにおける観測カメラ（自己）と歩行者の軌跡推定について紹介いたします。本研究は、京都大学 西野恒研究室との共同研究成果です。
*1: Mai Nishimura, Shohei Nobuhara, and Ko Nishino, “View Birdification in the Crowd: Ground-Plane Localization from Perceived Movements,’’ International Journal of Computer Vision (IJCV), Vol. 131, Issue 8, pp. 2015-2031, 2023.
モバイルロボットの自律移動を実現するためには、SLAM（Simultaneous Localization and Mapping）によって正確に自己位置を推定することが重要です。画像センサを用いる Visual SLAMでは、複数視点で観測された撮影画像から、静的な背景の特徴点を検出・トラッキングし、観測カメラおよび特徴点の3次元位置を幾何学的拘束によって復元します。しかし、スクランブル交差点やショッピングモール、駅構内、空港、イベント会場などの人混みにおいては、歩行者によって静的な特徴点が遮蔽されてしまうため、Visual SLAMによる自己位置推定は非常に困難となります。
本研究では、人混みにおいてもロバストな自己位置推定を実現するため、View Birdificationという新しい枠組みを提案しました（Fig. 1）。従来の枠組みでは、静的なオブジェクトのみを位置推定の手掛かりとし、移動体など動的なオブジェクトは障害物または外れ値として扱われてきました。一方、提案する枠組みでは、静的なオブジェクトの代わりに、動的なオブジェクトのみを手掛かりとして活用します。
Fig. 1 View Birdification
具体的には、一人称視点で観測した歩行者の動き情報のみを入力とし、俯瞰視点*2における自己と歩行者の移動軌跡を出力として推定します。ここで、キーとなるアイデアは、動的なオブジェクトは単体では役に立たないが、それらが大量に存在し共通の運動モデルに従っていれば、強い拘束をもたらすのではないか、ということです。このアイデアに基づき、本研究では人混みのような移動体が多い場面において、歩行者が群衆に沿って移動する（群衆のモーションモデルに従う）ことを仮定すると、移動体がもたらす拘束条件のみによって自己および歩行者の動きを同時に復元することが可能であることを示しました。View Biridification は地面や建物など静的な背景の観測を一切必要としないため、人混みにおいても歩行者さえ検出・トラッキングできれば、俯瞰視点における自己および歩行者の移動軌跡を復元することができます。
Fig. 2 俯瞰視点のイメージ（サッカー）
*2: 俯瞰視点とは、例えばサッカーやバスケットボールといったスポーツなどにおいて、試合映像をテレビ中継や観客席から見るときのように、コート全体を上部から観測できる視点のことです。これは、鳥の目（鷹の目）と表現されることもあり、選手自身が広い視野を持つことで、高度な状況判断するための重要な能力の一つと考えられています（Fig. 2）。
本研究を応用することで、駅構内、展示会など多くの人が介在する環境においても、安定した自己位置推定の実現が期待できます。オムロン サイニックエックスでは、実世界における自律移動システムのための基盤技術創出に向けて研究開発を推進していきます。
