医療や健康管理をはじめ様々な分野で、関連サービスの普及に伴い、バイタルセンシングへの需要が高まっている。その一つであるミリ波レーダは、非接触で複数人のバイタルサインを同時計測できる手段として有望視されている。ミリ波レーダでの複数物標の検出は、空間分離された反射波の強度情報に基づいて生成した点群を入力とするクラスタリングによる方法が一般的である。この分類された各被験者の反射波を解析することで、呼吸数や心拍などのバイタルサインが決定される。しかし、アンテナ数の制約から角度分解能が光学系のセンサと比較して不利となりやすく、被験者間の距離が近い場合など検出が困難となるケースが発生する。

本論文では、ミリ波レーダの空間反射分布から空間上に観測される呼吸数の時間変動を捉えた呼吸数の時間トレンドマップを生成し、生成したトレンド情報に基づいて複数人の呼吸数を検出する時系列クラスタリング手法を提案する。複数人の呼吸数を同時に計測する実験を行い、被験者間距離が近く、瞬時的に呼吸数が一致する様な状況でも呼吸数を検出できることを確認し、既存手法の検出率51％に対して93％と大幅な性能向上を達成した。

1. まえがき

バイタルセンシング技術は、近年の情報通信技術の発展と相まって高度化・多様化が進んでおり、医療や健康管理の分野をはじめとした様々な分野での応用が進んでいる。センシングの方式は接触型と非接触型に大別される。接触型は、人体に直接触れる様にセンサを装着してバイタルサインを取得する方法で、心拍数、血圧、血中酸素濃度、体温など、様々なバイタルサインを計測するセンサが研究・開発されている。据置型の筐体やケーブルの存在により自由を奪われてしまう拘束型の接触型センサに加えて、デバイスの小型化・低消費電力化に伴い、非拘束で長時間計測することが可能なウェアラブル型のセンサデバイスを用いた方法が普及している^1-3）。ウェアラブル型のセンサは身体に装着することを前提としているため、長時間にわたる計測を行う場合、ユーザーに不快感を与え、場合によっては装着部に炎症を起こす等、快適性、安全性の面で問題が発生する場合がある。

非接触型のバイタルセンサには、カメラやレーダ、マイク等を用いた方法があり、身体にセンサを装着する必要がないため、装着によるストレスや不快感なくバイタルサインの計測ができる^3-6）。また、家庭での就寝シーン想定した場合、計測範囲内に被験者が1人であるとは限らず、複数人の計測が必要となる。カメラやレーダなどの距離や方位などの空間情報を取得できるセンサを用いることで、計測範囲内の複数の被験者のバイタルサインを同時に取得可能となる。

こうしたセンサには複数の方式が存在するが、それぞれ実用上の課題が存在する。例えば、カメラを用いた方法では、被験者の撮影データから個人が特定できる顔画像などが流出するリスクなどプライバシーに対する懸念がある^7）。マイクアレイを用いた方法では、騒音など外乱の影響により適用可能なシーンが限られてくる。

これに対して、レーダを用いた方法はこの様なプライバシーの懸念なく高精度にバイタル情報を取得する技術として注目を集めている。波長が数ミリメートルの電波を用いるミリ波レーダでは、衣服や布団などを透過して人体の体表面の動きをとらえ、この動きに基づいて呼吸数や心拍数などのバイタルサインを計測することができる^8-10）。

呼吸に伴う体表面の微小変位として表した呼吸波形やそこから算出する呼吸数などの呼吸に関する情報は睡眠や健康状態を推定する手段として有用である。

複数のアンテナ素子を搭載したミリ波レーダを用いることで、反射波の到来方向推定を行い、計測対象の方位と距離を取得することができる。レーダの方位分解能はアンテナ数に比例して向上する性質があり、方位分解能は一般的には数度から数十度となり、光学系の距離センサであるライダー（Light Detection And Ranging: LiDAR）と比較して安価で実現可能である一方で方位分解能は劣る^11-13）。そのため、被験者間の距離が近い場合や遠方に存在する場合では、空間情報に基づいて複数人の呼吸波形や呼吸数を検出することは難しく、現在商品化されているものはレーダから最も近くにいる被験者1人を計測対象としており、複数人の計測には対応していない。

本論文では、家庭での複数人での就寝シーンを想定し、ミリ波レーダの計測信号から、呼吸数の時間変動を捉えた呼吸数トレンド情報を生成し、生成したトレンド情報に基づいて複数人の呼吸数を検出する手法を提案する。2.でレーダを用いた呼吸数計測の原理について述べ、3.でレーダ信号から抽出した呼吸数データを用いた複数人計測の課題を述べ、4.で提案手法について述べ、5.ではミリ波レーダを用いて複数人を同時計測したレーダ信号から提案手法を用いて呼吸数の時間トレンド情報を取得した結果を示す。

2. ミリ波レーダによる呼吸数計測原理

2.1 距離・方位計測

体表面における電波の反射波は人体の様々な部位で反射されるため、1人の被験者から複数の反射信号が同時に受信される。さらに複数人の被験者が存在する場合には、複数人の被験者の複数の部位の反射信号が同時に受信されることになる。このように同時受信される複数の反射波を空間的に分離する必要がある。

レーダによる距離分解能d_resは送信信号の帯域幅に依存し、次式で表される。

（1）

ここで、cは光の速度、Bは帯域幅である。

ミリ波レーダでは、周波数連続変調波（Frequency Modulated Continuous Wave radar: FMCW）方式やパルス方式による広帯域信号の送受信を行うことで高い距離分解能をもつ。また、アレーアンテナを用いた到来方向推定により受信される反射波の方位を推定することができる。距離がd離れたアンテナに対してθの方向から反射波が到来した場合、アンテナ間の信号位相差はd sinθとなり、以下の式により到来方向の推定が可能となる。

（2）

ここでλは電波の波長である。

アレーアンテナを持つレーダの場合、後続のアンテナ
の受信信号は先行するアンテナ信号に対してω＝(2π/λ)d sinθの位相シフトが発生し、各アンテナの位相はアンテナ位置に応じて線形進行する。従って、アンテナごとの位相変動から到来方向θを推定することができる^13）。

このような距離・方位計測の処理には高速フーリエ変換（Fast Fourier Transform: FFT）を用いる方法がよく用いられる。演算結果は距離ビン（range bin）、方位ビン（azimuth bin）をもつ複素信号データとなりこれを可視化してマップ化したものをレーダ画像と呼ぶ。

2.2 バイタル情報の抽出

図1（a）に3人の計測対象者を同時計測した際のレーダ画像の振幅データの典型例を示す。被験者は第 20距離ビン付近に3人の被験者が方位方向に横並びで配置されている。距離レーダ画像の振幅情報は受信した反射波の受信強度と対応しており、対応する距離・方位の反射物の有無と形状・材質によって決まる反射強度を判定可能である。ただし、周辺の強い反射率を持つ物標やごく近傍に複数物標が存在する場合には、干渉の影響があることには注意が必要である。

図1（b）および図1（c）に人体からの反射波及び不要反射波（クラッタ）それぞれの位相成分の時系列変化を示す。位相情報にはターゲットの距離の情報を含み、静止物やアンテナリーク等の静止クラッタ成分の場合は時間変動がないが、人体の場合は体の動きに応じて位相が時間的に変化する。特に呼吸や心拍などに伴う体表面の振動には周期性があるため、対応する複素信号成分は複素平面上で円弧の様な軌跡を描くことが知られており^13）、これを利用して、波形成分を抽出することができる。

以上の様に、レーダ画像の振幅情報から反射物の有無と位置を判別し、位相情報の時系列変化から被験者の体動に伴う体表面の移動情報である位相波形を抽出し、位相波形から呼吸数や心拍数などのバイタルサインを推定することができる。

2.3 信号処理フロー

図2にレーダを用いた複数人の呼吸数計測の処理フローを示す。まず、レーダ信号の送受信を行う。受信波と送信信号の参照波を乗算したベースバンド信号に対して距離・方位推定を行いレーダ画像の生成を行う。このレーダ信号の送受信と距離・方位推定処理を繰り返し行い、呼吸数を算出する解析区間分のレーダ画像の時系列データを取得する。次に、得られた各ビンの時系列データに対して静止クラッタの推定・除去を行い、位相波形情報を取得する。さらに、得られた波形に呼吸に由来する成分が含まれているのかを判定し呼吸波形群を抽出する。得られた呼吸波形群は体の各部位からの反射波に基づいているため複数のビンで観測される。また被験者が複数人いる場合は各被験者の呼吸波形が混在することになり、各被験者の呼吸計測を行うためには呼吸波形群から各被験者の波形を抽出する必要がある。その方法には波形自体の相関性や独立性に基づいて分類もしくは分離する方法^9）と波形群を1次元又は多次元の特徴量に変換した後に分類する方法^10）が考えられる。波形自体を用いる方法は計算量が多くなることが問題となる。一方、特徴量を用いる方法は後述するように適切な特徴量を用いないと正しく分類することが出来ないことが課題となる。本検討では、特徴量を用いる手法を選択した。

各波形から呼吸数を算出することで、呼吸波形が抽出されたビンに対して算出した呼吸数が紐づいたマップ（以下「呼吸数抽出マップ」 という ）を取得する。その後、得られた呼吸数抽出マップの座標情報や呼吸数を入力としたクラスタリングを実施することで各ビンを対応する被験者ごとに分類する。分類された各クラスタのマップ情報から被験者ごとの呼吸数及び座標情報を推定する。

3. 複数人の呼吸数計測の課題

3.1 空間情報を活用した場合の課題

図3に方位・距離情報を持つ点群データを入力としたクラスタリングを実行した結果例を示す。なお、分類結果は各ビンの色分けで表現している。

図3（a）は第20距離ビン付近に2人の被験者が存在している場合の結果である。それぞれの被験者の位置に対応する座標に点群が抽出されており、それらは座標上で十分に離れているため2人の被験者に対応するクラスタに正しく分類されている。

図3（b）は第20距離ビン付近に3人の被験者が存在している状況での結果例である。2人の時と同様に被験者位置に対応する座標に点群が抽出されているが、その点群は2つのクラスタであると判定されている。このケースでは抽出された3人の点群の空間座標が近く、分類が困難なため、3人の被験者が存在するにもかかわらず、第20距離ビン付近では1つのクラスタしか得られていない。また、遠方の第115距離ビン近傍にも点群が抽出され、別のクラスタと判定されているが、これは周辺の静止物体を経由したマルチパスの影響により発生した偽像である。

このように空間の座標情報を活用した場合では、被験者位置が近く点群がつながってしまう場合に正しく分類できない。また、マルチパスによる偽像を別のクラスタと判定してしまう。結果として、本来抽出されるはずの被験者のバイタルサインが抽出できない、あるいは存在する人数よりも多くのバイタルサインが抽出されてしまうという問題が発生する。

3.2 呼吸数情報を活用した場合の課題

空間の座標情報を入力とした場合の課題の対策として、別の入力情報を用いて分類することが考えられる。ここでは呼吸数を入力としたクラスタリングの結果例と課題を示す。

まず呼吸数を入力とするクラスタリングで、空間の座標情報を用いたクラスタリングの課題を解決できた例を示す。図4に3人の被験者の呼吸波形が抽出された各ビンの波形から算出した1分あたりの呼吸数の分布（図4（a））と、呼吸数を入力としたクラスタリングの結果（図4（b））を示す。ここで、クラスタリングの入力データは抽出マップの各ビンの呼吸数を1次元のデータに変換したものを用いた。図4（a）に示すように、マップ上の呼吸数が3つの異なる呼吸数で構成されており、図4（b）に示すように被験者位置に対応する点群が3つのクラスタに分類されていることが分かる。また、遠方の偽像成分も異なるクラスタではなく実像付近のクラスタと同一クラスタと分類されていることが分かる。すなわち、呼吸数を入力とするクラスタリングを行うことによって、空間上のデータを呼吸数のクラスタと同じ数のクラスタに分類することができた。

図5に3人の被験者に対する別の結果例を示す。図5（a）に示すように、成功した例とは異なり3人の呼吸数がほぼ一致している。また、図4の例とほぼ同じ位置に被験者がいる条件でデータを取得した。このデータにクラスタリングをしたところ、図5（b）に示すように、被験者位置に対応する点群が3人いるにも関わらず、1つのクラスタと判定されている。

このように呼吸数を入力とした場合は、被験者の位置関係や偽像の影響を受けずに分類が可能である一方で、呼吸数が近い場合に分類が困難になるという課題がある。

4. トレンド情報を活用したクラスタリング手法

4.1 自然呼吸時の呼吸数の時間変動

3章で示した課題を解決する手段を検討するために、人間の呼吸数に時間的なトレンドが存在するのかを検証した。図6に呼吸ベルトを用いた3人の被験者の呼吸数の自然呼吸の時間トレンドを示す。呼吸数は20秒を1回の解析区間（以下「スロット」という）とし、ベルト式センサ（以下「呼吸ベルト」という）で計測した波形を解析して算出している。横軸は呼吸数を算出したスロットのインデックス番号である。

各被験者の呼吸数はスロットごとに変動しており、被験者ごとで異なる時間トレンドとなっていることが分かる。従って、スロットで被験者間の呼吸数が一致したスロットが存在しても時系列の変化を見れば被験者ごとの呼吸数を分離することが可能となると考えられる。

4.2 時系列情報を活用したクラスタリング

4.1で示した呼吸数のトレンド情報を活用した分離手法として、複数の解析スロットに対応する呼吸数抽出マップを用いて時系列データを生成し、各スロットの呼吸数を分類する時系列クラスタリング手法を考案した。

図7に考案した時系列情報を活用したクラスタリング手法のフローを示す。

まず、呼吸波形の解析区間のデータを解析して呼吸数抽出マップを生成する処理を繰り返し、各時間スロットで算出された呼吸数抽出マップを蓄積する。次に、蓄積したデータを変換して、各ビンの呼吸数および時間スロットとビンインデックスの情報をもった時間トレンドマップを生成する。

さらに、時間トレンドマップにおいて、抽出された呼吸数が一定の時間スロット以上格納されているビンのみを選択し抽出する。これは特定の被験者のトレンド情報を保有しているビンを選定するためである。選定されなかったビンでは、被験者の呼吸に伴う体動が含まれた反射波が観測されていない、もしくは被験者間の境界付近など安定して観測されていないことが想定される。

その後、選択された時間トレンド情報を2次元データとして入力した時系列クラスタリングを実行する。最後に、クラスタリングの結果を用いて各クラスタのスロットごとの呼吸数を決定して被験者ごとの呼吸数トレンドを出力する。

5. 評価

5.1 実験環境

複数人の被験者を対象とした呼吸数計測実験を行い、提案手法による呼吸数計測の性能評価を行った。データ取得には中心周波数62 GHz、周波数帯域幅3.3 GHzのFMCW方式ミリ波レーダを使用した。アンテナは送信2素子、受信3素子をそれぞれ備え、多入力・多出力（Multiple-Input Multiple-Output:MIMO）によって素子間隔が0.5波長の6素子の等間隔リニアアレーアンテナを形成する。1枚のレーダ画像を取得するサンプリング周期は80 ms、呼吸数を算出するスロットの時間長さは20 s（サンプリング点数250点）とした。

図8に実験での被験者とレーダの配置を示す。家庭にて家族で就寝するシーンを想定して、被験者は3人（A, B, C）とする。被験者間の間隔は0.45 mとし、肩を接するように仰向けの状態で横並びに配置する。レーダは被験者の頭側で中央の被験者をレーダの正面とした。被験者胸部からの水平距離を0.5 m、設置高さを被験者背面から0.3 mとした。レーダの計測と同時にリファレンス波形を取得するため呼吸ベルトを被験者の体幹に装着する。

呼吸ベルトのサンプリング周期は10 msであり、レーダと同期して計測し、共通の時間スロットにおける呼吸数を算出して両者を比較できる様にする。以上の構成で、各被験者の呼吸数の計測を時間スロット30回分にあたる600 sに渡って行い、呼吸ベルトと提案手法による呼吸数の時間トレンドの計測結果を比較した。

5.2 時間トレンドマップ

図9（a）に蓄積した呼吸数マップから生成した時間トレンドマップを、図9（b）に20スロット以上で呼吸波形が抽出されたビンのみの時間トレンドマップを示す。縦軸が時間スロットのインデックス番号、横軸がビンのインデックス番号である。ビンのインデックス番号は、方位、距離座標を1次元化し、昇順に並べた番号である。ヒートマップの色は算出された呼吸数を示している。呼吸波形が抽出されなかったビンには0が格納されており、多くのビンでは呼吸波形が抽出されていないことが分かる。各被験者は特定の位置に存在しているため、特定のビンで呼吸波形が抽出されており、そのビンでは、多くの時間スロットにわたって抽出されている。

20スロット以上で呼吸波形が抽出されたビンは全体の6.5％であった。抽出ビンのみの時間トレンドを見ると、例えば、ビンのインデックス番号が100付近と、300付近では異なるグラデーションを有しており、時間スロット方向の変化の種類がいくつか存在することが分かる。これは、被験者ごとのトレンドの違いを表していると考えられる。

図10に抽出された全ビンのスロットごとの呼吸数と呼吸ベルト波形から算出した呼吸数との比較結果を示す。ビンの数が少なく見えるのは、近い値をとる結果が重なっているためである。ほとんどのビンの結果は、呼吸ベルトのいずれかの被験者の結果と近い値となっていることが分かる。また、同じビンの結果を線で結んでいるが、同一ビンでのスロット間の変化も呼吸ベルトのいずれかの被験者の結果に追従しており、それぞれのビンの結果は特定の被験者の時間トレンド情報を保有していることが分かる。

5.3 呼吸数の計測結果

図11にスロットごとのクラスタリングにより推定した呼吸数トレンド、図12に提案手法である時系列クラスタリングにより推定したクラスタごとの呼吸数トレンドを呼吸ベルトの測定結果と比較した結果をそれぞれ示す。スロットごとのクラスタリングでは、各ビンの呼吸数を入力とした。また、レーダと呼吸ベルトの結果の対応関係は、推定されたクラスタごとの位置関係に基づいて決定した。

スロットごとのクラスタリングでは、多くのスロットで2人分の呼吸数しか推定できておらず、3人分の呼吸数を推定できたのは30スロット中6スロットのみであった。一方、提案手法では30スロット中21スロットで推定できており、複数人の呼吸数推定の性能の大幅な向上がみられる。

提案手法の結果では、被験者AとBにおいては、呼吸ベルトにて呼吸数が算出できているすべてのスロットにて提案手法でも呼吸数の計測ができている。被験者Bに関しては呼吸ベルトにて呼吸数が出力されていないスロットが多くみられるが、これは被験者の呼吸波形の乱れが大きく、呼吸数判定不能と判断されたためである。レーダの結果でも呼吸数を算出可能な波形はないと判定されたため同様に出力されていない。

被験者Cに関しては、呼吸ベルトでは呼吸数が出力されているにも関わらず、提案手法では呼吸数を出力することができていないスロットが存在する。この理由としては、該当するスロットにおいて、レーダ信号から被験者Cに対応する呼吸波形を抽出できていないためと考えられる。レーダ信号から対象被験者の呼吸波形を抽出できなかった原因としては、レーダと対象被験者の位置関係や対象被験者間の位置関係が目視で判定できない程度の変化することにより、対象被験者からの反射信号強度の低下や、フェージングの影響によるSN比（Signal-Noise Ratio）の低下等が考えられる。

表1に各手法の被験者毎の抽出スロット数と検出率を示す。検出率は呼吸ベルトにて呼吸数を計測出来たスロット数に対するレーダでの抽出スロット数の割合で定義している。スロットごとのクラスタリングでは最も悪い被験者で51％の検出率であるのに対して、提案手法では93％と大幅な向上が確認された。

6. むすび

レーダにおいて空間上の複数のターゲットの計測を行う場合、カメラ等と比較して方位分解能が低い為、ターゲットごとの信号分離が課題となる。本論文では、ミリ波レーダにおける複数人の呼吸数の計測を行うことを目的として、計測信号から生成した呼吸数の時間トレンドマップを入力とした時系列クラスタリング手法を提案した。3人の被験者を対象とした検証実験を実施し、従来手法と比較して検出率が大幅に改善することを確認した。

本検討結果は限られた条件での検証に留まるため、より多くの被験者や条件に対する検証が必要である。特に本検討では、被験者の安静状態を想定しているが、家庭での就寝時には寝返り等の体動の発生や人の移動等より複雑な状況が想定される。このような実用上起きうるシーンへの適応の検証も必要となる。

また、本手法は複数人の呼吸数の計測だけに留まらず、複数人のバイタル計測、ひいては人以外の複数の物標を計測対象とした場合の信号分離手法としての応用も期待できる。今後は、先に上げた課題を踏まえ、レーダを用いたバイタルサインの計測やその他のアプリ展開を検討していく。

参考文献

1）

長峯邦明 他,“ここまで来たウェアラブルセンシング技術と今後への挑戦,” 化学と教育, vol. 68, no. 11, pp. 490-493, 2020.

2）

山田一郎, “ヘルスケアモニタリングを目指す 生体情報センシング技術,” 電子情報通信学会 基礎・境界ソサイエティ Fundamentals Review, vol. 12, no. 1, pp. 30-37, 2018.

3）

田村俊世, “ウェアラブルセンサ、非接触センサの医療応用,” 医療機器学, vol. 90, no. 1, pp. 11-23, 2020.

4）

手塚 忠則, 中村 剛, “カメラを用いた非接触バイタルセンシング技術とその応用,” バイオフィードバック研究, vol. 45, no. 1, pp. 3-9, 2018.

5）

日向匡史 他, “自動運転時代におけるドライバモニタリング技術,” OMRON TECHNICS, vol. 50, no. 1, pp. 31-36, 2018.

6）

E. Dafna et al., “Sleep staging using nocturnal sound analysis,” Sci. Rep., vol. 8, no. 1, pp1-14, 2018.

7）

渡邊涼介, “顔認識技術を用いたカメラ画像利活用と個人情報・プライバシー保護,” 映像情報メディア学会誌, vol. 71, no. 11, pp. 811-818, 2017.

8）

G. Paterniani et al., “Radar-Based Monitoring of Vital Signs: A Tutorial Overview,” in Proc. IEEE, 2023, vol. 111, no. 3, pp. 277-317.

9）

S. Yue et al., “Extracting Multi-Person Respiration from Entangled RF Signals,” PACM IMWUT, vol. 2, no. 2, pp. 1-22, 2018.

10）

T. Koda et al., “Noncontact Respiratory Measurement for Multiple People at Arbitrary Locations Using Array Radar and Respiratory-Space Clustering,” IEEE Access, vol. 9, pp. 106895-106906, 2021.

11）

小澤尚志 他, “伝送線路からの不要な放射の抑制によるミリ波レーダの方位推定精度の向上,” OMRON TECHNICS, vol. 55, no. 1, pp. 116-122, 2023.

12）

大橋卓 他, “アレー拡張処理を用いたミリ波レーダによる屋外人物の3Dイメージング,” OMRON TECHNICS, vol. 54, no. 1, p. 92, 2022.

13）

阪本卓也, ワイヤレス人体センシング, オーム社, 2023.