本日は、米谷榮二先生、佐佐木綱先生という偉大な先生方の名を冠する賞をいただきましたこと、大変、光栄に思っております。この場をお借りしまして、審査いただいた先生方、それから指導教員であり共同研究者でもある布施孝志先生、そして研究室を絶大なる安心感で支えてくださっている清水英範先生にお礼を申しあげたいと思います。どうもありがとうございます。

　 それでは、私の研究についてご説明をいたします。タイトルは「予測モデルと観測データを統合した人物追跡手法の開発」です。

　本研究の背景は二つございます。まず１点目ですが、近年予測モデルと観測データの統合が着目されています。まず予測モデル、言い換えますとシミュレーションが、技術の進展によって多数の試行が可能になってきています。ですから多数の設定でシミュレーションは行えるのですが、そこで使われているモデルの妥当性がよくわからず、予測モデルそれ自体の再現性には限界があるという課題があります。一方で観測データですが、センシング技術の進展によって、これまで考えられなかったような大量のデータを取得できるようになりました。しかし、データ自体がたくさんあったとしても、それをどのように使うかという方法は未確立です。

　そういったなかで、この両者の統合という考え方が自然科学を中心に出てきています。これにより過去の観測データから将来のデータを予測する、ノイズを含む観測データから本質的な情報を取り出す、観測データが発生する時系列メカニズムを解明するなどの可能性が指摘されています。

　続いて背景の2点目です。私自身が、よりミクロ、つまり1秒とか10秒とか1分、あるいは1メートルとか10メートルといった高い解像度での人物挙動把握に可能性を感じています。広場をどう横断するか、横断歩道をどう通行するかといった個々人の動線を取得すれば、その行動メカニズムが何らかのかたちで理解できるだろうということです。これにより、空間設計や流動制御、より快適で安全な歩行空間を造るにはどうしたらよいかなどの問題に対してフィードバックができるのではないかと考えています。

　これは、よりマクロなレベルでは一般的に行われています。つまり1日とか1年といったトリップを集計して、そこでの経路選択や目的地選択などを理解し、道路の設計や鉄道の整備をしています。しかし、人物挙動というのは高い解像度で見るときわめて複雑です。次の瞬間に右に行くのか左に行くのかといったことも予測がままならないので、データ取得・モデル構築ともにまだ難しい状況にあります。そういったなかでも、予測モデル、挙動シミュレーションモデルのきわめて詳細なものや、観測データ、動画像や距離画像がたくさん取得できるようになっています。これらはもちろん不確実性は伴いますが、統合することで新たな可能性があるのではないかという考えに至りました。

　そこで本研究では、人物自動追跡を適用対象として、方法論を構築して実証していくことを目的にしました。

　論文の構成を示します。先ほど申しあげたことを実現するために、まず理論的な整理を重点的に行いました。予測モデルと観測データとの統合は、いろいろな分野での理論が重なり合って、交通分野にも適用できる状況が整ってきていることを論文の第3章で整理しました。

　この整理の下で二つの追跡手法を構築しました。一つ目が、挙動モデルが事前にわかっている、つまり、歩行者が次にどちらに行くのかを表すモデルが事前にわかっている場合の手法です。もう一つが、このモデルが事前にわかっておらず、モデル自体も逐次的に推定しなければならない場合に対応するための手法です。

　まず理論的な整理についてご説明します。予測モデルと観測データの統合と言いますと、「データ同化」と一般に呼ばれるようになっています。このデータ同化はタイプによって大きく二つに分かれています。本研究で対象とするのは逐次データ同化です。これは、データを得るたびにモデルと統合していくという意味になります。

　逐次データ同化は、ここ10年ほどで、一般状態空間モデルという時系列モデリングの枠組みに含まれていることが、広く認識されるようになりました。一般状態空間モデルというのは、「状態空間という空間で記述されるモデルの一般的なかたち」です。

　次に、その状態空間というのは何かをまとめます。時系列データを古くから扱っている分野にシステム制御があります。資料では右下の「制御理論」にあたります。ここで時系列データを使う方法は、大きく分けると、周波数で解くのか時間のまま解くのか、という二つです。このうち時間のままで解く方法を状態空間と古い段階から呼んでいたことから、その一般的なモデルのことを一般状態空間モデル、もしくは一般化状態空間モデルなどと呼びます。

　この状態空間という空間で定義した問題を解く、あるいは解けるという数学的な根拠がベイズ統計にあります。すなわち、データのほうが確定値であってモデルがばらつきを持っているという考え方に基づくベイズ統計に一定の正当性が与えられているからこそ、このような一般状態空間モデルが成立しているという整理になりました。

　ですから、本研究をあらためてご説明しますと、人物追跡手法をこの状態空間で記述して、具体的に解く研究であると言うことができます。

　状態空間で時系列データを記述することの意味合いをご説明します。

　資料の左上のように、観測データyが時刻tに従って得られたときに、状態空間では、このyを生起するような、我々が直接見ることのできない潜在状態xというものを考えます。このxのほうに時系列のモデルがあります。一方で、yというのはxから何らかのかたちで確率的に得られる実現値であるというように分解して考えます。

　なぜこのように考えるかというと、観測できるy自体に必ずしも時系列の関係があるとは限らないということに大きなポイントがあります。

　人物追跡の例で説明すると、カメラで撮った観測として、資料中ほどにあるような画像が得られます。人間が見ればどの部分が人であるかはわかりますが、情報としては、「ここの画素はグレーで、赤が200、緑が186、青が216」というデータしか得られていないわけです。このとき、画素の値、つまりy自体を時系列にモデル化することは自然ではありません。画素値は人物が移動することによって変化すると考えるのが自然です。我々が知りたい情報はあくまでも人物の動線データ、人物位置の二次元座標です。このような関係があるときに状態空間で記述する意味合いが出てきます。

　この例ですと、「知りたい情報、人物位置：x」の時系列モデルが交通工学で進展しているシミュレーションモデルです。一方で、この位置からどこにどの色が実現するか、つまりyについてのxの関数が、人物判定や人物抽出、追跡といった情報処理の分野で進んでいるモデルになります。この両分野の統合によって人物追跡手法を状態空間において記述でき、それによりモデルの統計的な性質がわかるというのが、私の研究の主要なアイデアになります。

　実際に一般状態空間モデルというモデルにおけるモデル化について説明いたします。

　はじめに、状態ベクトルxという、直接我々が観測できないが本当に知りたい変数を設定します。ここでは人物位置などになります。一方で観測ベクトルyには、実際に観測できる値を確定値として定義します。

このときxについて時系列の遷移を表す分布を与えます。これをシステムモデルと呼びます。あるxのときにどういうyが観測されるかをモデル化したものが、観測モデルと呼ばれる条件付き分布です。これに加えて初期分布を与えれば、このモデルが解けることになります。

　「解ける」というのは、yという観測を時刻tまで得たときの時刻tのx、つまり我々が直接観測できない人物位置などが推定できるということです。この推定にベイズ統計が大きく関わっています。逐次ベイズフィルタリングと呼ばれる方法を用いると、yを時刻1からtまで観測したその全部の情報を用いたときの、もっともらしいxの分布――これを事後分布と呼びますが、それがスライドの式のように逐次的に求まります。

　実際にこの推定に必要なことは以下の2点です。1点目はxやy、さらにシステム・観測モデルを設定することです。式から明らかなように、どのようなモデルを設定しても推定は行えます。この自由度が高いことは利点でもありますし、多くの検討が必要なところでもあります。研究では多数の検討を行いました。もう1点は、式の右辺に含まれている積分の計算方法です。この積分は基本的には非線形なので解析的には解けませんが、近年近似手法も計算機の計算能力も大きな進展を見せていて、実現が可能になってきています。

　具体的に、これらの変数をどのように設定しているかを説明します。まず状態ベクトルxtは人物位置、それから人物位置を知るうえで有用な変数、つまり速度などです。また、位置を知るうえで有用でありながら観測できない変数も全て状態ベクトルxtとします。次に、観測ベクトルytは、センサーによる観測値、つまり色や距離などです。

　この状況において観測モデル、つまり観測できない位置から実際に得られている色などを生起する分布を、人物の検出モデルや判定モデルを使ってモデル化します。また、システムモデルがもっとも交通の分野とは関わりが深いところです。歩行者が今の状況を判断して、次の1秒後、2秒後にどこに行くかをモデル化します。それとは別に初期分布を設定します。これは単純に人物を画像から検出する問題としてモデル化します。

　このような変数の設定は、試行錯誤も必要ですし、既往の研究も数多くありますので、どのような手法が今、目的としている追跡に適しているのかを逐一検討しました。本日はその結果だけをお示しします。

　まず状態ベクトルとして、資料の右に示した3次元の楕円体、3次元の位置と形状、それから速度や色の見え方といったものを定義しています。このうち知りたいのは位置だけですが、それ以外の変数は推定に有用であるので入れています。色というのは、今、黄色の服を着ている人は1秒後も黄色の服を着ているということをモデル化することによって、より人物の追跡精度が向上するといった意味合いです。

　次に観測ベクトルですが、ステレオビデオカメラを用いて取得した観測点の3次元の色情報と3次元の距離情報をあわせた6次元で定義しています。

　距離算出の仕組みは、写真測量の簡単な原理を用いるものです。2台のカメラに同じ点が映っていることを利用して距離を求める手法になります。

　以上のまとめとして、構築するモデルのイメージを確認します。今、何らかの結果として時刻t−1の推定結果が得られているとすると、この分布からシステムモデルという分布を用いて、次の時刻に人物がどのあたりにいそうかという予測分布を得ます。このためにシステムモデルを構築する必要があります。

　次に、その時刻で色情報と距離情報を観測できますので、これを用いて予測分布を事後分布に更新します。これがベイズフィルタリングです。観測を入れることで、予測だけでは得られなかったよりもっともらしい位置のほうに推定結果が寄っていくことになります。これを繰り返していきます。この他に初期分布として最初に人物が出てきたところの分布を与えます。

　モデルの構築についてもさまざまな検討を行いました。本日はどのようなモデルを最終的に用いているかを説明をします。

まずシステムモデル：歩行者の挙動モデルですが、確率的な予測モデルである15肢離散選択モデルを構築しました。工夫として、普通、歩行者の挙動モデルには目的地に向かう特性を反映させることが一般的ですが、逐次的な自動追跡においては、追跡している人物がどこに行くかを事前に知っているとは考えられませんので、目的地設定の必要がないモデルとして新たに構築しました。

　次に観測モデルですが、画像処理の技術を援用して、色ヒストグラムや3次元形状をモデル化しています。より人物らしいほど高い値が返ってくるモデルになっています。また、初期分布も人物抽出モデルを援用してモデル化しています。

　これまでが最初に申しあげた一つ目の手法です。続いて、二つ目の手法としてモデルを拡張する必要性について申しあげます。

　これまでの議論ですと、挙動モデルが時間や空間や個人によって変わらない場合にしか対応できません。つまり挙動モデルが事前に得られている場合の手法になっています。これに対して、モデルを拡張することによって、挙動モデル自体も逐次推定していこうと考えました。

　これができると、適用対象として、観測領域内で場所によって精度のいいモデルが異なる場合にも対応できます。たとえば、まっすぐ歩きやすい場所もあれば、複雑に動いている場所もある場合です。また、時間経過とともにモデルパラメータが変化していくとか、個々人でそもそも従っているモデルが違う場合にも対応できる枠組みとなります。

　このために、2種類の方法を構築しています。一つは、パラメータ自身を状態ベクトル、つまり「直接観測はできないけれども我々が知りたい変数」に含めて、パラメータ自身も逐次推定する方法です。

　もう一つは、モデルを逐次選択する方法です。逐次推定の予測精度は、ベイズ統計の理論に従って、毎回、毎時刻、求めることができます。そこで、この精度を毎時刻で判断して、あらかじめ用意した複数のモデルを切り替えていきます。つまり、精度が落ちたときにはいまのモデルから別のモデルに切り替えるという手法を構築しました。

　以上のような構築を行ったうえで、実データに適用を行いました。東急田園都市線の「たまプラーザ駅」で朝のラッシュ時に撮影した動画に対して、拡張した手法を適用した例をお示ししています。

　プロットしている点の色には青と赤があって、青は離散選択モデル、赤は等速直線運動のモデルがそのときに選ばれていることを示しています。精度は7割程度ですのでまだ改善の余地はありますが、一定程度は追跡ができるようになりました。

　このようにして追跡を行った際に得られる応用例を紹介します。

　まず、動線を取得することができます。改札を通ってホームに向かっていることが顕著にわかるデータになっています。すると、どの改札を通ったかのデータも得られます。従前ですと、どの改札を通ったかは改札のところでカウントしているだけなので、たとえば上りホームに行く人はどの改札を通りやすいのか、下りホームに行く人はどの改札を通りやすいのかといったことを把握するのは容易ではありませんでした。しかし、開発した手法を用いると動線が得られていますから、2番線から来た人がどの改札を通りやすいかといった詳細な情報がわかります。今回の場合、南口から2番線に行く人は、比較的左側の改札を通りやすいことがわかります。

　また、このようなデータを集計すると、空間的な速度分布もわかります。直感的には明らかですが、改札のあたりで速度が低下しています。また、改札通過後に上りホームの2番線に向かう人の速度は、他の場所に比べて速いことがわかります。朝のラッシュ時ですので、上りホームに向かう速度が速いことは自然ですが、実際にどの程度速いのかがわかります。

　本研究の成果を簡潔にまとめます。まず、人物挙動の詳細把握に向けて、予測モデルと観測データを統合する枠組みの整理を行いました。今回の適用対象は人物の自動追跡となっていますが、枠組み自体は汎用的なものとして構築していますので、予測と観測の片方のモデルの精度が上がれば、もう片方の精度も上がっていくというフィードバックを実現する枠組みが提案できたのではないかと思います。この枠組みのもとで追跡手法を実現するための各種のモデルを構築あるいは拡張して、実データに適用するとともに、適用結果の利用例を検討しました。

　今回構築した枠組みは、ベイズ統計に基づく枠組みで構築しています。ただし、学位論文の段階では、平均値のような代表値での評価にとどまっています。本来、ベイズ統計は事後分布という推定結果に、データが持っている情報を全て含んでいる理論ですので、この事後分布それ自体を分布間の比較などに拡張していく必要があると考えています。

　また、実社会へのフィードバックを考えています。このような手法を用いて、歩行空間における評価指標の妥当性の検証や改良、あるいはシミュレーションモデルなどの分析による人物挙動の特性の把握につなげていきたいと考えています。藤原章正先生がおっしゃっていたように、どちらかというとこれまでの私の研究は手法論の構築でした。従いまして、今後の実適用とフィードバックが重要な使命であるとあらためて感じております。本日はどうもありがとうございました。