TSUKUBA FUTURE #042：自由視点映像でスポーツ観戦をカスタマイズ
システム情報系 北原 格（きたはら いたる） 准教授
映画やテレビで３次元映像を楽しむ機会が増えています。しかしそれらは、予め作られたコンテンツであり、裏側を覗き込んでみたいと思っても、それはかないません。北原さんが開発しているのは、実世界を撮影した画像をリアルタイムで３次元化し、しかも自分の好きな角度や距離から見ることのできる「自由視点映像」技術です。スポーツ観戦はもちろん、看護師やセラピストの行動や表情の観察や、手術における見えにくい部分の確認など、様々な分野での活用が期待されています。
３次元の映像をダイレクトに撮影する方法はありません。そこでどうするかといえば、複数のカメラでひとつの場面を多方向から撮影し、それらの平面画像を組み合わせて３次元モデルを生成するのです。動画はこれを連続的に切り替えることで制作できます。サッカーの試合なら、スタジアムの天井に１台、グラウンドを囲むように観客席に８台のカメラを設置します。これではフォーカスが定まらないように思えますが、場面全体を捉えることが重要で、その中のどの部分をどの方向から見るかは、後で自由に決められます。
複数のカメラによる撮影で大切なのは、全てのカメラが同時にシャッターを切ることです。特にスポーツなど動きの速い場面では、わずかでも時間がずれると３次元画像処理がうまくいきません。この問題を解決するために考案したのが、GPS信号の時刻情報を用いて撮影タイミングを精密に制御する方法です。もうひとつの技術的課題は、３次元空間と撮影画像との対応関係を知ることです。２次元画像から３次元モデルを生成するためには、３次元空間内のある点が２次元画像上でどの位置で見えているかを知る必要があります。しかし、サッカー場のような大規模空間で対応関係を求める試みはこれまで行われていませんでした。幸い、研究チームには、サッカースタジアムを設計施工した建築関係者が参加していました。「建築現場で使う３次元測量機を使ってはどうか」という、画像研究の分野では思いもよらなかった提案を受け、世界に先駆けた画期的な大規模撮影システムを実現することができました。
バレットタイムの撮影用スタジオ
そうやって撮影した画像を元に、「人物ビルボード」という手法を使って３次元モデルを生成します。サッカーの場合は、撮影した映像からそれぞれの選手の位置を推定します。そこに２次元のついたてを立て、その上に様々な角度から撮影した画像を貼り付けます。ついたてを観察する方向に合わせて貼り付ける画像を切り替えることで、３次元的な見え方を再現することができます。この手法を用いることで、３次元CGモデルを生成するよりも、シンプルに素早く３次元像を提示できるようになりました。また、少ないデータで３次元モデルを表現できるので、インターネットを介したライブ中継も可能になりました。
次に考えるべきはインターフェイス。自由視点を設定する操作としてマウスやキーボードを使うのでは、試合観戦に集中できません。直感的に使えるよう、両手にそれぞれ仮想カメラの視点と自分が見たい視点とのマーカーを持ち、それらを動かすことで自由視点映像が見えるシステムを開発しました。選手の位置までズームすれば、自分が試合をしているような気分も味わえます。さらに、タブレット端末などを用いてさらに手軽に自由視点映像が楽しめるような操作方法も開発中です。
センターフォワードの視線でゴールに迫る映像も再現できる
映像の高画質化も必須です。そこで採用したのが映画「マトリックス」で注目された「バレットタイム」という技法。たくさんのカメラで被写体を取り囲むように撮影し、静止した被写体をいろいろな角度から見るものです。北原さんは、この手法をスタジアムで撮影した映像に適用する試みを進めています。バレットタイムは、人物などを近距離から撮影する場合には効果的ですが、大空間を撮影するとなると何十台ものカメラが必要ですし、画像処理の技術も改良しなくてはなりません。現在、Jリーグの鹿島アントラーズと協力し、ゴール裏に数メートルおきに10台の高解像度カメラを設置して、ゴール付近の自由視点映像を構築する実験をしています。
北原さんが３次元画像に興味を持ったきっかけは1985年のつくば科学万博でした。未来都市に迷い込み、赤青メガネで初体験した立体画像。視覚情報だけなのに、それ以外の感覚までが喚起される体験は、中学生だった北原さんにとって衝撃的でした。そのときに埋め込まれた潜在意識に導かれ、晴れて365体育投注入学後は一貫して３次元の自由視点映像の研究に取り組んできました。目下の課題は「没入感」。そのカギは画質の向上と、放送システムとも連動したデータの伝送?処理速度です。4Kや8Kといった映像技術や情報インフラの発達も研究を加速させています。2020年の東京オリンピックまでには、今とは全く違うスポーツ観戦を実現したいと燃えています。
文責：広報室 サイエンスコミュニケーター