ITmedia NEWS > STUDIO >

使徒がそこにいるような、空と調和した巨大ARオブジェが出現 スマートフォンアプリ「Fakeye」、ベトナム研究チームが開発Innovative Tech

» 2020年10月27日 12時34分 公開
[山下裕毅ITmedia]

Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 ベトナム国家大学ホーチミン市校が開発した「Fakeye」は、空にARオブジェクトを表示する機械学習ベースのモバイルアプリだ。 実際の空の風景と調和したARオブジェクトを表示する。

photo Fakeyeの表示結果。まるでエヴァンゲリオンの使徒のような、キューブ状の巨大オブジェが空と調和して見える

 空と調和したAR表現を実現するには、手前にある物体が背後にあるARオブジェクトを隠して見えないようにするオクルージョン(隠蔽)を正確に行う必要がある。今回の手法では、機械学習のロジスティック回帰モデルを用いて、空のセグメンテーションを計算している。

 また、空を完全に置き換えるのではなく、リアルとバーチャルのシーンを混合したテクスチャブレンディングを行い、空の質感を維持した表現にしている。例えば、雲の後ろにARオブジェクトを配置する場合、完全に見えなくするのではなく、部分によっては適切な透明度を設定することで物体が雲から薄く透けて見える表現になっている。

photo Fakeyeの出力結果

 さらに、オクルージョンやテクスチャブレンディングとは別に、ARオブジェクトが遠くにあるように見せるために、カメラを動かしても遠くで静止しているような錯覚を起こさせている。スマートフォンに内蔵されているジャイロスコープから回転運動を検出し、物理カメラとバーチャルカメラの空間知覚を対応させ、バーチャルカメラの視野角も物理カメラと同じにすることで実現している。

photo Fakeyeのシーンセットアップ

 これらの結果、あたかも巨大オブジェクトが遠くの空に鎮座しているような表現を作り出す。リアルタイムに更新されるため、閲覧しているユーザーが動いても、世界観を壊さずに表示し続けることが可能だ。

photo Fakeyeの出力結果

Copyright © ITmedia, Inc. All Rights Reserved.