オーストラリア・メルボルン大学（The University of Melbourne）で開催されたCAADRIA2016国際会議（The 21th International Conference on Computer Aided Architectural Design Research In Asia）で発表した論文の3報目。今回は「A Marker-less Augmented Reality System Using Image Processing Techniques for Architecture and Urban Environment；建築・都市環境のための画像処理技術を用いたマーカレスARシステム」について [1]。
背景
良好な景観形成を推進するためには、計画・設計・施工・維持管理の各段階で、事業者・設計者・管理者・近隣住民・利用者・一般市民などの多様な利害関係者による合意形成が求められる。そのため、検討会議においては、景観予測内容をわかりやすく伝達する手法が求められ、伝統的な模型や手書きパースに加え、コンピュータを用いた3次元CG静止画、アニメーション、バーチャルリアリティ（VR）が実用化されている。しかしながら、これらの手法は、周辺環境を含む全ての情報を3次元モデルとしてコンピュータに定義するために多大な労力が必要とされてきた。そこで、現実空間と3次元モデルとを重畳表現するAR（Augmented Reality：拡張現実感）技術を景観予測手法に応用する研究が進められている。ARは、リアルタイム・レンダリングを行う点などVRとよく似た技術である。一方、VRは全ての仮想空間を3次元モデルで定義するのに対して、ARは周辺環境の表現として実写映像などの現実空間を利用するため、3次元モデルを構築する工数と手間、データ量の増加を回避できる。建設予定地でARを使えば、実物大でその場の将来景観を確認できるために、より現実的な検討が可能になる。
一方、景観予測手法としてのARの現状は、用途や対象が限定的である。重要な課題は、現実空間と3次元モデルとの位置合わせ手法である。位置合わせ手法は、ロケーションベース型、ビジョンベース型に大きく区分される。ロケーションベース型として、スマートフォンに搭載されているＧＰＳやセンサでは十分な位置・姿勢精度が得られず、RTK-GPSなどを用いると高精度な位置合わせが実現できるものの、特殊な機材を準備する必要があるため、一般ユーザへの実用化は課題が残る。ビジョンベース型として、人工マーカを用いた手法はマーカがAR仮想カメラから常に見えている必要があり、検討者の可動範囲に制約が生じてしまう。また、高精度を実現するために大きな人工マーカを用いると肝心の景観が隠れてしまう。
目的
景観検討に資する高精度な位置合わせを実現するためには、実写映像と3次元モデルとを重畳させる際の基準点（以下、基準面、基準対象物も同義として扱う）の設計が重要である。基準点は、ロケーションベース型の場合はセンサ位置、ビジョンベース型の場合はマーカ位置となる。基準点と3次元モデルとの距離が小さいほど位置合わせ精度は一般に高くなる。一方、屋外現場で景観検討を行う場合には、既往手法では、基準点と3次元モデルとの距離は概ね10m～数kmと机上でARを使う場合と比べて大きく、精度は低下してしまう。
そこで本研究は、身近なモバイル端末を用いて、屋外で過去や将来の景観をより正確に重畳可能なARシステム「PhotoAR2015」の開発を目指した。高精度の景観検討用ARを実現するため、ビジョンベース型のひとつ、マーカレス型ARシステムの概念を応用して、3次元モデルの近傍に基準点を設置する手法を開発することを目的とした。
PhotoAR2015の概要
PhotoAR2015は、局所特徴量による画像マッチング技術を用いた位置合わせ、及び複数枚の画像から3次元形状を復元するSfM（Structure from Motion)を応用して開発した。PhotoAR2015は、事前に行う「前処理」とリアルタイムで行う「本処理」の2つのプロセスで構成される（図1, 2）。
図1 PhotoAR2015の概要
図2 PhotoAR2015のフロー
前処理では、まず、SfMにより、既存建物など位置合わせの基準対象物となる3次元モデルを復元する。この際、3次元モデルの復元と同時に、使用した写真の撮影カメラ位置・姿勢情報を取得する。復元した3次元モデルと撮影カメラ位置・姿勢情報をデータベースに保存する。次に、ARで重畳する新築建物などの3次元モデルの描画座標を、SfMにより復元した3次元モデルに対する相対座標で決定し、新たな3次元モデルとその描画座標をデータベースに保存する。最後に、SfMによる3次元モデル復元に用いた写真データベースから、各画像の特徴点と特徴量をSURF (Speeded-up Robust Features)により抽出してテキストファイルに出力する。各画像のファイルパスも同様に別のテキストファイルに出力する。
本処理では、まず、前処理で出力した2つのテキストファイルを入力する。次に、ARで表示するリアルタイムのカメラ画像からSURF特徴量を抽出して、その全特徴量と、前処理で作成済みのSfMによる3次元モデル復元に用いた各画像の特徴量をそれぞれ比較して、類似画像を選定する。そして、ARで重畳する新築建物などの3次元モデルを、その類似画像を撮影したカメラの位置・姿勢を利用して、3次元モデルを描画する。この際、トラッキングに利用する点を描画モデル周辺に配置し、描画に使用した位置・姿勢情報を利用しスクリーンに描画する。3次元モデルを重畳した後、ARカメラの移動・回転に伴うスクリーン上での移動ベクトルを計算する。そして、トラッキング対象点の移動後の座標と3次元空間上での座標、及びカメラの内部パラメータを元に算出した位置・姿勢情報を利用して、再描画を繰り返すことでトラッキングを行う。
PhotoAR2015の実装
PhotoAR2015は、C++を用いて実装した。前処理では、SfMには、3次元モデル復元に用いた写真の撮影カメラ位置・姿勢情報を出力可能なOpenMVG (Open Multiple View Geometry. Ver.0.7) を利用した。
本処理では、リアルタイムカメラ画像の取得及びマッチングを行うために、画像処理ライブラリOpenCV (Open Source Computer Vision Library. Ver.2.4.9) を利用した。並列処理を行うために、TBB (Threading Building Blocks. Ver. 4.4) を利用した。3次元モデル描画のために、OpenGL（Open Graphics Library）のためのツールキットfreeglut (Ver.2.8.1) を利用した。
さらに、本処理ではリアルタイム処理を行うため、類似画像選定の際に計算を高速化する必要がある。そのため、近似手法を用いた類似度計算、画像のトリミングの処理を実装した。また、実写映像と3次元モデルの前後関係を正確に表示するためにオクルージョン処理を実装した。
PhotoAR2015の性能検証
開発したPhotoAR2015の性能を検証した。大阪大学吹田キャンパスM3棟を対象とした。
まず、画像マッチング時間と精度を評価するため、画像の解像度、トリミング比率、クエリ画像を変更しながら、マッチング時間と精度を測定した。結果、画像に占める対象構造物の割合が大きい場合、高精度でのマッチングが可能であった。一方、画像に占める対象構造物の割合が小さい場合、画像をトリミングしてノイズ除去を行う必要性を確認した。現状では、より最適なマッチング画像を得るための工夫として、コンピュータがマッチング画像を自動抽出した後、ユーザが画像を正誤判定できる機能を加えている。
次に、位置合わせの精度検証を行うため、2つの視点を用意して、位置合わせを行った際のリアルタイムカメラ画像とマッチング画像とをそれぞれ抽出して、画像上の同一点のずれの状況を画素値で測定した。結果、描画スクリーン（960×720 pixels）に対する誤差の割合は、水平方向、垂直方向とも、いずれも5％未満であった。結果、画像マッチングによりリアルタイム画像と類似するデータベース内の画像が選定可能であれば、高精度な位置合わせは可能であることが示唆された。
PhotoAR2015の有用性検証
建物設計段階での有用性検証のため、大阪大学研究棟の仮想改築プロジェクトにPhotoAR2015を適用した。
本仮想改築プロジェクトでは、M3棟南側へのオーニング設置検討を利用シーンとして想定して、プロトタイプを開発した。使用したタブレットPCは、Microsoft Surface 3である。以下、主な内容を述べる。
前処理では、まず、M3棟を基準対象物として、複数の写真撮影、そして、SfMによる3次元復元モデルを構築した（図3）。次に、SfMによる3次元復元モデルを用いて、SketchUPで別途作成した新たなオーニングモデルの配置座標を決定した。本処理では、AR描画されたオーニングをユーザ操作により、色及び設置角度を適宜変更しながら設計検討を行った（図4）。
検証実験を通じて、リノベーション検討用の3次元モデルを事前に作成、データベースに登録しておけば、PhotoAR2015を用いて、様々な視点からのリノベーション検討が可能であることを確認した。
図3 SfMによる復元結果（a: 対象構造物；b:復元モデル）
図4 PhotoAR2015キャプチャ: オーニング設置検討
おわりに
屋外でAR景観シミュレーションが可能なPhotoAR2015を、画像マッチング技術を用いた位置合わせ、及びSfMを応用して開発した。尚、本稿で紹介した仮想プロジェクト以外にも実際の建築設計プロジェクトで適用している他、建物運用段階での適用も検討している。追って、ご報告したい。
4月1日にメルボルンでプレゼンした様子は下記となります（セルフィー）。
最近の論文はResearch Gateにアップしました。
PDF: http://y-f-lab.jp/fukudablog/files/1608machinami_FukudaFinal.pdf
（大阪府建築士事務所協会「まちなみ」2016年8月号）
