ふくだぶろーぐ

福田知弘の公式ブログです。

都市とITとが出合うところ 第63回 テレプレゼンス（１）

f:id:fukuda040416:20190630122715p:plain

テレプレゼンスシステムの構成

遠隔会議の課題とテレプレゼンス

人と人とのコミュニケーション（会議）の方法について考えてみよう。

近年では、電子メールなどにより異なる場所・異なる時間の状態で行うコミュニケーションに加えて、テレビ会議やチャットなどにより異なる場所・同じ時間の状態での遠隔会議が使われるようになった（電話会議の発展形）。

一方、会議の主なメンバーが離れた場所にいる場合、時間やコストをかけてでも、直接出会う会議は、実施されている。テレビ会議での遠隔会議は、現状では、画面を通して会議をしているという感覚が残り、システムに気をつかうことも多く、直接会う会議ほど自然な感じでメンバーと接していない。

この課題を解決できそうな概念・技術として、テレプレゼンスが挙げられる1)。これは、遠隔地のメンバーとその場で対面しているかのような臨場感を提供する。

建築・都市検討時のニーズ

建築や都市を遠隔会議で検討する場合、会議メンバーの姿や音声を共有するだけでなく、建築物や都市空間や家具といった検討対象の3次元デジタルモデルを共有する必要がある。そのために、3次元デジタルモデルをメンバー同士で共有できるシステムの開発と実証が進められてきた。既に、インターネットを通じて、3次元デジタルモデルをVR（人工現実）空間でリアルタイムに共有したり、そのVR空間にスケッチを描ける機能は実用化されている。

f:id:fukuda040416:20190630122858j:plain

3次元建築・都市モデルを共有しながらのVR遠隔会議

この方法によりメンバー同士で共有する3次元デジタルモデルは、3次元CADやBIMで作成されたものであるが、全ての3次元デジタルモデルをコンピュータ上に定義しているため、メンバーが活動している現実世界とは切り離された仮想世界で構成されている。つまり、テレプレゼンスのように現実世界と何らかのつながりを持ちたい場合にはこの方法は適していない。

MRとリアルタイム点群

MR（複合現実）は、現実世界に目に見えないデジタル情報を違和感なく重ね合わせるAR（拡張現実）と、デジタル世界の中に現実世界を取り込むことにより臨場感を高めるAV（拡張仮想）を合わせた概念であり、現実世界とのつながりを保持できる。

3次元デジタルモデルを作成する方法として、現実世界の空間や物体から作る点群を利用することを考える。点群は、数多くの点の集合であり、3次元座標と各座標のRGB値（光の三原色:赤・緑・青）などが定義されている。点群からの3次元デジタルモデルを用いて、現実世界にある空間や物体を精巧に保存したり、そのモデルを3次元CADやBIMに取り込んで新たなリノベーション設計に利用できる。しかし、点群を作る際に、レーザー測量や写真の撮影、及び、それら取得したデータから3次元点群を生成するための処理に一定の時間を要してしまう。

一方、RGBカメラとデプスセンサ（RGB-Dカメラ。デプスセンサは、センサ位置からの距離（3次元情報）を取得できる）を用いた手法は、現実世界にある空間や物体を取得できる範囲は限られるものの、3次元点群をリアルタイムに取り込むことができる（この方法で生成した点群を、リアルタイム点群と呼ぶ）。

開発したテレプレゼンスシステム

そこで、テレプレゼンスの実現にむけて、リアルタイム点群を表示するMRシステムを実装してみた2)。市販されているハードウェア・ソフトウェアによりリアルタイム点群を表示可能なMRシステムを目指した。

方針として、マイクロソフト社のKinect for Windows v2（Kinect）によりリアルタイム点群を取得し、光学シースルーによりMRを体験できるマイクロソフト社のHoloLensに転送する手法とした。

装置

システムを構成する装置は以下の通りである。

  • Kinect：内臓のRGB-Dカメラを用いてリアルタイム点群を生成する。
  • PC（Windows10）：Kinectで生成されたリアルタイム点群を取得し、処理を加える。ゲームエンジン上でKinect for Windows SDK 2.0を使用して開発した。
  • ルータ：PCとHoloLensとのWiFi通信に必要。
  • HoloLens：離れたB地点にいるユーザが装着することで、テレプレゼンス映像を眺めることができる。 

処理の流れ

Kinectを用いて、現実世界の空間や物体をスキャニングし、リアルタイム点群を1秒間に30フレーム生成する。生成された点群は、接続されたPCに随時転送される。
転送されるリアルタイム点群には、不要な点群（ノイズ）が多く含まれている。そこで、不要なノイズを削除する処理を加えた。そのため、HoloLensでは、ノイズを減らして表示でき、よりスムーズにレンダリング（描画）することができる。PCに転送された点群は、WiFi経由でHoloLensに随時転送される。

 

参考文献

  1. Buxton, W.: Telepresence: integrating shared task and person spaces. Proceedings of Graphics Interface'92, 123-129, 1992.
  2. Fukuda, T., Zhu, Y., Yabuki, N.: Point Cloud Stream on Spatial Mixed Reality: Toward Telepresence in Architectural Field, Proceedings of the 36th eCAADe Conference, Vol.2, 737-744, 2018.

PDF: http://y-f-lab.jp/fukudablog/files/1907machinami_FukudaFinal.pdf

（一般社団法人 大阪府建築士事務所協会 「まちなみ」2019年7月号）