RealityScan - 我々が作りたかった最強のフォトグラメトリワークフローまであと少し
いきなり出た。
スマホ版のRealityCapture。
中身がRealityCaptureなので、街中で流行ってるObjectCaptureベースのフォトグラメトリアプリと一線を画す。
iPhoneのフォトグラメトリapp及びmacOSのAPI「ObjectCapture」は実務に使えるか - Photogrammetryでなんかやってる人
本記事は公開一日目のRealityScan(Beta)をざっくりレビューし、自分がCapturingReality社に出すかもしれない要望を整理したい。
（当たり前の機能説明は省略、例えば普通のアライメント、メッシュやテクスチャ生成。）
RealityScan
主な（良い？）機能：
ARKitベースの自己位置推定（恐らく）
Realtime Photogrammetry Alignment
それをもとにARKitベースの自己位置推定の結果を更新（したのを観測した）
Alignment結果を評価し、結果のTiePointsを色分けして画面に表示
ARKit入ってるのである程度正確なスケールを持ったモデルを生成
ObjectCaptureをベースとしたスキャンアプリも多分どれかARKitベースの自己位置推定をやってると思うけど、しかし撮った写真が実際にフォトグラメトリのAlignmentできてるかどうかを確認する術がない。ObjectCaptureのInput<>Outputは画像<>モデルだけの完全ブラックボックスだから。
一方、RealityScanはAlignmentが成功したかどうかを可視化し、さらにAlignmentのクオリティもリアルタイムに見せてくれる。
グリーン→オレンジ→レッドでAlignmentのクオリティーを色分け。
０：１５あたりから
FAQ about RealityScan application
まだBeta版 （2022.0416）
RealityScanは基本クラウド処理で、且つ今はBetaテストの段階だからか、撮った写真を５０％にリサイズして処理してるようにと思われる。 動画から写真を取り出してフォトグラメトリをする機能しか実装されていない。解像度は2Mpx程度。（メッシュのクオリティも想定より低くかった。）
正式にリリースされるときには写真とフォトグラメトリのリアルタイムアライメントだけのもう一つハイクオリティの撮影フローが実装されるのだろうと考えられる。ARkitを簡略化したバージョン。
また、アライメントやメッシュ再構築設定など、コントロールできる要素がまだ少なく、スマホのカメラもマニュアル設定できないので、実際に現場で使うのはやはり躊躇う。（今は使わない）
我々が作りたかった最強のフォトグラメトリワークフロー
ARKitベースの自己位置推定
リアルタイムフォトグラメトリアライメント
をデジカメにつけてくれ....
ARKitとフォトグラメトリ
ARとフォトグラメトリ組み合わせる自由研究 #AR4PGM pic.twitter.com/pLMwlKhCQR
— yuma.jp (@yyouzhen) 2021年9月5日
Realtime Photogrammetry Alignment
つづく。
