AliceVisionはオープンソースの3DReconstructionフレームワークです。 Houdiniのプラグインとしても提供されています。 このプラグインを入れることで Labs AV Photogrammetryノード が使用できるようになります。 まず、Meshroom2021.1.0をダウンロードします。houdini.env に以下を追加します。パスにスペースがないようにする必要があります。 システム環境変数に を追加します。再起動するとGeometryノードでLabs AV Photogrammetryが使用できるようになります。

なお、Meshroom2023.3.0に関してはHoudiniのLabsノードがまだ対応しておらずCameraInitのノードで以下でのエラーが出ますので、ご注意ください。(Houdini 20.5.550で確認)

まず、フィギュアを様々な角度から撮影した写真を19枚用意し、Labs AV Photogrammetryノードで作成したモデルが以下です。 それらしき形は出ましたが穴が空いている個所があまりに多く、枚数が少なくて精度が足りないと思われます。

92枚程用意したら全方向から見て穴がない精度が出ました。 この記事を参考にポリゴンを整理して(5%までリダクション)fbxで出してMayaで表示してみました。プレイブラスト動画も作成しました。

この記事で紹介されているTripoSRというAIモデルを使用してみます。 こちらのデモページから簡単に試すことができます。 作られたObjファイルをMayaで読み込んでみました。毛並みのもこもこが強調されすぎているようです。 MarchingCubesResolutionを320にあげてみたが、そこまでかわりませんでした。

この記事を参考にSubstanceSamplerでのフォトグラメトリーを試してみます。 起動して3D Captureを実行します。AliceVisionでも使用した写真を入力に使います。推奨撮影条件にはたくさんの項目はありましたがひとまずスルーします。 読み込みが終わったら右上の送信を実行します。 カメラの位置推定処理が終わり、共通特徴点のいくつかがポイントクラウドとして結像します。 目標範囲の項目から、実際にメッシュを生成する範囲を選択します。バウンディングボックスにギズモが表示されるので、範囲を決定します。 結果、おなかの下にメッシュが作られてしまいましたが、そこ以外はマテリアルを含めクオリティは高い印象です。 メッシュ設定をUSD / マテリアル設定をPNGにして書き出します。 あとはZBrushで余計なポリゴンを消します。usdのロードはZplugin → USD Format → Loadからできます。 独立した不要なメッシュはCtrl + Shift + Alt ドラッグで非表示にしてGeometry→Modify Topology→Del Hiddenで消していきます。 底面のポリゴンの穴が開いている部分はGeometry→Modify Topology→Close Holesで埋められます。 基本的に、残したい部分にマスクをかけて消したい部分を削っていきます。マスクを塗りつつMasking→SharpenMaskをかけて境界をはっきりさせます。 削りずらい箇所はDynaMeshに変換して、Crayブラシで不要な部分を削っていきます。 きれいに削れていませんが、この形状で改めてUSDで再出力します。 USDをMayaで読み込んだものがこちら。

背景をクロマキーにすることで、SubstanceSamplerの精度が上がるかもしれないと思い、 Photoshopでオブジェクト選択ツールで背景を削除して0,255,0の背景に差し替えたもので改めて試しました。 結果、前回より余計なメッシュは減ったのですが、モデルのマテリアルがクロマキー色を一部拾っている状態になってしまいました。 ZBrushでの編集は避けられず、編集してMayaに持ってきたものがこちらです。 ちなみにAliceVisionでもクロマキーにしたものを試してみましたが、こちらはメッシュの欠けがより大きくなっていてクオリティは落ちてしまいました。