360°カメラQooCam 8K Enterpriseを使った誰でも簡単にNeRF（ナーフ）できる撮影方法テクニックを紹介します。360°カメラとNeRFを使うことで、簡単に360°方向の映像がある3Dが簡単に出来上がります。

なんと！たった1分の撮影でこのような「NeRF（ナーフ）」が完成しました。もっと細かく調整することで、さらに良い結果が得られるかもしれません。NeRFに興味があれば、必要な機材一式をレンタルできます。

KANDAO QooCam 8K Enterprise レンタルはこちら
https://digitalhobby360.jp/rental/qoocam-8k-enterprise-rental/

露出対象物合わせ

露出外合わせ

QooCam 8K Enterpriseの基本的な使い方
https://digitalhobby360.jp/2021/qoocam-8k-enterprise-how-to-use/

NeRFは難しい？

NeRFは確かに難しいのですが、NeRF処理をしてくれるLuma AIというWebサービスを使えばとても簡単です。

NeRFの有名なブログラムとして、NVIDIA Instant NeRFがあります。NVIDIA Instant NeRFについては以下を参照ください。エンジニアの方は1年ぐらい前（2022年）にNVIDIA Instant NeRFの環境を構築して試した方も多いと思います。

NVIDIA Instant NeRFについて
https://blogs.nvidia.co.jp/2022/04/07/instant-nerf-research-3d-ai/
https://github.com/NVlabs/instant-ngp
https://developer.nvidia.com/blog/getting-started-with-nvidia-instant-nerfs/

WindowsにてハイエンドなNVIDIA GPUを用意してVisual Studio 2019、C++、CMake、CUDA Toolkit、Python etc etc、とパスを通したりコンパイルして、コマンドを実行することでNeRFができます。

これらは、非エンジニアにはとても敷居が高く、ハイエンドなNVIDIA GPUを用意する必要もあります。またコマンドを実行できても調整やそのあとの処理に悩むことになります。

そこで、悩みが無くNeRFの処理をしてくれるLuma AIというWebサービスがあります。このサービスを利用することで、パスやコンパイルやコマンドなど一切不要で、ただ映像を投げ込むだけでNeRFができます。WebサービスGPUも不要です。APIなども公開されているので、自社事業やサービスに組み込むこともできるでしょう。

Luma AI
https://lumalabs.ai/
※App Storeでアプリを入れれば、スマホからNeRFできますが今回は360°カメラを使う関係から、スマホでの利用方法については説明しません。

撮影データをアップするので、PRIVACY POLICYはしっかり読んでサービスを利用しましょう。

Luma AI PRIVACY POLICY
https://lumalabs.ai/legal/privacy

Luma AIへ登録を行い撮影データがあればNeRFする準備は完了です。次は360°カメラQooCam 8K Enterpriseを使ったNeRF向けの撮影テクニックを紹介します。

NeRF撮影の基本的な概念

NeRF撮影の基本的な概念がこちらです。分かりやすく撮影の基本概念をまとめます。

Luma AI Capturing Best Practices
https://docs.lumalabs.ai/MCrGAEukR4orR9

①映像がブレないように撮ること
②パンやチルトで広範囲を撮影するのではなく、移動して広範囲を撮影すること
③いろんな角度から撮影すること
④対象物が常に動いているものは撮れないこと
⑤補正やHDRなどのカメラ補正処理は使わないこと

フォトグラメトリの概念と同じで、複数の画像の視差を利用して計算します。そのため妙な補正や、映像がブレていると分析が上手くゆきません。また視差を利用する関係から、カメラがその場に止まるパンやチルトで広く撮影する方法は適切ではありません。Luma AI独自の制限としては、4Kを超える画像は上手く処理できないとも書いてあります。

Luma AI向けの設定として、4Kを超える画像は上手く処理できないという記述もあったことから、4K120fpsモードにしました。120fpsモードは強制的に120fps以上になりますので手振れを防ぐことにも役立ちます。

タッチ画面を下から上へスワイプで解像度などを変更できます。そこで4K120fpsモードを選択します。露出やホワイトバランスなどは適宜設定してください。以上でカメラ設定完了です。

フォトグラメトリ撮影の基本的なテクニック

フォトグラメトリ撮影の基本的なテクニックも加えてみました。有効なはずです。

①はじめは遠くから対象物まわりの全体をとらえる
②カメラの高さを3段階ぐらいに変える（例えば、2.5m、1.5ｍ、1m）
③重要な対象物は、レンズの端っこに映らないようにカメラを向ける
④高さの始まりと終わりは同じ位置に戻る

理由を説明すると、まず全体をとらえることで、その後の寄ったカットの分析が繋がりやすくできます。カメラの高さを変えることで視差がある映像を均等に撮影できます。360カメラのレンズの端は性能が悪くステッチ合成面にもなるため避けるようにします。同じ高さの始まりと終わりが同じ地点にすることで分析をしやすくします。※Luma AIの場合は①や④は不要かもしれません。

実際にQooCam 8K Enterpriseで撮影

手ごろな銅像でQooCam 8K Enterpriseで実際に撮影テストします。

まずは少し遠くから対象物の周りをぐるりと1周します。そして近寄って2.5mで一周、1.5ｍで一周、1mで一周します。細部を表現したいところはカメラで寄ってもよいでしょう。

カメラの動きはこんな感じです。

撮影後にはQooCam Studio 2.0でステッチ処理をします。Stabilizetionは無しにしました。揺れは多分関係ないからです。※Stabilizetionは有りのほうが良い処理になる可能性もあります。

QooCam Studio 2.0でステッチ処理したデータはこんな感じです。

ステッチされたデータをLuma AIにアップします。equirectangularを選択してRemove Humansにチェックを入れるとよいでしょう。これだけです。

しばらく待つと完成です。NeRF（ナーフ）は、3Dとして利用できるのでこんな映像の演出もできます。

以上1分の撮影でNeRFが作れました。もっと細かく調整することで、さらに良い結果が得られるかもしれません。NeRFに興味があれば、必要な機材一式をレンタルできます。

KANDAO QooCam 8K Enterprise レンタルはこちら
https://digitalhobby360.jp/rental/qoocam-8k-enterprise-rental/

QooCam 8K Enterpriseの基本的な使い方
https://digitalhobby360.jp/2021/qoocam-8k-enterprise-how-to-use/