3DモデリングにAI革命の兆し　1枚のイラストから3Dデータが完成 [e3WNeq★]

https://ascii.jp/elem/000/004/236/4236636/3/ 画像1枚から3Dモデル生成をしてくれる「Tripo 3D」といったサービスも性能向上は進んでいるのですが、まだまだ扱いやすいとまでは言えません。 　フォトリアルな小物などの一部のアイテム的に使うものでは使える水準に到達しつつありますが、まだまだアニメ系のキャラクターについては、正直イマイチの品質です。今回のキャラクターの画像を3D化してみたのですが、とても使い物にならないと思えました。 https://ascii.jp/img/2024/11/24/4123339/l/0388b337f793da04.png ただ、アーティストのマーティン・ネベロング（Martin Nebelong）さんが、Tripo 3Dのまだ粗い3Dであっても、画像生成AIと組み合わせて2D画像としてなじまして使うことはできるとの提案をしています。 　Photoshopと連携して使うことができるSubstance 3D Viewerを使い、Tripoで作成した3Dモデルの表示方向を決めて画像として持ち込んで処理する方法です。背景は「生成塗りつぶし」機能を使って作成して合成します。そして、「ComfyUI Photoshop Plugin」プラグインのImage-to-Image（i2i）を使うことで、画像を背景と組み合わせて自然なものにできるというわけです。 筆者も同じような環境が実現できるか試してみました。提案されているプラグインが的確に動かなかったので、一度画像として出力して、それを画像生成AIの環境として一般的な「Web UI Forge」のStable Diffusion XLに読み込み、i2iで画像を生成しました。3Dモデルをヒントとして、最初のイメージに近いキャラクターを別の角度からの姿としてうまく生成できています。2Dとして使う前提であれば、現在の3Dモデルの品質でも十分に使える可能性があるのです。また、さらにRunwayを使うことで、一貫性のある動画の素材としても使えることも確認しました。 https://ascii.jp/img/2024/11/24/4123341/l/b76b58e2cb64ff64.png https://m.youtube.com/watch?v=Td_gD4WidwI

パーツ分けとかしたら精度よくなるかな？🙄

いつも思うけどText embとかデノイズする潜在変数を構造化して学習とかしないんかな