visualbruno/ComfyUI-Trellis2

何を解決するか

このプロジェクトは、TRELLIS.2用のComfyUIラッパーを提供し、ユーザーが2D画像から3Dアセットを生成するプロセスをノードベースの視覚的ワークフローに統合できるようにします。3Dメッシュの作成、テクスチャの適用、およびさまざまな専用ノードを使用したメッシュの最適化を簡素化します。

動作方法

TRELLIS.2フレームワークが画像を3Dオブジェクトに変換するために必要な一連のステップを実装しています。ラッパーは以下のノードのセットを提供します：

• 生成: 単一の画像からマルチビュー画像またはボクセルを生成（例：Sparse、ImageCond、Shape Cascadeジェネレーターを使用）。
• メッシュ作成: ボクセルをメッシュに変換し、さまざまなアルゴリズム（例：Voxel to Mesh、Trellis2ReconstructMesh）でメッシュを再構築。
• メッシュ最適化: PyMeshlabやMeshlibなどのライブラリを使用して、平滑化、頂点の溶接、メッシュの簡略化、穴の埋め合わせなどのジオメトリのクリーニング。
• テクスチャ適用: マルチビュー画像に基づいて3Dモデルにテクスチャを適用。

対象ユーザー

ComfyUIを使用し、TRELLIS.2アーキテクチャを使って2D画像から3Dアセットを生成したいアーティスト、3Dデザイナー、AI研究者。

特徴

• 包括的なメッシュツールセット: 平滑化、簡略化、水密メッシュ作成（Voxel to Mesh）用のノードを含む。
• LMDサポート: Pixal3D-TやDINOv3特徴抽出器など、さまざまなモデルをサポート。
• 柔軟な生成: Sparse、ImageCond、Shapeなどの複数のジェネレータタイプで、異なる3D再構成ニーズに対応。
• マルチビューレンダリング: Nvdiffrastを介した統合レンダリング機能。
• 高度なポストプロセッシング: 穴の埋め合わせ、頂点の溶接、メッシュ簡略化用の専用ノード。