dreamers-laboratory/image-to-3d-pipeline

Reconstruct 3D meshes from images with several open-source models and score which did it best.

何を解決するか

複数のオープンソースの画像から3D再構成モデルを比較するための標準化されたパイプラインを提供します。利用可能なモデルの中には明確な優勝者がいないため、このプロジェクトでは同じ入力画像に対して複数のモデルを実行し、一貫した検査プロトコルで出力を評価できるようにします。

動作方法

このパイプラインは4段階のプロセスに従います：

  1. 前処理：元のレンダリングから透明なオブジェクトのみのマスクを作成します。
  2. 再構成：TRELLIS、TripoSR、stable-fast-3d、Hunyuan3D-2などのさまざまなサードパーティモデルを使用して3Dメッシュを生成します。
  3. 評価：固定されたBlenderオービットで各メッシュをレンダリングし、視覚的なスコアリング用のコンタクトシートを作成します。
  4. 探索：最終的に選択されたメッシュをWebGLベースのブラウザエクスプローラーに読み込んで、インタラクティブに閲覧できます。

対象ユーザー

特定のアセットに最適なAIモデルを特定するために、異なるAIモデルの品質を客観的に比較したい開発者や研究者向けです。

特徴

  • 比較フレームワーク：複数の最先端の再構成ツールを1つのワークフローに統合しています。
  • 標準化された評価：公平なモデル間比較を保証する固定されたBlender検査プロトコルを使用しています。
  • WebGL統合：再構成された3Dオブジェクトをナビゲートするブラウザベースのエクスプローラーを含んでいます。
  • マルチビュー対応：複数の視点のオブジェクト画像のシートから開始することで、マルチビュー推論を処理できます。

関連

  • プロジェクト
    ling-kong-ran/pisper

    Pisper is a cross‑platform multi‑agent chat and workflow tool that lets you branch, parallelize, and automate LLM conversations. Built on the open‑source Pi Coding Agent, it offers desktop, terminal, and mobile clients, on‑demand plugins, secure local‑only data storage, and optional LAN/P2P remote linking.

  • プロジェクト
    horang-labs/tessera

    Tessera is a local desktop/web app that lets you run multiple Claude Code, Codex, or OpenCode AI coding agents in parallel, each in its own isolated Git worktree. It provides a Kanban board, split‑pane UI, chat view for terminals, full Git integration, and mobile remote access, all while using the provider CLIs already installed on your machine.

  • プロジェクト
    eeeXun/gtt

    gtt はGoで作られたターミナルUIで、Google、DeepL、Bing、Apertium、LibreTranslate、Reverso、ChatGPTなど、多数のオンライン翻訳サービスを使ってテキストを翻訳できます。APIキーの設定、カスタムキーバインド、カラーテーマ、クリップボード連携、テキスト読み上げをサポートしており、バイナリ、パッケージマネージャ、Docker、またはソースからのビルドでインストール可能です。

  • プロジェクト
    volcengine/rtc-aigc-demo

    A demo project showcasing an interactive AIGC pipeline that integrates RTC, ASR, LLM, and TTS for real-time voice-based AI interactions.