lightningpixel/modly

Modly – AI駆動の画像から3Dメッシュへのデスクトップアプリ

何であるか – Modlyはクロスプラットフォームのデスクトップアプリ（Windows、Linux、Apple-Silicon macOS）であり、単一の写真を3Dメッシュに変換できます。すべての処理は、オープンソースのAIモデルを使用してGPU上でローカルで実行されるため、クラウドサービスは必要ありません。

動作方法 – UIはElectron/Node.jsで構築され、Pythonバックエンド（FastAPI）と通信します。バックエンドは選択された拡散ベースの3D生成モデル（例：Hunyuan3D、TripoSG、Trellis2）を読み込み、提供された画像に対して推論を実行します。生成されたメッシュは、検査、平滑化、簡略化が可能で、GLB/OBJファイルとして保存できます。

主な機能

• ローカルGPU推論 – NVIDIA、AMD（ROCm経由）およびApple-Silicon GPUをサポート。
• 拡張システム – モデルと処理ステップは 拡張（manifest.jsonを含むGitHubリポジトリ）としてパッケージ化されます。複数の最先端3Dジェネレータ用の公式拡張がリストアップされており、ユーザーは独自のものを追加できます。
• マルチソースモデルウェイト – 拡張は複数のHugging Faceリポジトリからモデルの一部を取得でき、ダウンロード前に整合性チェックが行われます。
• 共有ウェイトグループとバリエーション – 拡張は複数のノード間で共通ファイルを共有でき、量子化されたバリエーション（例：Q4_K_M、Q5_K_M）をサイズ/VRAMヒントとともに公開できます。
• ワークフローエディタ – ドラッグアンドドロップ式のグラフで、画像 → メッシュ生成 → シーンに追加などのノードを接続できます。
• CLIエージェント – 純粋なPythonコマンドラインツール（tools/modly-cli/agent.py）でアプリをプログラム的に制御できます（ヘルスチェック、モデル一覧表示、生成実行、実行状態の照会など）。
• リアルタイムRAMインジケータ – トップバーに現在のメモリ使用量を表示。
• アプリ内メッシュ後処理 – 平滑化と簡略化が組み込み済み。

導入手順

1. リポジトリをクローンまたはダウンロード（またはリリースページからインストーラーを使用）。
2. JavaScript依存関係をインストール：npm install。
3. Pythonバックエンドのセットアップ：

   cd api
   python -m venv .venv
   source .venv/bin/activate   # Windowsでは .venv\Scripts\activate
   pip install -r requirements.txt
   

4. 開発版を実行：npm run dev（または launch.bat / launch.sh でパッケージ化されたアプリを起動）。

プラットフォームに関する注意点

• AMD GPU – 自動検出；ROCm対応のPyTorchウェアは別途ROCmのインストールなしで使用。
• macOS – Apple-Siliconのみサポート；アプリはネイティブウィンドウ制御を使用。
• パッケージング – macOS Apple-Siliconビルドは npm run package:mac で作成可能。

Modlyの拡張

• manifest.json と必要なエントリファイル（モデルノード、プロセスノードなど）を含むGitHubリポジトリを作成。
• UIからインストール：モデル → GitHubからインストール → リポジトリURLを貼り付け。
• 拡張は次を宣言できます：
  • model_sources：Hugging Faceからウェイトをダウンロード。
  • weight_groups：複数のノード間でファイルを共有。
  • weight_variants：量子化または精度バリエーションを公開し、サイズ/VRAMメタデータをオプションで指定。

CLI使用例

# アプリが動作しているか確認
python tools/modly-cli/agent.py health

# 利用可能なモデル一覧表示
python tools/modly-cli/agent.py model list

# 画像からメッシュを生成
python tools/modly-cli/agent.py generate --image ./cat.png --output ./cat.glb

CLIは実行ID、ステータス、エラーメッセージを含む機械可読JSONを出力するため、自動化スクリプトやエージェントに適しています。

コミュニティとサポート – お知らせ、バグ報告、ユーザーのフィードバックのためのDiscordサーバーが提供されています。

ライセンス – MIT。フォークはライセンス要件により、オリジナルのModlyプロジェクトへの帰属を保持しなければなりません。

---

上記のすべての詳細は、リポジトリのREADMEから直接抜粋されています。