jd-opensource/JoyAI-Image

JoyAI-Image is the unified multimodal foundation model for image understanding, text-to-image generation, and instruction-guided image editing.

What it solves

JoyAI-Image は、画像理解と生成の間にあるギャップを埋め、単一のフレームワーク内で画像を認識・生成・編集できる統合モデルを提供します。特に「空間インテリジェンス」に焦点を当て、標準的な画像モデルでは難しい複雑な空間推論、精密なオブジェクト操作、視点変更を可能にします。

How it works

本プロジェクトは、理解用の 8B マルチモーダル大規模言語モデル（MLLM）と、生成用の 16B マルチモーダル拡散トランスフォーマー（MMDiT）を組み合わせたハイブリッドアーキテクチャを採用しています。これら二つのコンポーネントはクローズドループで協働し、MLLM がシーン解析と関係性のグラウンディングを提供して生成を導き、生成側（視点変更など）の結果が新たな視覚情報として MLLM の空間関係推論をより正確にします。

Who it’s for

このツールは、マルチモーダル AI の研究者や開発者向けに設計されており、特に高忠実度の画像編集、3D を意識した画像合成、あるいは 3D 再構築や動画生成といったタスクで高度な空間推論が必要な方に適しています。

Highlights

  • Unified Framework: 画像理解、テキストから画像への生成、指示に基づく編集をすべて単一モデルファミリーで実現。
  • Spatial Intelligence: オブジェクトを特定領域へ移動、オブジェクトを標準ビューへ回転、カメラのヨー・ピッチ・ズームを制御するなど、精密な空間編集パターンをサポート。
  • Advanced Typography: 複雑なテキスト描画に最適化され、複数行テキスト、多言語タイポグラフィ、手書きスタイルに対応。
  • Multi-Image Editing: 「Plus」バージョンは画像間の合成や複数画像の共同操作をサポート。
  • Integration: Hugging Face Diffusers ライブラリと ComfyUI に対応。