jd-opensource/JoyAI-Image

解決する課題

JoyAI-Imageは、画像理解と画像生成の間のギャップを埋えるものです。空間的なレイアウトと画像の内容を理解するだけでなく、正確な指示に基づいて新しい画像を生成したり、既存の画像を編集したりできる統一フレームワークを提供し、変更がシーンの構造と視覚的な一貫性を維持するようにします。

仕組み

このプロジェクトは、理解のための8B Multimodal Large Language Model (MLLM)と、生成のための16B Multimodal Diffusion Transformer (MMDiT)を組み合わせています。これにより、空間理解がグラウンディングされた生成と編集に反映され、生成能力（視点の変更など）がモデルの空間推論を向上させるための新しい視覚的証拠を提供するという「クローズドループのコラボレーション」が実現します。

対象者

このツールは、マルチモーダルAIの研究者や開発者、特に高精度な画像編集、正確な空間操作、および画像内での高度なテキストレンダリングを必要とする方を対象としています。

ハイライト

• 統一された基盤: 理解、テキストから画像への生成、および指示に基づく編集を処理する単一のモデルファミリー。
• 空間知能: 精密なオブジェクトの移動、特定の視点へのオブジェクトの回転、およびカメラ制御（yaw、pitch、zoom）をサポート。
• 高度なテキストレンダリング: 長文テキスト、多言語タイポグラフィ、およびコミックのような複雑なレイアウトのレンダリングにおいて高いパフォーマンスを発揮。
• マルチ画像編集: 「Plus」バージョンは、画像間での合成および複数の画像にわたる共同操作をサポート。
• 設定サポート: DiffusersおよびComfyUIとのネイティブな統合。