Klad: AIエージェントとのコラボレーションのためのペイント・アニメーションアプリ
Kladの理解:エージェント主導の芸術性
Kladは、人間とエージェントのコラボレーションのために設計された2Dペイントおよびアニメーションアプリケーションであり、AIエージェントがコマンドラインインターフェースを介してキャンバスと対話します。静的なピクセルを出力する従来の生成AIモデルとは異なり、Kladはすべてのブラシストローク、塗りつぶし、形状を編集可能なデータとして扱います。これにより、ユーザーは描画された要素を作成後も修正、再配色、またはアニメーション化することができ、ピクセルベースの画像生成ツールでは不可能なレベルの制御を実現します。
仕組み:エージェントと人間のワークフロー
Kladは、コマンドラインインターフェースを通じて、コーディングエージェント(Claude CodeやCodexなど)に内部ツールを公開することで機能します。ワークフローは通常、以下のステップに従います。
- プロンプト: ユーザーは、特定のキャラクターやシーンの要素を求めるなど、自然言語でエージェントにリクエストを出します。
- 実行: エージェントは
kladコマンドを使用してストロークごとに描画を行い、それがほぼリアルタイムでエディタに表示されます。 - コラボレーション: ユーザーはキャンバスにメモをピン留めしたり、エージェントが作成したストロークや形状を手動で選択して編集したりできます。
- 洗練: 描画は一連の操作(JSON)として保存されるため、ユーザーは画像全体を再生成することなく、口を曲げる、チークをブレンドする、アニメーションのタイミングを調整するなど、正確な修正を行うことができます。
生成モデルとの違い
Kladは、拡散モデルに固有の「再生成(reroll)」問題を回避します。出力はベクトル、パス、筆圧感知ストロークの集合であるため、描画は構造化されたドキュメントとして保持されます。ユーザーは初期出力に制限されることはなく、エージェントの作業をさらなる手動修正の出発点として扱うことができます。これは、一貫性、リギング、スプライトシート生成が求められるゲーム開発において特に有用です。
主な機能は以下の通りです:
- フルペイントスイート: 筆圧感知対応のブラシ、レイヤー、マスク、クリッピング。
- アニメーションツール: オニオンスキン、キーフレームサポート、リギング用のインバースキネマティクス(IK)を備えたタイムライン。
- ゲーム向けエクスポート: PNG、スプライトシート、またはGodot互換フォーマットへの直接エクスポート機能。
- Gitフレンドリー: 描画はプレーンファイルのフォルダとして保存されるため、バージョン管理が容易です。
コミュニティの洞察とユースケース
初期のユーザーは、Kladがコンセプト作成から最終アセット作成までのギャップを埋める可能性を強調しています。ユーザーはキャラクターの歩行サイクルの作成といった複雑なタスクを試しており、パレット制御と正確なリギングを維持できる能力は、従来のリペイント(in-painting)技術よりも大きな利点であると指摘しています。
あるユーザーは、AI主導のグラフィックスに対する視点の変化について次のように述べています:
"まだ初期段階であり、LLM主導のグラフィックスは今後さらに向上する一方だと思います。リギングを備えたプロシージャルシステムには明らかな利点があります。一貫性の維持、パレット制御、そして従来の面倒なリペイント作業を一切行うことなく正確な変更を加えられる能力は非常に優れています。" — @handle
別のユーザーは、趣味のゲーム開発における有用性を強調しました:
"映画クリップのプリプロダクションアセットと、生成ボタンを押す瞬間の間を埋めるツールを探すか、自分で作ろうと考えていました。私はそれを、生成ボタンを押した結果を安価に低解像度で確認できるフリップブックのようなものとして構想していました。" — @handle
技術的ステータスと可用性
Kladは現在、ソース公開された初期段階にあります。Rustで構築されており、ユーザーはソースからコンパイルする必要があります。現在はmacOSで最高の体験を提供しますが、LinuxとWindowsもサポートしています。ただし、ペン圧などのプラットフォーム固有の機能は現在開発中です。このプロジェクトはPolyForm Internal Use License 1.0.0の下でライセンスされており、個人プロジェクトや小規模企業での無料利用が可能ですが、大規模な商用企業には有料ライセンスが必要です。