QwenLM/Qwen-MM-Plugins

何を解決するか

AIエージェントが画像、動画、音声、3Dモデル、CADファイルなど、さまざまなメディア形式を直接処理できるようにする、ネイティブなマルチモーダルプラグインのセットを提供します。これにより、別々のAPIや基本的なシェルコマンドに依存する必要がなくなります。

仕組み

機能は「スキル」として、およびオプションのMCP（Model Context Protocol）サーバーとしてインストールされます。これらのプラグインは、Claude CodeやQwen Codeなどのエージェントハーネスと統合され、下位モデルがローカルファイルを読み取ったり、OCRや音声認識に特化したモデルサービスを呼び出したり、BlenderやFreeCADなどの外部ソフトウェアを制御したりする能力を備えます。

対象ユーザー

Qwenモデルにマルチモーダル機能を追加したいAIエージェント開発者、および動画分析、ドキュメントのビジュアライゼーション、3Dモデリングなどの複雑なメディアタスクを処理できるようにしたいエージェントハーネスのユーザー。

主な特徴

• コアメディア処理: 画像、動画フレーム、ドキュメントのネイティブ読み込みをサポート。クロッピングやバウンディングボックスの注釈も可能。
• 専用ツール: Blender（モデリング/レンダリング）やFreeCAD（パラメトリックCAD）など、3Dソフトウェアへの直接制御。
• 高度な動画メモリ: 長時間の動画に対して階層的メモリを提供し、ファイル全体を再視聴せずにクエリ可能。
• 包括的機能: 音声・視覚メモリを備え、チュートリアル動画を図解付きPDFに変換可能。
• 広範な統合: 複数のエージェントハーネスをサポート。Python依存関係管理にはuvをオンデマンドで利用。