QwenLM/Qwen-MM-Plugins

해결하는 문제

이 플러그인은 AI 에이전트가 이미지, 동영상, 오디오, 3D 모델, CAD 파일과 같은 다양한 미디어 형식을 별도의 API나 기본 쉘 명령어에 의존하지 않고 직접 처리할 수 있도록 해주는 네이티브 멀티모달 플러그인 세트를 제공합니다.

작동 방식

기능은 "스킬" 및 선택적 MCP(Model Context Protocol) 서버로 설치됩니다. 이 플러그인들은 Claude Code나 Qwen Code와 같은 에이전트 허브와 통합되어, 기반 모델이 로컬 파일을 읽거나 OCR 및 음성 인식에 특화된 모델 서비스를 호출하거나, Blender 및 FreeCAD와 같은 외부 소프트웨어를 제어할 수 있는 능력을 부여합니다.

대상 사용자

Qwen 모델에 멀티모달 기능을 추가하고자 하는 개발자, 또는 동영상 분석, 문서 시각화, 3D 모델링과 같은 복잡한 미디어 작업을 수행할 수 있도록 하고자 하는 에이전트 허브 사용자.

주요 특징

• 핵심 미디어 처리: 이미지, 동영상 프레임, 문서의 네이티브 로딩을 지원하며, 자르기 및 경계 상자 주석 기능도 제공.
• 전문 도구: Blender(모델링/렌더링) 및 FreeCAD(파라메트릭 CAD)와 같은 3D 소프트웨어에 직접 제어 가능.
• 고급 동영상 메모리: 긴 동영상에 대해 계층적 메모리를 제공하여 전체 파일을 다시 시청하지 않고도 질의 가능.
• 통합 기능: 오디오-비주얼 메모리와 함께 튜토리얼 동영상을 일러스트 포함 PDF로 변환할 수 있음.
• 광범위한 통합: 여러 에이전트 허브를 지원하며, 필요 시 uv를 사용해 파이썬 종속성 관리가 가능.