inclusionAI/Ming

해결하는 문제

Ming-flash-omni 2.0는 다중 모달 이해와 합성을 통합하는 오픈소스 오미니멀티모달 대규모 언어 모델(omni-MLLM)입니다. 분산된 AI 시스템의 한계를 해결하기 위해 텍스트, 이미지, 오디오, 비디오의 인식과 생성 기능을 하나의 프레임워크 내에 통합하여, 복잡한 다중 모달 작업에서 최첨단 성능을 달성합니다.

작동 방식

이 모델은 총 1000억 파라미터, 활성 파라미터 60억의 Mixture-of-Experts(MoE) 프레임워크를 사용하는 Ling-2.0 아키텍처를 채택했습니다. 네이티브 다중 작업 아키텍처를 통해 전용 파이프라인으로 다양한 모달리티를 처리합니다:

• 시각 인지: 고해상도 시각 캡처와 지식 그래프를 결합하여 "시각에서 지식"으로의 합성 구현.
• 음성 합성: 연속 자기회귀와 Diffusion Transformer(DiT) 헤드를 통합한 종단간 파이프라인을 통해 음성, 오디오, 음악을 통합. 제로샷 음성 클로닝 및 감정 제어 가능.
• 이미지 생성: 세그멘테이션, 생성, 편집을 통합하여 시공간적 의미 분리와 고다이나믹 콘텐츠 생성을 가능하게 함.

대상 사용자

비디오 대화 스트리밍, 제어 가능한 오디오 생성, 고도의 이미지 조작이 가능한 고성능 오픈소스 다중 모달 모델을 찾는 개발자 및 연구자.

주요 특징

• 오미니 모달 기능: 이미지, 텍스트, 비디오, 오디오 입력을 지원하며, 텍스트, 이미지, 오디오 출력 가능.
• 전문 수준의 인지 능력: 식물, 동물, 문화 유산의 정확한 식별.
• 몰입형 오디오: 제로샷 음성 클로닝 및 감정과 톤에 대한 세밀한 제어 가능.
• 고급 이미지 편집: 자연스러운 장면 구성과 문맥 기반 객체 제거를 네이티브로 지원.