modelscope/FunASR

FunASR — 산업용 음성 인식 툴킷

FunASR은 음성 인식 시스템을 구축하기 위한 포괄적인 오픈 소스 툴킷입니다. 실제 프로덕션 환경을 위해 설계되었으며 오프라인(배치) 전사, 실시간 스트리밍 및 에지 장치 배포를 지원합니다. 단순한 음성-텍스트 변환을 넘어 음성 활동 감지(VAD), 구두점, 화자 식별, 감정 인식 및 오디오 이벤트 감지까지 처리합니다.

기능

핵심 기능은 오디오를 텍스트로 변환하는 것이지만, 모듈식으로 설계되어 필요에 따라 다양한 구성 요소(모델)를 결합하여 파이프라인을 구축할 수 있습니다. 예를 들어, VAD 모델을 추가하여 음성 구간을 감지하고, 화자 임베딩 모델로 누가 말하는지 식별하며, 구두점 모델로 출력의 가독성을 높일 수 있습니다.

주요 기능

• 다양한 음성 작업: ASR(음성-텍스트 변환), VAD(음성 감지), 구두점, 화자 분리(누가 언제 말했는지), 감정 인식 및 오디오 이벤트 태깅.
• 스트리밍 지원: 오디오를 실시간 청크로 처리하여 라이브 자막이나 음성 비서에 유용합니다.
• 에지 배포: CPU 또는 GPU에서 모델을 실행하며, Python 없이 단일 바이너리로 작동하는 경량 llama.cpp/GGUF 경로를 포함합니다.
• OpenAI 호환 서버: LangChain, Dify, AutoGen 등의 도구와 작동하는 REST API를 제공합니다.
• CLI 도구: 빠른 전사, 자막 생성 및 배치 처리를 위한 간단한 명령줄 인터페이스.

포함된 모델

FunASR은 여러 사전 학습된 체크포인트를 갖춘 모델 Zoo를 제공합니다.

• Fun-ASR-Nano (800M 파라미터): 중국어, 영어, 일본어 및 중국어 방언을 위한 빠르고 정확한 ASR.
• Fun-ASR-MLT-Nano (800M): 31개 언어를 지원하는 다국어 버전.
• SenseVoiceSmall (234M): 중국어, 영어, 일본어, 한국어, 광둥어를 위한 ASR 및 감정/오디오 이벤트 태그.
• Paraformer-zh: 타임스탬프가 포함된 ASR 및 스트리밍 변형.
• Qwen3-ASR 및 GLM-ASR-Nano: 더 큰 다국어 모델.
• Whisper 모델: 비교 또는 마이그레이션용.
• 지원 구성 요소: ct-punc(구두점), fsmn-vad(음성 활동 감지), cam++(화자 임베딩), emotion2vec(감정 인식).

사용 방법

FunASR은 세 가지 주요 방식으로 사용할 수 있습니다.

1. Python API — AutoModel로 모델을 로드하고 몇 줄의 코드로 전사를 생성합니다.
2. 명령줄 — funasr audio.wav를 실행하여 텍스트를 얻거나, 플래그를 사용하여 JSON, SRT, 화자 분리 등을 수행합니다.
3. 서버 — funasr-server로 로컬 HTTP 서비스를 시작하고 curl 또는 모든 HTTP 클라이언트를 통해 오디오를 전송합니다.

배포 옵션

• GPU: CUDA를 사용하여 더 빠른 추론.
• CPU: 많은 사용 사례에서 문제없이 작동.
• 에지: llama.cpp/GGUF를 사용하는 사전 빌드된 바이너리는 Linux, Windows, macOS에서 Python 없이 실행되어 임베디드 장치에 이상적입니다.
• Docker: 스트리밍 서비스를 위한 즉시 사용 가능한 컨테이너.

왜 중요한가

FunASR은 개발자에게 유연성을 제공하는 실용적인 프로덕션급 툴킷입니다. 언어와 하드웨어에 맞는 모델을 선택하고, 필요에 따라 구성 요소를 결합하여 클라우드 서버부터 에지 장치까지 어디에나 배포할 수 있습니다. 특히 중국어 애플리케이션의 경우 클라우드 ASR 서비스의 강력한 대안이며, Alibaba의 ModelScope 팀이 적극적으로 유지 관리하고 있습니다.

시작하기

pip install funasr

그런 다음 퀵스타트 노트북이나 CLI를 시도해 보세요. README에는 전사, 스트리밍, 화자 분리 및 서버 배포에 대한 자세한 예제가 포함되어 있습니다.

참고: 모델 라이선스는 툴킷의 MIT 라이선스와 별개이므로 상업적 사용 전 각 모델 페이지를 확인하십시오.