modelscope: 다양한 AI 모델의 원활한 추론 및 미세 조정을 위한 통합 Model-as-a-Service 프레임워크

해결하는 문제

ModelScope는 최첨단 머신러닝 모델을 발견하고, 배포하며, 미세 조정하는 과정의 복잡성을 해결합니다. 다양한 도메인에 걸쳐 수백 개의 모델에 접근할 수 있는 통합 인터페이스를 제공하여, 실제 애플리케이션에서 AI 기능을 구현하는 데 필요한 코드 양을 줄여줍니다.

작동 방식

ModelScope는 "Model-as-a-Service" (MaaS) 개념을 기반으로 작동합니다. 다양한 분야의 모델을 사용하는 경험을 통일하는 API 추상화가 포함된 핵심 라이브러리를 제공합니다. 원활한 엔티티 조회, 버전 관리 및 캐시 관리를 위해 Model-Hub 및 Dataset-Hub와 통합됩니다. 개발자는 빠른 추론을 위해 pipeline을, 미세 조정 및 평가를 위해 Trainer를 사용할 수 있습니다.

대상 사용자

방대한 보일러플레이트 코드를 작성하지 않고도 CV, NLP, Speech, Multi-Modality, 그리고 Scientific-computation 분야의 사전 학습된 모델을 빠르게 탐색하고 배포하고자 하는 AI 개발자, 연구자 및 학생들입니다.

주요 특징

• 통합 API: pipeline 인터페이스를 사용하면 단 3줄의 코드로 추론을 구현할 수 있습니다.

• Model Hub: LLMs (Qwen 및 DeepSeek와 같은), 멀티모달 모델, 그리고 과학을 위한 특화된 AI 모델을 포함하여 700개 이상의 모델에 접근할 수 있습니다.

• 종합적인 도구 세트: 모델 학습, 추론, 내보내기 및 배포를 지원하여 MLOps 파이프라인 구축을 용이하게 합니다.

• 분산 학습: 대규모 모델을 위한 데이터 병렬, 모델 병렬 및 하이브리드 병렬 전략을 지원합니다.

• 프레임워크 독립성: PyTorch, TensorFlow, 및 ONNX를 지원합니다.