scaleapi/llm-engine

해결하는 문제

대규모 언어 모델(LLM)을 배포하고 파인튜닝하는 것은 종종 비용이 많이 들며, 상당한 인프라와 머신러닝 전문 지식이 필요합니다. LLM Engine은 통합된 방식으로 기초 모델을 제공하고 사용자 정의할 수 있도록 하여, 새로운 모델과 기술이 등장할 때에도 인프라 유지 관리의 복잡성을 줄입니다.

작동 방식

LLM Engine은 Python 라이브러리, 명령줄 인터페이스(CLI), Helm 차트로 제공됩니다. 사용자는 Scale의 호스팅된 인프라를 통해 모델에 접근하거나, 자체 Kubernetes 기반 클라우드 인프라에 배포할 수 있습니다. Hugging Face와 통합되어 단일 명령어로 Hugging Face 모델을 쉽게 배포할 수 있으며, 스트리밍 응답과 동적 배치를 통해 최적화된 추론을 지원합니다.

대상 사용자

LLaMA, MPT, Falcon과 같은 오픈소스 기초 모델을 직접 관리하지 않고도 배포, 제공, 파인튜닝하고 싶은 개발자 및 ML 엔지니어.

주요 특징

• 즉시 사용 가능한 API: 인기 있는 오픈소스 모델의 빠른 배포 및 제공.
• 파인튜닝 기능: 고유 데이터를 사용해 기초 모델을 사용자 맞춤화하여 성능 향상.
• 최적화된 추론: 동적 배치와 스트리밍을 통해 고처리량과 낮은 지연 시간 달성.
• Hugging Face 통합: Hugging Face 허브의 모델을 원활하게 배포 가능.