Together AI를 활용한 Hugging Face Hub LLM 파인튜닝

Together AI와 Hugging Face는 Together AI의 관리형 인프라를 사용하여 Hugging Face Hub에 호스팅된 모든 호환 가능한 대규모 언어 모델(LLM)을 파인튜닝할 수 있는 통합 기능을 출시했습니다. 이를 통해 개발자는 오픈 소스 모델을 커스텀할 때 복잡한 DevOps 오버헤드를 관리하거나 값비싼 학습용 하드웨어를 관리할 필요가 없습니다.

Hugging Face Hub와의 양방향 통합

이 통합은 Hugging Face Hub와 Together AI의 학습 환경 간의 원활한 모델 흐름을 가능하게 합니다. Together AI는 Hub에서 모든 호환 가능한 공개 모델을 가져올 수 있으며, API 토큰을 사용하여 비공개 저장소의 모델도 가져올 수 있습니다. 파인튜닝 프로세스가 완료되면, 대상 저장소 이름이 지정된 경우 결과 모델을 Hugging Face Hub로 자동으로 다시 푸시할 수 있습니다.

기술적 구현: 베이스 모델 및 커스텀 모델

모델을 파인튜닝하려면 Together AI 플랫폼은 학습 환경을 구성하기 위해 두 가지 파라미터 시스템을 사용합니다:

• Base Model (model): 이는 학습 템플릿 역할을 합니다. Together AI의 공식 카탈로그에 있는 모델로, 인프라 구성, 메모리 할당, GPU 리소스 최적화 및 추론 설정을 정의합니다.
• Custom Model (from_hf_model): 이는 사용자가 파인튜닝하고자 하는 특정 Hugging Face 모델입니다.

최적의 결과를 얻으려면 커스텀 모델은 베이스 모델 템플릿과 유사한 아키텍처, 대략적인 크기 및 시퀀스 길이를 공유해야 합니다. 예를 들어, Llama 아키텍처를 사용하는 모델(예: HuggingFaceTB/SmolLM2-1.7B-Instruct)은 togethercomputer/llama-2-7b-chat를 베이스 모델 템플릿으로 사용합니다.

호환성 및 범위

일반적으로 파라미터가 1,000억 개 미만인 모든 CausalLM 모델은 이 기능과 호환되도록 설계되었습니다.

개발자 영향 및 사용 사례

이 통합은 모델 발견에서 프로덕션 단계로 넘어가는 마찰을 줄여줍니다. 개발자는 이제 학습 인프라를 구축하는 데 며칠을 소비하지 않고도 커뮤니티 주도의 혁신과 특화된 모델을 실험할 수 있습니다.

실제 활용 사례

초기 도입자 및 베타 사용자는 이 기능을 다음과 같은 여러 방식으로 구현했습니다:

• 도메인 적응(Domain Adaptation): 이미 어느 정도 도메인 지식을 보유한 모델로 시작하여 금융, 의료 또는 법률 분야와 같은 산업을 위해 범용 모델을 특화합니다.
• 반복적 개선(Iterative Improvement): 커뮤니티 모델을 시작점으로 사용하고, 이를 파인튜닝한 다음, 그 결과를 다시 추가적인 정교화에 사용합니다.
• 커뮤니티 모델 특화(Community Model Specialization): 추론, 코딩 또는 다국어 능력과 같이 특정 작업에 최적화된 모델을 이미 커스텀하여 독점적 사용 사례를 위해 추가적으로 커스텀합니다.
• 아키텍처 탐색(Architecture Exploration): Hub에 새로운 모델 변형 및 아키텍처가 출시될 때마다 신속하게 테스트합니다.

사례 연구

• Slingshot AI: 이 기능을 개발 파이프라인에 통합하여, 학습의 일부를 자체 인프라에서 실행하고 Hub에 업로드한 다음, Together AI 플랫폼에서 지속적인 파인튜닝을 수행할 수 있도록 합니다.
• Parsed: 신중하게 큐레이션된 데이터셋을 사용하여 작고 잘 튜닝된 오픈 소스 모델이 더 큰 폐쇄형 모델보다 성능이 뛰어날 수 있음을 입증했습니다.

효율성 증대

팀들은