Accio-Lab/occamy

해결하는 문제

Occamy-1.0은 실제 협업 작업을 위해 구축된 경량 AI 모델입니다. 이는 여러 단계에 걸쳐 도구, 파일, 검색, 구조화된 API를 사용하며 긴 세션 동안 일관성을 유지해야 하는 작업을 포함합니다. 단순히 질문에 답하는 것을 넘어, 신뢰할 수 있는 실행, 상태 추적, 오류 복구 및 작업 완수에 중점을 둡니다.

작동 방식

이 모델은 기존 체크포인트 (Qwen3.6-35B-A3B)에서 시작하여 에이전트 협업에 특화된 추가 학습을 거쳤습니다. 총 35B 파라미터의 Mixture-of-Experts 설계를 사용하지만 호출당 활성 파라미터는 3B에 불과하여 장시간 실행되는 워크로드에 효율적입니다. 학습에는 지속적인 실행을 위한 전문가 모델과 일반적인 능력을 유지하기 위한 전문가 모델 두 가지를 사용하여 병합 및 미세 조정을 거쳤습니다. 모든 학습 데이터는 관찰 가능한 결과가 있는 실행 환경에서 가져왔습니다. 이 모델은 긴 컨텍스트(최대 262,144 토큰)를 지원하며 SGLang 및 vLLM과 같은 표준 도구를 사용하여 서비스할 수 있습니다.

대상 사용자

다단계 전문 워크플로우를 처리하고, 도구를 사용하며, 코드를 작성하고, 파일 및 API와 상호 작용할 수 있는 모델이 필요한 에이전트 시스템 구축 개발자 및 연구자를 위한 모델입니다. 또한 경량 추론 환경을 갖춘 오픈 모델을 찾는 분들에게 적합합니다.

주요 특징

• 협업 작업에 특화: 도구, 파일, API 전반에 걸친 장기적이고 상태 유지적인 작업.
• 경량 추론: 총 35B, 활성 3B 파라미터로 장시간 실행에 효율적.
• 협업 벤치마크에서 강력한 성능을 발휘하며 베이스 모델 및 여러 유사 모델을 능가.
• 오픈 학습 스택 (Dressage) 및 다수의 양자화된 체크포인트 제공.