BotPsy-0.8B: Tether AI의 Qwen3.5 기반 온디바이스 에이전트 모델
요약: Tether AI Research는 온디바이스 도구 사용을 위해 Qwen3.5-0.8B를 기반으로 구축된 0.8B 매개변수 에이전트 언어 모델인 BotPsy-0.8B를 발표했습니다. 이 모델은 기본 모델의 에이전트 벤치마크 점수를 약 두 배로 높였으며, 연구소가 테스트한 1.2B 매개변수 이하의 모든 모델을 능가하여, 저난이도 및 중간 난이도 작업에서 전문 로컬 에이전트를 프론티어 클라우드 모델의 실용적인 대안으로 만듭니다.
BotPsy-0.8B란 무엇인가
BotPsy-0.8B는 함수 호출 및 에이전트 워크플로우를 위해 설계된 10억 매개변수 미만의 언어 모델입니다. Tether AI Research는 Qwen3.5-0.8B를 기반으로 구축했으며, 웹 검색 및 연구, 여행 및 라이프스타일, 상거래 및 금융, 비즈니스 및 고객 운영, 기기 및 차량 제어, 파일 및 문서, 캘린더, 이메일 및 메시징 작업에 도구를 사용하는 "개인 비서"로 포지셔닝합니다.
이 모델은 온디바이스 배포를 위해 설계되었습니다. Tether AI Research는 프론티어 클라우드 LLM이 높고 변동적인 운영 비용을 수반하고, 제공업체에 의해 변경되거나 중단될 수 있으며, 워크플로우 사용자 지정이 제한적이고, 개인 정보 보호 및 데이터 제어 위험을 만든다고 주장합니다. 또한 모든 작업에 프론티어 수준의 지능이 필요한 것은 아니라고 명시합니다. 소규모 전문 에이전트는 특정 작업에서 더 저렴하고 동등한 성능을 발휘할 수 있습니다.
매개변수 수 때문에 BotPsy-0.8B는 저난이도 및 중간 난이도 작업에 가장 적합합니다. Tether AI Research는 모델이 여전히 실수를 하며 고위험 사용을 위한 것이 아니라고 명시적으로 밝힙니다.
벤치마크 결과: 1.2B 매개변수 이하에서 최고 수준
Tether AI Research에 따르면 BotPsy-0.8B는 크기 대비 최고 수준의 도구 사용 및 에이전트 성능을 달성합니다. 연구소가 테스트한 1.2B 매개변수 이하의 모든 모델을 여섯 가지 도구 사용 및 에이전트 벤치마크(BFCL v4, ACEBench, τ-bench, ToolSandbox, Claw-Eval, BrowseComp-Plus)에서 능가합니다.
Qwen3.5-0.8B 기본 모델과 비교하여 BotPsy-0.8B는 주요 벤치마크에서 에이전트 능력을 약 두 배로 향상시킵니다: BFCL v4는 23.4에서 44.0으로, ACEBench는 30.1에서 58.7로, τ-bench는 23.2에서 51.5로 상승했습니다. 가중치가 없는 6개 벤치마크 평균은 45.0으로, 기본 모델의 24.7, Qwen3.5-2B-Think의 38.8, LFM2.5-1.2B-Think의 25.3, MiniCPM5-1B-Think의 22.7과 비교됩니다.
| 벤치마크 | BotPsy-0.8B | Qwen3.5-0.8B-Think 기본 | Qwen3.5-2B-Think | LFM2.5-1.2B-Think | MiniCPM5-1B-Think |
|---|---|---|---|---|---|
| BFCL v4 | 44.0 | 23.4 | 37.7 | 28.1 | 22.8 |
| ACEBench | 58.7 | 30.1 | 55.4 | 39.4 | 24.5 |
| τ-bench | 51.5 | 23.2 | 46.5 | 6.5 | 28.8 |
| Claw-Eval | 46.5 | 39.3 | 48.9 | 31.6 | 31.0 |
| BrowseComp-Plus | 4.5 | 1.9 | 2.8 | 0.2 | 0.8 |
| ToolSandbox | 64.6 | 30.5 | 41.2 | 45.7 | 28.1 |
| 평균 | 45.0 | 24.7 | 38.8 | 25.3 | 22.7 |
BotPsy-0.8B는 또한 크기가 2.5배 더 큰 모델인 Qwen3.5-2B-Think를 여섯 가지 벤치마크 중 다섯 가지에서 능가합니다: BFCL v4 (44.0 vs 37.7), ACEBench (58.7 vs 55.4), τ-bench (51.5 vs 46.5), ToolSandbox (64.6 vs 41.2), BrowseComp-Plus (4.5 vs 2.8). Claw-Eval에서만 Qwen3.5-2B-Think가 48.9 대 46.5로 앞섭니다.
다중 턴 워크플로우 및 도구 호출 신뢰성
가장 큰 상대적 이득은 다중 턴, 상태 저장 상호 작용에서 나타납니다. BFCL v4 다중 턴 작업에서 BotPsy-0.8B는 기본 모델의 7.5에서 46.1로 상승하여 Qwen3.5-2B-Think의 23.8의 거의 두 배입니다. ACEBench Agent에서는 7.9에서 28.3으로 상승하여 Qwen3.5-2B-Think의 16.2와 비교됩니다.
엄격한 정책 하에 긴 고객 대화를 테스트하는 τ²-bench에서 BotPsy-0.8B는 소매 부문에서 67.8(기본 모델 33.9)을, 통신 부문에서 82.5(Qwen3.5-2B-Think 69.3, MiniCPM5-1B-Think 74.0)를 기록했습니다. 게시물에 표시된 5개의 다중 턴 벤치마크 중 4개에서 선두를 차지했습니다. τ³-bench 뱅킹에서는 어떤 모델도 5점을 넘지 못했습니다. BotPsy-0.8B는 기본 모델과 동일한 4.1점을 기록했으며, Qwen3.5-2B-Think는 4.8점입니다.
BotPsy-0.8B는 또한 도구를 호출하지 말아야 할 때를 인식하도록 설계되었습니다. 적절한 도구가 없을 때 모델이 거부하는지 확인하는 BFCL v4 환각 테스트에서 86.1점으로 테스트된 모든 모델 중 가장 높습니다. 불완전한 요청, 잘못된 매개변수 또는 사용할 수 없는 도구와 관련된 ACEBench 특수 사례에서는 기본 모델의 13.7에서 51.3으로 상승했지만 Qwen3.5-2B-Think가 58.0으로 앞서 있습니다.
지식 및 지시 따르기
게시물에 따르면 도구 사용 훈련이 일반 지식을 희생하지 않았습니다. GPQA Diamond는 기본 모델의 33.2에서 BotPsy-0.8B의 38.1로, MMLU-Pro는 41.6에서 48.9로 상승했습니다. 둘 다 테스트된 1.2B 매개변수 이하 모델 중 최고 점수입니다. 지식은 여전히 주로 매개변수 수에 따라 확장됩니다: Qwen3.5-2B-Think는 GPQA Diamond에서 59.9, MMLU-Pro에서 65.5를 기록했습니다. 따라서 Tether AI Research는 BotPsy-0.8B를 알지 못하는 사실을 위해 도구를 호출하도록 설계된 모델로 설명하며 지식 모델로는 설명하지 않습니다.
지시 따르기가 크게 향상됩니다. IFEval은 59.7에서 90.8로, IFBench는 22.0에서 55.9로 상승하여 테스트된 모든 모델 중 가장 높은 IFBench 점수입니다. 8개 언어로 3턴에 걸쳐 지시 따르기를 테스트하는 Multi-IF에서 BotPsy-0.8B는 67.2점으로 Qwen3.5-2B-Think의 66.9 및 LFM2.5-1.2B-Think의 68.2와 비슷합니다. 1턴에서 84.3으로 가장 강하게 시작하지만 지시가 누적됨에 따라 더 빠르게 떨어져 3턴에서 51.0에 도달하며, 두 모델은 각각 56.5 및 56.2입니다.
저자원 언어는 여전히 약점입니다. 힌디어는 24.5, 러시아어는 57.6으로 영어, 중국어, 프랑스어, 스페인어, 이탈리아어, 포르투갈어에서 달성한 72–80 범위보다 훨씬 낮습니다.
안전 및 추론 효율성
6가지 피해 범주에 걸친 자동 레드팀 테스트에서 BotPsy-0.8B는 기본 모델의 36%와 비교하여 21%의 시간 동안 안전하지 않은 응답을 생성합니다. 이는 테스트된 1.2B 매개변수 이하 모델 중 가장 낮은 불안전 비율입니다: LFM2.5-1.2B-Think는 35%, MiniCPM5-1B-Think는 47%입니다. 신뢰할 수 없는 도구 출력을 읽는 에이전트에게 중요한 프롬프트 주입 공격에서 불안전 비율은 기본 모델의 46%에서 BotPsy-0.8B의 31%로 떨어집니다.
BotPsy-0.8B는 또한 더 적은 추론으로 정답에 도달합니다. 다섯 모델 모두 정확히 답하는 질문에서 GPQA Diamond에서 기본 모델보다 약 3배 적은 추론 토큰(3,690 vs 11,563)을 사용하고 MMLU-Pro에서 2.7배 적은 토큰(1,912 vs 5,105)을 사용합니다. 모든 IFBench 시도에서 반복 추론 루프에 빠지는 비율은 22.9%에서 1.4%로, 32k 토큰 제한에 도달하는 실행은 28.3%에서 0.2%로 감소합니다. Tether AI Research는 더 짧고 결정적인 추론이 온디바이스 지연 시간을 줄여야 한다고 말합니다.
다중 턴 에이전트 작업에서 BotPsy-0.8B는 다섯 모델 모두 해결하는 τ²-bench 작업에서 기본 모델보다 더 적은 어시스턴트 턴이 필요합니다. τ²-소매에서는 기본 모델의 11.7턴 대비 10.7턴으로 9% 적고, τ²-통신에서는 17.6턴 대비 13.1턴으로 26% 적습니다. 이렇게 하면서 기본 모델보다 2.0배 많은 소매 작업과 2.6배 많은 통신 작업을 통과합니다.
훈련 방법론: 4단계 및 3가지 피드백 신호
BotPsy-0.8B는 네 가지 순차적 단계로 사후 훈련됩니다: 지도 미세 조정, 다중 교사 온-폴리시 증류, 두 차례의 강화 학습. 각 단계는 이전 단계의 최상의 체크포인트에서 시작하며 다른 학습 신호를 사용합니다: 시연, 전문 교사 토큰 분포, 규칙 기반 도구 호출 보상.
첫 번째 단계는 도구 사용 대화에 대한 전체 매개변수 지도 미세 조정으로, 시뮬레이션 환경의 다중 턴 에이전트 궤적, 재생된 단일, 병렬 및 다단계 호출, 도구를 호출하지 말아야 하는 경우를 포함합니다. 두 번째 단계는 온-폴리시 증류를 사용합니다: 학생이 자체 응답을 생성하고 전문 교사가 토큰별 역방향 KL 발산을 사용하여 모든 토큰에 대해 피드백을 제공합니다. 교사는 도구 사용, 일반 추론 및 지시 따르기에 대해 별도로 RL 훈련된 세 개의 Qwen3.5-4B 모델입니다. 각 프롬프트는 한 명의 교사에게 라우팅됩니다. 이 단계는 주로 지도 미세 조정 중에 저하된 지식과 지시 따르기를 복구하며 도구 사용 지표도 증가합니다.
마지막 두 단계는 DAPO를 사용한 강화 학습으로, 규칙과 검증기에 의해 계산된 보상에서만 학습합니다. 첫 번째 RL 라운드는 도구 호출과 지시 따르기 및 STEM 객관식 질문에 중점을 둡니다. 도구 호출 보상은 먼저 추론 및 도구 호출 형식을 확인한 다음 예측된 도구 이름, 인수 이름 및 인수 값을 실제 값과 일치시켜 세분화된 부분 점수를 제공하며, Tool-N1의 이진 정확성 보상보다는 ToolRL의 정신에 부합합니다. 두 번째 RL 라운드는 수학, 코드, 지식 질문, 지시 따르기, 구조화된 출력 및 시뮬레이션된 작업 환경에서의 다단계 도구 사용과 같은 일반 도메인 검증 가능한 작업으로 믹스를 확장합니다. 이 믹스에는 다중 턴 대화가 포함되어 있지 않지만 다중 턴 함수 호출을 더욱 개선합니다.
배포, 라이선스 및 제한 사항
게시물은 BotPsy-0.8B가 연구 및 교육 목적으로 Apache 2.0 라이선스 하에 오픈 가중치로 출시될 것이라고 밝힙니다. bf16, Q8, Q4의 세 가지 정밀도로 Hugging Face safetensors 및 QVAC SDK와 llama.cpp용 GGUF 파일로 제공될 예정입니다.
BotPsy-0.8B는 주로 영어로 훈련 및 테스트되었으며 영어가 권장 언어입니다. 저난이도 및 중간 난이도 작업에 가장 적합하며 안전에 중요한 또는 고위험 자동 결정, 또는 돈, 개인 정보, 건강 및 기타 민감한 주제와 관련된 응용 프로그램을 위한 것이 아닙니다.
약점으로는 개방형 검색과 Qwen3.5-2B-Think가 여전히 앞서는 몇 가지 영역이 있습니다. BrowseComp-Plus는 4.5점으로 다섯 모델 중 최고이지만 절대적으로는 낮습니다. BFCL 웹 검색에서는 14.0, 메모리에서는 16.3으로 Qwen3.5-2B-Think의 19.8 및 26.1에 뒤처집니다. Claw-Eval에서는 기본 모델보다 개선되었지만(46.5 vs 39.3) Qwen3.5-2B-Think의 48.9에는 미치지 못합니다. 다단계 정보 검색이 가장 분명한 약점입니다: 복잡한 정보 검색 및 연구 시나리오는 15점으로, 해당 그룹의 단일 호출 79점과 비교됩니다.
더 넓은 비전
Tether AI Research는 향후 개발이 더 많은 하드웨어와 로컬 서비스에서 온디바이스 에이전트 기능을 확장할 것이라고 말합니다. 계획된 작업에는 Tether의 Hypersearch를 위한 보다 강력한 분산형 P2P 쿼리, QVAC Fabric을 통한 최적화된 로컬 미세 조정, 오프라인-온라인 전환 중 스마트폰에서 홈 PC 또는 신뢰할 수 있는 보안 P2P 노드로의 무거운 계산 위임, 더 강력한 개인 정보 보호 프로토콜, 신뢰할 수 있는 로컬 네트워크에서의 안전한 에이전트 간 통신이 포함됩니다.
출시의 의미
BotPsy-0.8B는 10억 매개변수 미만의 모델이 일반 지식과 지시 따르기를 유지하면서 도구 사용 및 에이전트 워크플로우에 특화될 수 있음을 보여줍니다. 벤치마크 프로필(기본 모델의 에이전트 점수의 약 두 배, 1.2B 매개변수 이하 모델 중 선두, 2.5배 더 큰 형제 모델을 6개 에이전트 벤치마크 중 5개에서 능가)은 많은 일상적인 어시스턴트 작업이 프론티어 클라우드 API를 통하지 않고 로컬에서 실행될 수 있다는 주장을 뒷받침합니다. 트레이드오프도 분명합니다: 약한 개방형 검색, 저자원 언어 격차, 명시된 작업 난이도 상한선입니다.