InternScience/Agents-A1
Scaling the Horizon, Not the Parameters
解決的問題
Agents-A1 解決了在不需要海量參數的情況下實現前沿級 AI 性能(媲美兆級參數模型)的挑戰。它專注於「擴展智能體視野」(scaling the agent horizon)——即提高模型處理長期軌跡和多樣化專業能力的能力——從而使 35B 參數模型能夠在複雜的、多步驟的任務中與規模大得多的系統競爭。
工作原理
該專案利用了透過三個階段過程訓練的 35B Mixture-of-Experts (MoE) 架構:
- Full-domain SFT:使基礎模型符合通用的智能體行為。
- Domain-level Teacher Training:為特定的專業領域創建專門的教師模型。
- Multi-teacher Distillation:使用具有顯著詞彙對齊的領域路由在策略蒸餾(on-policy distillation),將六個異構領域合併到一個學生模型中。
為了支持這一點,團隊構建了一個連接外部知識、動作和觀察的知識-動作基礎設施,允許模型在平均 45K token 的軌跡上進行訓練。
適用對象
- 開發者和企業:希望將高性能智能體模型集成到其應用中。
- AI 研究人員:對智能體視野擴展和透過蒸餾進行高效知識遷移感興趣。
- 本地 AI 愛好者:可以使用 4B 版本或量化變體在 Mac 等硬體上進行本地部署。
亮點
- 智能體推理:能夠將複雜任務分解為可執行的子步驟,並根據結果調整策略。
- 工具集成:原生支援函數調用、API、程式碼解釋器和搜尋引擎。
- 長上下文處理:在長對話和文件中有強大的連貫性和召回能力。
- 高效率:在保持 35B 參數規模的同時,提供與前沿模型(如 GPT-5.5)相媲美的競爭力性能。
相關
- 專案
- Dispatch
- Dispatch
- 專案
- Dispatch