Tencent-Hunyuan/Hy3

解決的問題

Hy3 的設計目標是提供一種高性能且成本效益高的大型旗艦模型替代方案。它特別針對常見的 LLM 失敗問題，例如幻覺、不穩定的工具呼叫格式，以及在長時間多輪對話中遺失意圖或上下文等情況進行解決。

工作原理

Hy3 是一個 295B 參數的混合專家（MoE）模型，其中活躍參數為 21B。它採用多標記預測（MTP）層以提升效率與性能。該模型透過擴展後訓練，使用高品質資料，並聯合優化監督微調（SFT）與強化學習（RL），以增強推理能力與可靠性。

適用對象

適用於在程式設計、前端設計、財務建模、辦公作業、遊戲開發等領域開發生產力應用的開發者與產品團隊，以及需要具備穩定工具呼叫與長上下文保留能力的模型之使用者。

主要亮點

• 高效架構：採用 MoE 設計，活躍參數 21B，支援 256K 上下文長度。
• 生產級可靠性：幻覺率從 12.5% 降低至 5.4%，工具呼叫穩定性顯著提升。
• 智能體能力：在推理與智能體任務中表現優異，尤其在 CI/CD、資料儲存與前端開發方面。
• 彈性部署：支援透過 vLLM 與 SGLang 部署，並提供 OpenAI 相容 API。
• 可調推理模式：提供可調節的推理努力程度（no_think、low、high），以適應不同任務複雜度。