Tencent-Hunyuan/Hy3

해결하는 문제

Hy3는 거대한 플래그십 모델에 대한 고성능이고 비용 효율적인 대안을 제공하도록 설계되었습니다. 특히 장시간의 다단계 대화 중 의도나 맥락을 잃는 현상, 환각, 불안정한 도구 호출 형식과 같은 일반적인 LLM의 실패를 해결합니다.

작동 방식

Hy3는 295B 파라미터의 Mixture-of-Experts (MoE) 모델로, 활성 파라미터는 21B입니다. 효율성과 성능을 향상시키기 위해 Multi-Token Prediction (MTP) 레이어를 사용합니다. 고품질 데이터를 활용한 확장된 포스트 트레이닝과 함께 Supervised Fine-Tuning (SFT) 및 Reinforcement Learning (RL)의 공동 최적화를 통해 추론 능력과 신뢰성을 강화했습니다.

대상 사용자

코딩, 프론트엔드 디자인, 금융 모델링, 사무 업무, 게임 개발 등 다양한 분야에서 생산성 애플리케이션을 개발하는 개발자 및 제품 팀, 그리고 안정적인 도구 호출과 장문맥 유지가 필요한 사용자를 대상으로 합니다.

주요 특징

• 효율적인 아키텍처: MoE 설계로 활성 파라미터 21B, 256K 컨텍스트 길이 지원.
• 프로덕션 수준의 신뢰성: 환각률이 12.5%에서 5.4%로 감소하고 도구 호출 안정성 향상.
• 에이전트 기능: CI/CD, 데이터 저장, 프론트엔드 개발 등에서 강력한 추론 및 에이전트 작업 성능.
• 유연한 배포: vLLM 및 SGLang을 통해 OpenAI 호환 API로 배포 가능.
• 추론 모드: 작업 복잡도에 따라 조절 가능한 추론 노력 수준 (no_think, low, high) 제공.