텐센트 Hy4 프리뷰 릴리스
텐센트는 고규모 성능과 효율성을 위한 다음 세대 대규모 언어 모델(LLM)인 Hy4 프리뷰를 공개했다. 이 모델은 총 7700억 파라미터, 활성 파라미터 490억 개를 갖춘 전문가의 혼합(MoE) 아키텍처로, 100만 토큰을 넘는 컨텍스트 창을 지원한다.
학습 중 재귀적 자기 개선
Hy4 프리뷰는 모델이 자체 개발에 직접 기여하는 재귀적 자기 개선 루프를 도입했다. 처음으로 Hy4는 학습 파이프라인의 여러 핵심 구성 요소에 대한 자동 최적화에 참여했으며, 다음과 같은 항목들이 포함된다:
- 학습 방법
- 데이터 전략
- 평가 프레임워크
- 저수준 연산자
릴리스에 따르면, 모델은 구체적인 접근 방식을 제안하고 실험을 수행하며 결과 로그와 피드백을 기반으로 반복적으로 개선함으로써, 후속 탐색 라운드에 영향을 주는 피드백 루프를 형성했다.
성능 및 시장 수용
초기 채택 데이터는 모델에 대한 큰 관심이 있음을 시사하며, 특히 제3자 API 제공업체를 통해 주목받고 있다.
API 채택 및 비용
보고에 따르면, Hy4는 출시 후 며칠 안에 OpenRouter에서 수조 토큰을 처리하며 빠른 확산을 보였다. 이 채택은 특히 5%의 캐시 비용이라는 가격 구조 덕분이며, 다른 제공업체에서 일반적으로 보이는 10-20%의 캐시 비용보다 낮다.
벤치마킹 및 비교 성능
사용자 보고 벤치마크는 모델의 능력에 대해 혼합된 평가를 제공한다:
- 일반 목적의 에이전트 작업: 일부 사용자는 Hy4의 전신인 Hy3가 DeepSeek-4-Flash와 유사한 성능을 보였다고 보고했다.
- 독일어 언어 평가: DACH PeerBench 지수에서 Hy4는 Hy3보다 큰 향상이 있었지만, DeepSeek Pro와 GLM 5.3 Flash보다는 낮으며, 전반적으로 약 14위를 기록했다.
- 코딩 능력: Novita.ai와 같은 제공업체를 통해 모델을 사용한 개발자들 사이에서는 평가가 낮았으며, 일부는 코딩 에이전트로서의 활용도가 제한적이라고 보고했다.
커뮤니티 비판 및 기술적 관찰
릴리스에 대한 기술적 논의는 투명성과 발표 방식에 대한 여러 논란을 드러냈다.
오픈소스 vs 오픈웨이트
커뮤니티 내에서 논쟁이 되는 점은 텐센트가 "오픈소스"라는 용어를 사용한 것이다. 비판자들은 모델이 소스 코드나 학습 데이터의 완전한 투명성을 제공하지 않으며, 로컬 실행을 위한 바이너리 블롭만 제공하기 때문에 "오픈웨이트"에 가깝다고 주장한다.
데이터 시각화에 대한 우려
여러 사용자가 공식 릴리스에서 제공한 벤치마크 차트를 비판하며, 막대 차트가 오해를 유발한다고 주장했다. 구체적인 불만 사항은 다음과 같다:
- 모델 순위에 따라 일관되지 않은 정렬.
- "승자"를 표시하기 위해 테이블 전체 행을 강조하는 방식.
- 차트의 실제 막대 높이와 수치 값 사이의 불일치.
토큰 최적화
모델의 내부 "사고" 과정에 대한 관찰에서, 사용자들은 모델이 토큰 절약과 처리 효율성을 높이기 위해 단순화된 어휘(사용자들이 "동굴인 말"이라고 묘사한)를 사용하는 것으로 나타났다.
Sources
관련
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch