腾讯 Hy4 预览版发布
腾讯发布了 Hy4 的预览版,这是一款专为高容量推理和长上下文处理设计的下一代大语言模型(LLM)。该模型总参数量达 7700 亿,每 token 活跃参数为 490 亿,支持超过 100 万 token 的上下文窗口。
训练中的递归自我改进
Hy4 预览版在模型开发过程中实现了重大里程碑,引入了递归自我改进循环。这是首次模型在多个关键维度上参与自身优化:
- 训练方法:自动化优化训练协议。
- 数据策略:改进数据选择与整理流程。
- 评估框架:提升模型自身的测试与验证指标。
- 底层算子:优化底层计算算子。
通过提出方法、运行实验并根据结果迭代,Hy4 预览版建立了一个反馈循环,生成的代码、日志和反馈为后续探索提供了依据。
性能与市场反响
早期采用数据显示该模型受到广泛关注。据社区报告,Hy4 在 OpenRouter 上发布后几天内已处理数万亿 token。这一高使用量部分归因于其具有竞争力的定价,特别是缓存成本较低(约 5%),相比其他提供商通常 10-20% 的缓存成本更具优势。
社区反馈与技术批评
用户使用体验和技术讨论突显了性能和可访问性方面的若干关键点:
模型能力
部分用户报告称,其前代产品 Hy3 作为通用代理模型表现良好。然而,关于 Hy4 作为代理在编码能力方面的初步反馈褒贬不一,一些用户反映其在编码任务中实用性有限。
基础设施与可访问性
有报告指出当前托管服务存在稳定性问题,包括超时和速率限制,影响了基准测试。此外,部分美国用户报告无法访问相关工具如 CodeBuddy。
文档与展示
技术观察者批评官方发布材料中的“图表罪行”。具体而言,博客文章中的柱状图存在误导性,较高数值并未始终对应柱子高度,且图表中模型的排序未遵循逻辑顺序。
开源 vs. 开放权重
社区内就腾讯使用的术语存在持续争论。尽管发布被描述为“开源”,但批评者认为这实际上是“开放权重”模型而非真正的开源,因为训练过程和数据的源代码并未提供。
开放权重不等于开源。当前的“开放权重”模型只是你可以自己电脑上运行的不透明二进制文件,而不是通过网络 API 使用。
与其他模型的对比
尽管一些用户将 Hy4 的行为与 DeepSeek 模型进行比较,指出其在性能和通用代理能力方面存在相似之处,但该模型在公司自身基准测试中的定位表明,其旨在挑战当前开放权重模型的前沿水平。
Sources
相关
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch