Edge0 145B 和 120B 发布:将大规模 AI 带入个人硬件

Edge0 发布了 Edge0-145B 和 Edge0-120B,这两款高参数模型旨在将前沿水平的推理、编码和智能体能力带入个人硬件。通过利用专门的推理框架,145B 参数模型可以在消费级硬件上运行,峰值内存占用仅为 29GB,从而无需依赖基于云的 API 即可实现 3D 建模、硬件编程和自主软件开发等复杂工作流。

技术架构与推理设计

在个人电脑上运行 145B 参数模型的能力是通过稀疏专家架构和分层内存加载系统的结合实现的。

  • 稀疏专家共享: 模型架构没有为每个专家存储全套参数,而是在 64 个专家组之间共享两个大型矩阵。这使得模型在保持庞大参数数量的同时,确保在任何单个推理步骤中只有大约 10B 参数处于活跃状态。
  • 分层内存管理: 推理引擎在 GPU 内存、系统 RAM 和 SSD 存储之间对数据进行流水线处理。频繁访问的“热”专家被缓存在 GPU 内存中,而辅助专家库驻留在系统 RAM 中,词汇数据则根据需要从 SSD 中提取。
  • 硬件调度: 系统并行利用 CPU 和 GPU 资源来管理计算,并辅以推测性解码来提高令牌生成速率,开发人员报告称其超过了 80 tokens/s。

性能与基准测试

Edge0-145B 在多项标准化基准测试中表现出与现有前沿云模型相当的竞争力。根据内部评估,该模型在 DeepSWE 1.1 上得分为 64.6,在 GPQA-Diamond 上得分为 90.4,在 IFBench 上得分为 80.6。开发人员强调,这种性能是在比同类模型的标准 4-bit 部署(通常需要 70GB 以上内存)显著更低的内存占用下实现的。

社区反响与技术审查

尽管该发布因其普及智能体 AI 的潜力而引起了广泛关注,但社区对该项目的透明度和技术实现提出了几点讨论:

  • 模型起源: 一些用户质疑 Edge0 与现有开放权重模型之间的关系,认为该发布可能是 Qwen3.8-Flash-Next 等成熟模型的微调衍生品。正如一位观察者所指出的:“人们微调模型并不罕见……罕见的是看到有人将其包装成广泛的品牌并以公司的名义在线发布。”
  • 硬件兼容性: 尽管声称对 macOS 提供“首日支持”,但社区成员指出,目前的版本似乎主要针对 CUDA 环境进行了优化,这导致试图在 Apple Silicon 或其他非 NVIDIA 硬件上运行该模型的用户感到沮丧。
  • 实际效用: 人们对智能体输出的可靠性仍持怀疑态度。虽然展示自主 Blender 建模和无人机编程的演示视频非常引人注目,但用户对 AI 生成的代码和设计文件的“混乱”程度仍持谨慎态度,并指出手动清理工作往往抵消了自动化节省的时间。

部署与可用性

完整的技术栈,包括模型权重和推理框架,可通过 Edge0 Hugging Face repository 和 Edge0 GitHub repository 获取。开发人员还为希望在不进行大量环境配置的情况下测试该模型的用户提供了一个独立应用程序。

Sources

相关