Models.dev:为 AI 模型规范构建开源标准
AI 领域正在以惊人的速度扩张,各种供应商几乎每周都会推出新模型。对于开发者而言,这产生了一个显著的摩擦点:目前缺乏关于模型规范、定价和能力的单一、权威的事实来源。每当开发者想要切换供应商或优化成本时,他们都不得不面对由零散文档页面组成的碎片化生态系统。
为了解决这个问题,SST 的维护者推出了 Models.dev,这是一个旨在标准化 AI 模型数据编目方式的开源数据库。通过将模型规范移至社区贡献的仓库中,Models.dev 旨在提供一种程序化且透明的方式来比较当前 AI 市场的现状。
以程序化方式处理模型数据
与静态维基不同,Models.dev 是作为一个数据优先的项目构建的。核心信息以按供应商组织的 TOML 文件形式存储,然后用于生成公共 API 和前端界面。这种结构允许严格的验证,并方便通过 pull requests 进行社区贡献。
追踪的关键数据点
Models.dev 不仅仅追踪每 token 的价格;它还捕捉了模型技术概况的全面快照:
- Capabilities(能力): 支持工具调用(tool calling)、推理(chain-of-thought)、结构化输出和文件附件。
- Pricing(定价): 输入、输出、推理以及缓存读/写 token 的细粒度成本。
- Limits(限制): 最大上下文窗口和特定的输入/输出 token 限制。
- Modalities(模态): 明确追踪支持的输入和输出模态(例如:text、image、audio、video、PDF)。
- Metadata(元数据): 知识截止日期、发布日期以及模型是否为 open-weights。
与 AI SDK 的集成
Models.dev 最具实用性的方面之一是它与 AI SDK 的对齐。数据库中使用的 Model ID 与 AI SDK 使用的标识符相同,这使得它成为开发者在代码中实现这些模型时的直接参考。此外,该项目还提供了一个简单的 API,用于以 SVG 格式检索供应商 logo,从而简化了 AI 驱动应用的 UI 开发。
社区反馈与“标准”挑战
虽然该项目因其速度和实用性被赞誉为“绝对的瑰宝”,但 Hacker News 社区就此类数据库的可持续性和必要性提出了几个关键点。
碎片化问题
一些用户指出,“被遗弃的全面 AI 模型数据库坟场”已经非常拥挤了。批评者指出,现有的一些项目——例如 LiteLLM、Artificial Analysis 以及各种基于 GitHub 的定价列表——已经在尝试解决这个问题。这突显了任何模型数据库的核心挑战:维护。在一个定价和能力瞬息万变的市场中,数据库的价值完全取决于其更新频率。
缺失的价值维度
除了原始规格外,用户建议一个真正全面的数据库需要追踪“隐藏成本”和质量指标:
- Latency(延迟): 一位用户指出,延迟通常是除每 token 价格之外的隐藏成本。
- Model Decay(模型衰退): 存在关于“nerfing”(性能随时间下降)和自适应推理的担忧,即供应商可能会将请求路由到更便宜、能力较低的模型。
- Filtering(过滤): 当前前端的一个常见批评是缺乏强大的过滤功能。用户希望能够根据“当前”模型(排除已过时的版本)或根据特定的能力(如 tool calling)进行过滤。
为生态系统做出贡献
由于 Models.dev 是开源的,它依赖于贡献模型来保持更新。该项目使用 GitHub Action 来根据严格的 schema 验证提交内容,确保数据类型正确且必填字段齐全。
对于想要添加新模型的开发者,流程已经过简化:创建一个供应商文件夹,定义 provider.toml,并添加一个模型定义文件。为了避免为包装供应商(即镜像现有模型的供应商)造成重复,该项目实现了 extends 关键字,允许模型继承属性来自一个规范来源,同时仅覆盖特定的差异(例如定价)。
总结
Models.dev 代表了一种雄心勃勃的尝试,旨在将 AI 模型规范从营销页面转向版本控制、机器可读的格式。虽然它面临来自现有工具的激烈竞争以及维护最新数据的持续挑战,但它与 AI SDK 的集成以及对开放 schema 的承诺,使其成为成为现代 AI 工程师的宝贵工具。