评估自主 AI 研发的局限性

AI 辅助与自主研究之间的差距

虽然大语言模型 (LLMs) 在特定的迭代任务中表现出色，但它们往往无法展现出自主研发所需的宏观判断力和战略视野。试图部署 AI 进行复杂项目（如构建游戏引擎、研究哲学或优化算法）的用户经常发现，这些模型缺乏优先处理信息、识别相关文献或保持对系统架构连贯理解的能力。

判断力与战略规划的局限性

在实际应用中，AI 代理往往在“基本”判断上表现挣扎，导致人类研究人员本可以自然避免的低效问题。常见的失败模式包括：

• 文献优先级排序能力差： 模型往往无法区分基础性、高影响力的研究与边缘或无关内容，即使后者的重要性在客观上显而易见。
• 信息贫乏的实验： 代理经常设计出缺乏足够数据或方法论严谨性的实验，无法产生有意义的结果，从而在琐碎的方向上浪费了计算资源。
• 缺乏系统性视野： 与人类专家不同，人类专家能保持一个关于不同组件如何融入更大系统的心理模型，而 LLMs 倾向于关注局部的、繁琐的细节。这导致它们无法把握“全局”，从而产生脱节的，或者虽然技术上正确但实际上无用的建议。

迭代反馈与引导的作用

AI 模型在“爬山”任务中表现最好——即那些具有快速反馈循环、人类可以提供持续且有意识指导的场景。在这些情况下，模型充当了力量倍增器，执行繁琐的任务或探索由用户定义的问题空间的特定分支。

然而，这需要大量的“引导”。正如一位观察者所指出的：“对于任何质量标准不明确的事物，需要非常刻意的上下文管理才能获得好的输出。”如果没有一个强制模型一次专注于一个决策的结构化环境，随着上下文规模和任务复杂性的增加，性能往往会下降。

关于 AI 推理的观点

关于当前模型的局限性是固有的，还是仅仅反映了面向公众的模型与前沿实验室使用的先进内部模型之间的差距，存在着根本性的争论。

• “照相式记忆”批判： 一些人认为，LLMs 通过增加信息量来试图匹配训练数据中的模式，而不是将问题简化为逻辑核心原则，从而进行“推理”。当模型与既定事实相矛盾或无法维持复杂系统的状态时，这会导致挫败感。
• 规模化论点： 持续规模化的支持者认为，内部未发布的模型比公开版本强大得多。他们指出在自主编码和数学证明生成方面的快速改进，证明了 AI 已经在实现以前被认为机器不可能实现的突破。

结论：一场舞蹈，而非指挥

最终，从业者的共识是，创新仍然是人机之间的一种协作“舞蹈”。AI 是卸载繁重工作、构建实验框架和可视化数据的强大工具，但它目前缺乏从头到尾推动研究项目的自主能力。利用 AI 进行研发的成功取决于用户作为导演的能力，即提供模型目前尚无法自行生成的必要背景和战略监督。