JackHopkins/factorio-learning-environment

A non-saturating, open-ended environment for evaluating LLMs in Factorio

解决的问题

本项目提供了一个标准化的框架，用于在游戏 Factorio 中开发和测试大型语言模型 (LLM) 智能体。其目标是创建具有挑战性、开放式的评估基准，即使是先进的前沿模型也难以轻易解决，以防止 AI 智能体能轻松解决所有任务而导致基准测试“饱和”。

运作方式

智能体使用基于 REPL (Read-Eval-Print-Loop) 模式的代码合成方法与游戏环境交互。过程分为三个步骤：

  1. 观察：智能体读取先前程序的输出流 (stdout/stderr) 以了解世界状态。
  2. 行动：智能体编写 Python 程序以在游戏中执行特定行动。
  3. 反馈：环境运行程序，更新游戏状态与命名空间，并将输出流返回给智能体。

适用对象

从事 LLM 智能体相关工作的 AI 研究人员与开发者，特别是专注于长期规划、资源管理及开放式评估基准的人员。

亮点

  • 代码合成接口：智能体通过 Python 编程控制游戏，而非简单的文本指令。
  • 评估框架：包含用于运行评估轨迹与实验的内置工具。
  • 可扩展架构：支持如 Model Context Protocol (MCP) 与 PostgreSQL 等用于数据管理的可选功能。
  • 集成集群管理：提供 CLI 工具 (fle cluster start) 来管理环境所需的 Factorio 游戏集群。

相关

  • 项目
    toshas/torch-fidelity

    torch-fidelity is a PyTorch library that provides precise, fast, and extensible implementations of popular generative model evaluation metrics (ISC, FID, KID, PRC, PPL, MIND). It matches reference implementations to machine precision while using feature sharing and caching to make computation efficient enough for use in training loops.

  • 项目
    kornelski/dssim

    一个使用模拟人类视觉感知算法来衡量图像视觉相似度的工具，帮助用户评估图像压缩质量。

  • 项目
    jwuthri-cloud/Tracely-ai

    Tracely 是一个面向 AI 代理的自托管可观测性和 CI/CD 平台。它摄取 OTLP 追踪，使用内置和 LLM 评估器评估运行，对失败进行聚类，并允许您将真实的生成失败提升为阻止拉取请求的封闭回归测试。该技术栈（API、worker、UI、ClickHouse、Postgres、Redis、MinIO）可通过 Docker-Compose 或一键部署到 Railway。`tracelyai-sdk` 自动捕获 LLM 调用，GitHub Action 将门禁集成到 CI 中。

  • 项目
    cvs-health/uqlm

    UQLM 是一个 Python 库，通过提供各种不确定性量化方法（包括黑盒一致性、Token 概率、LLM 作为评委、集成、声明级长文本和代码生成评分器），为 LLM 输出提供置信度分数（0-1）以检测幻觉。