inferstep/ATLAS

解决的问题

ATLAS 是一个本地编码代理，旨在使紧凑型开源模型能够执行复杂的软件工程任务。它通过用规划、候选生成、质量评分和沙盒测试系统包围 LLM，解决了较小模型缺乏前沿模型原生推理和验证能力的问题。

工作原理

ATLAS 实现了多层架构以增强模型性能：

• V3 流水线：一个多阶段生成过程，使用约束驱动规划（PlanSearch）、多样候选采样（DivSampling）和迭代修复循环（PR-CoT），将单个提示转换为经过验证的代码候选。
• 几何透镜：一个基于能量的评分系统，使用模型自身的嵌入通过 MLP 和 XGBoost 集成预测候选质量，使系统能够在没有外部预言机的情况下否决或选择候选。
• Atlas-Proxy：一个基于 Go 的编排层，处理工具调用路由，通过 GBNF 模式强制执行输出语法，并应用偏差缓解以引导模型进行结构性编辑。
• 沙盒：一个隔离的执行环境，生成的代码在编译、检查和针对现有或自生成的测试套件进行测试后才被接受。
• 本地推理：使用 llama-server 进行 GPU 加速的量化推理，支持 NVIDIA、AMD、Apple Silicon 和 Vulkan。

适用人群

适用于希望拥有一个功能强大、自托管的编码代理，完全在自己的硬件（16GB+ 显存）上运行，以维护隐私、避免按令牌 API 费用并使用开放权重模型的开发者。

亮点

• 本地优先：无需托管 API 或第三方密钥；完全在消费级 GPU 上运行。
• 验证循环：代码在写入项目之前在沙盒中验证，减少幻觉。
• 代理工作流：包括一个原生的 Bubbletea TUI，带有用于文件上下文和 shell 执行的斜杠命令。
• 模型无关：支持各种 GGUF 模型，并提供用于本地 Lens 和 ASA 训练/再训练的工具。
• 硬件多样性：广泛支持 CUDA、ROCm、Metal 和 Vulkan。