itigges22/ATLAS

解決的問題

ATLAS 讓緊湊的開源大模型能在本地執行複雜的軟體工程任務。它透過為模型配備計畫、候選生成、驗證與迭代修復系統，解決小型模型缺乏前沿模型所具備的內建推理能力與可靠性問題，同時在不依賴外部 API 的情況下，僅使用消費級硬體即可運行。

工作原理

ATLAS 實現多層架構以增強模型效能：

• V3 流水線：透過約束驅動的規劃（PlanSearch）、多樣化的候選採樣（DivSampling）以及透過 PR-CoT 修復與迭代優化循環，將單一提示轉化為已驗證的解決方案。
• 幾何透鏡：一種基於能量的評分系統，利用模型自身的嵌入與 XGBoost 集成模型，無需外部 oracle 即可預測候選品質。
• Atlas-Proxy：基於 Go 語言的協調器，負責工具呼叫路由、透過 GBNF 模式強制輸出語法，並應用偏差緩解策略，引導模型進行結構化修改。
• 沙箱：一個隔離的執行環境，在程式碼被接受前，會於多種語言（Python、Rust、Go、C 等）中進行編譯、Lint 檢查與測試。
• 本地推理：使用 llama-server 實現 GPU 加速的量化推理，支援 NVIDIA、AMD、Apple Silicon 與 Vulkan。

適用對象

希望在自有硬體（需 16GB+ VRAM）上運行私有、自托管編碼代理的開發者，以及希望使用更小、開源權重模型進行軟體開發，避免按 token 計費或資料隱私問題的使用者。

核心亮點

• 本地優先：完全自托管，無需第三方 API 金鑰。
• 驗證循環：在沙箱中編譯並測試程式碼，確保交付前的正確性。
• 硬體無關：支援廣泛的 GPU，包括 NVIDIA CUDA、AMD ROCm、Apple Metal 與 Vulkan。
• 原生 TUI：內建基於 Bubbletea 的終端介面，可即時聊天並監控流程狀態。
• 模型無關：支援使用者導入自己的 GGUF 模型，並可在自身工作負載上重新訓練幾何透鏡。