transformerlab-app:一個開源機器學習平台,統一 AI 研究工具與叢集編排
transformerlab-app:一個開源機器學習平台,統一 AI 研究工具與叢集編排
它解決了什麼問題
Transformer Lab 旨在統一零散的 AI 工具生態系統。它提供單一介面,讓機器學習研究者能在本機、內部叢集與雲端環境中,管理 AI 模型的完整生命週期——從訓練、微調到推論與評估。
它如何運作
此平台充當控制平面,與各種推論引擎(如 vLLM、Ollama、MLX)以及計算排程器(如 Slurm、SkyPilot)整合。它支援多種硬體後端,包括 Apple Silicon、NVIDIA 與 AMD GPU。對個人使用者而言,可在本機執行以確保隱私;對團隊而言,則提供集中式編排、實驗追蹤,以及在遠端節點上的互動式計算會話(Jupyter、VSCode)。
目標對象
此平台為機器學習研究者、愛好者與需要統一訓練任務協調、模型註冊管理與跨多種硬體執行評估的 AI 研究實驗室而設計。
重點特色
- 統一 AI 工具組:在同一 UI 中支援大型語言模型、擴散模型與文字轉語音模型。
- 協作式編排:可將工作提交至 Slurm 或 SkyPilot 叢集,並具備檢查點自動恢復功能。
- 完整訓練支援:支援全參數微調、LoRA/QLoRA、RLHF(DPO、ORPO、SIMPO)以及超參數掃描。
- 內建評估:包含 LLM-as-a-Judge、紅隊測試安全性,並整合 EleutherAI LM Evaluation Harness。
- 可擴充架構:Python 插件系統與 Lab SDK 允許使用者將現有訓練腳本整合,並自動記錄。
Sources
- undefinedtransformerlab/transformerlab-app