transformerlab-app:一个统一 AI 研究工具和集群编排的开源机器学习平台

transformerlab-app:一个统一 AI 研究工具和集群编排的开源机器学习平台

它解决了什么问题

Transformer Lab 旨在统一碎片化的 AI 工具生态。它为机器学习研究者提供单一界面,管理 AI 模型的完整生命周期——从训练、微调到推理和评估——可在本地机器、内部集群以及云环境中运行。

工作原理

该平台充当控制平面,能够与各种推理引擎(如 vLLM、Ollama 和 MLX)以及计算调度器(如 Slurm 和 SkyPilot)集成。它支持多种硬件后端,包括 Apple Silicon、NVIDIA 和 AMD GPU。对个人用户而言,可本地运行以保证隐私;对团队而言,提供集中式编排、实验追踪以及远程节点上的交互式计算会话(Jupyter、VSCode)。

适用人群

本平台面向机器学习研究者、爱好者以及需要简化训练任务协同、模型注册管理和跨多硬件评估的 AI 研究实验室。

亮点

  • 统一的 AI 工具套件:在同一 UI 中支持大语言模型、扩散模型和文本转语音模型。
  • 协作式编排:向 Slurm 或 SkyPilot 集群提交作业,并可从检查点自动恢复。
  • 全面的训练功能:支持完整微调、LoRA/QLoRA、RLHF(DPO、ORPO、SIMPO)以及超参数搜索。
  • 内置评估:包括 LLM‑as‑a‑Judge、红队安全评估,并集成 EleutherAI LM Evaluation Harness。
  • 可扩展架构:Python 插件系统和 Lab SDK 让用户能够将已有训练脚本接入并实现自动日志记录。

Sources