transformerlab/transformerlab-app

The open source research environment for AI researchers to seamlessly train, evaluate, and scale models from local hardware to GPU clusters.

What it solves

Transformer Lab 是為了統一碎片化的 AI 工具生態系而設計的。它為機器學習研究人員提供了一個單一介面，可以在本地機器、本地部署集群和雲端環境中管理 AI 模型的整個生命週期——從訓練和微調到推理和評估。

How it works

該平台作為一個控制平面，與各種推理引擎（如 vLLM, Ollama, 和 MLX）以及計算資源調度器（如 Slurm 和 SkyPilot）整合。它支持多種硬體後端，包括 Apple Silicon, NVIDIA, 和 AMD GPUs。對於個人用戶，它可以本地運行以確保隱私；對於團隊用戶，它提供集中式編排、實驗追蹤和在遠端節點上的互動式計算會話（Jupyter, VSCode）。

Who it's for

它是為機器學習研究人員、愛好者和 AI 研究實驗室打造的，這些用戶需要一種流暢的方式來協調訓練任務、管理模型註冊表，並在多種硬體上運行評估。

Highlights

  • Unified AI Toolkit: LLM, Diffusion models, 和 Text-to-Speech models 的支持在一個 UI 中。
  • Collaborative Orchestration: 向 Slurm 或 SkyPilot 集群提交任務，並具備從 Checkpoints 進行自動恢復功能。
  • Comprehensive Training: 支持全量微調、LoRA/QLoRA, RLHF (DPO, ORPO, SIMPO), 和超參數搜索。
  • Built-in Evaluation: 包含 LLM-as-a-Judge, 安全性紅隊測試，以及與 EleutherAI LM Evaluation Harness 的整合。
  • Extensible Architecture: 一個 Python 插件系統和 Lab SDK 允許用戶將現有的訓練腳本與自動日誌記錄功能整合。