ARahim3/kaggle-tpu-lab

Frontier-class open models on a free Kaggle TPU v5e-8: GLM-5.3-Flash 320B MoE (~165 tok/s, our own JAX engine) and Qwen3.8-27B bf16 (~130 tok/s), 262k context, prefix caching. Works with Claude Code, Codex, opencode and pi.

解决的问题

它让用户可以在 Kaggle 免费的 TPU v5e-8 硬件上运行大型开源 AI 模型，无需 GPU 或付费云基础设施。它将这些 TPU 会话转换为与 OpenAI 和 Anthropic API 兼容的公开端点，使其可供编码代理和 CLI 工具使用。

运作方式

此项目提供 Kaggle notebook 和 kernel 脚本，这些脚本会附加包含模型权重和编译缓存的公开数据集。它在八个 TPU 芯片上构建服务引擎，并使用 Cloudflare 隧道通过公开 URL 和 API 密钥公开服务器。它根据模型支持不同的引擎，例如用于 Qwen 的 vLLM-TPU，或用于 GLM-5.3-Flash 的自定义 JAX 引擎。

适用对象

开发者和 AI 爱好者，他们希望使用 Kaggle 的 TPU 配额免费托管强大的 LLM，以驱动 Claude Code、Codex CLI 或 opencode 等编码代理。

重点特色

  • 免费托管：利用 Kaggle 免费的 TPU v5e-8 配额（约每周 20 小时）。
  • API 兼容性：提供支持 OpenAI 和 Anthropic API 的端点。
  • 高性能：实现显著的吞吐量（例如，Qwen3.8-27B 多流约 540 tok/s）。
  • 快速部署：从启动 notebook 到拥有实时 URL 约需 6 到 22 分钟。
  • 灵活部署：支持 Kaggle notebook 和通过 Kaggle CLI 直接终端启动，以及租用 Google Cloud TPU VM。

相关

  • Dispatch
    openTPU：一款由 AI 开发的开源推理加速器

    openTPU 是一款开源 AI 加速器，包含 RTL、ISA 和编译器，通过使用 AI 智能体开发，旨在证明 AI 驱动的硬件设计在 LLM 推理中的可行性。

  • 项目
    vllm-project/tpu-inference

    vLLM TPU 是一个开源插件，可让您使用相同的 vLLM 接口在 Google TPU 上运行 PyTorch 或 JAX LLM。它支持高性能特性（异步调度、KV 缓存卸载、LoRA、投机解码等），并已在许多顶级模型（如 Gemma-4、Llama-3.1 和 Qwen 3）上测试。推荐 TPU 为 v7x、v5e 和 v6e。该项目提供快速入门文档、支持矩阵和活跃的贡献者社区。

  • 项目
    bentoml/OpenLLM

    OpenLLM 是一个将开源 LLM 自行托管为 OpenAI 兼容 API 的工具，为本地端服务与企业级云端部署提供简化的工作流程。

  • 项目
    ztxz16/fastllm

    FastLLM 是一个基于 C++ 的、无需 PyTorch 的大型语言模型推理引擎。它支持稠密和 MoE 模型、混合 GPU/CPU/NUMA/磁盘部署、多 GPU 张量并行、推测解码（MTP/DSpark/DFlash2）、多种量化格式，并提供 Python CLI、Web UI 和 OpenAI 兼容的 API 服务器。通过 `pip install ftllm` 安装，使用 `ftllm run` 运行模型，或使用 `ftllm server` 启动服务。详尽的文档涵盖模型特定指南、性能调优和社区支持。

  • Dispatch
    AI 前沿综述：开源权重多模态模型、1‑比特量化 与 边缘机器人激增

    开源权重多模态模型、1‑比特量化 与 新机器人硬件正在让本地 AI 与具身代理民主化，同时生态系统正构建代理工具与基础设施。