ARahim3/kaggle-tpu-lab

Frontier-class open models on a free Kaggle TPU v5e-8: GLM-5.3-Flash 320B MoE (~165 tok/s, our own JAX engine) and Qwen3.8-27B bf16 (~130 tok/s), 262k context, prefix caching. Works with Claude Code, Codex, opencode and pi.

解決する課題

GPUや有料のクラウドインフラを必要とせずに、Kaggleの無料TPU v5e-8ハードウェア上で大規模なオープンソースAIモデルを実行できるようにします。これらのTPUセッションをOpenAIおよびAnthropic APIと互換性のある公開エンドポイントに変換し、コーディングエージェントやCLIツールで使用できるようにします。

仕組み

このプロジェクトは、モデルの重みとコンパイルキャッシュを含む公開データセットを添付するKaggleノートブックとカーネルスクリプトを提供します。8つのTPUチップにわたってサービングエンジンを構築し、Cloudflareトンネルを使用して公開URLとAPIキーでサーバーを公開します。モデルに応じて異なるエンジンをサポートします（例：Qwen用のvLLM-TPU、GLM-5.3-Flash用のカスタムJAXエンジン）。

対象ユーザー

KaggleのTPUクォータを使用して強力なLLMを無料でホストし、Claude Code、Codex CLI、opencodeなどのコーディングエージェントを動かしたい開発者やAI愛好家。

ハイライト

  • 無料ホスティング：Kaggleの無料TPU v5e-8クォータ（約週20時間）を活用。
  • API互換性：OpenAIおよびAnthropic APIを話すエンドポイントを提供。
  • 高性能：顕著なスループットを実現（例：Qwen3.8-27Bで複数ストリーム時約540 tok/s）。
  • 迅速なデプロイ：ノートブック起動からライブURL取得まで約6〜22分。
  • 柔軟なデプロイ：KaggleノートブックとKaggle CLIによる直接ターミナル起動、およびレンタルしたGoogle Cloud TPU VMをサポート。

関連

  • Dispatch
    openTPU: AIが開発したオープンソースの推論アクセラレータ

    openTPUは、RTL、ISA、コンパイラを備えたオープンソースのAIアクセラレータであり、LLM推論のためのAI主導型ハードウェア設計の実現可能性を実証するためにAIエージェントを使用して開発されました。

  • プロジェクト
    vllm-project/tpu-inference

    vLLM TPU は、同じ vLLM インターフェースを使用して Google TPU 上で PyTorch または JAX LLM を実行できるオープンソースプラグインです。高性能機能（非同期スケジューリング、KV キャッシュオフロード、LoRA、投機的デコードなど）をサポートし、Gemma-4、Llama-3.1、Qwen 3 などの多くのトップモデルでテストされています。推奨 TPU は v7x、v5e、v6e です。このプロジェクトは、クイックスタートドキュメント、サポートマトリックス、貢献者のための活発なコミュニティを提供します。

  • プロジェクト
    bentoml/OpenLLM

    OpenLLMは、オープンソースのLLMをOpenAI互換のAPIとしてセルフホストするためのツールであり、ローカルでの提供とエンタープライズ向けのクラウド展開を簡素化するワークフローを提供します。

  • プロジェクト
    ztxz16/fastllm

    FastLLM は、C++ ベースの、PyTorch 不要の大規模言語モデル推論エンジンです。Dense モデルと MoE モデル、ハイブリッド GPU/CPU/NUMA/ディスク展開、マルチ GPU テンソル並列、投機的デコード（MTP/DSpark/DFlash2）、多くの量子化形式をサポートし、Python CLI、Web UI、OpenAI 互換 API サーバーを提供します。`pip install ftllm` でインストールし、`ftllm run` でモデルを実行、`ftllm server` でサービスを起動します。詳細なドキュメントには、モデル固有のガイド、パフォーマンスチューニング、コミュニティサポートが含まれています。

  • Dispatch
    AI Frontier Roundup: Open‑Weight Multimodal Models, 1‑Bit Quantization, and Edge Robotics Surge

    Open‑weight multimodal models, 1‑bit quantization, and new robotics hardware are democratizing local AI and embodied agents while the ecosystem builds agentic tooling and infrastructure.