ARahim3/kaggle-tpu-lab

Frontier-class open models on a free Kaggle TPU v5e-8: GLM-5.3-Flash 320B MoE (~165 tok/s, our own JAX engine) and Qwen3.8-27B bf16 (~130 tok/s), 262k context, prefix caching. Works with Claude Code, Codex, opencode and pi.

해결하는 문제

GPU나 유료 클라우드 인프라 없이 Kaggle의 무료 TPU v5e-8 하드웨어에서 대규모 오픈소스 AI 모델을 실행할 수 있게 합니다. 이러한 TPU 세션을 OpenAI 및 Anthropic API와 호환되는 공개 엔드포인트로 변환하여 코딩 에이전트와 CLI 도구에서 사용할 수 있게 합니다.

작동 방식

이 프로젝트는 모델 가중치와 컴파일 캐시가 포함된 공개 데이터 세트를 연결하는 Kaggle 노트북과 커널 스크립트를 제공합니다. 8개의 TPU 칩에 걸쳐 서빙 엔진을 구축하고 Cloudflare 터널을 사용하여 공개 URL과 API 키로 서버를 노출합니다. 모델에 따라 다른 엔진을 지원합니다(예: Qwen용 vLLM-TPU, GLM-5.3-Flash용 사용자 정의 JAX 엔진).

대상 사용자

Kaggle의 TPU 할당량을 사용하여 강력한 LLM을 무료로 호스팅하고 Claude Code, Codex CLI 또는 opencode와 같은 코딩 에이전트를 구동하려는 개발자와 AI 애호가.

주요 특징

  • 무료 호스팅: Kaggle의 무료 TPU v5e-8 할당량(약 주 20시간) 활용.
  • API 호환성: OpenAI 및 Anthropic API를 지원하는 엔드포인트 제공.
  • 고성능: 상당한 처리량 달성(예: Qwen3.8-27B 다중 스트림 시 약 540 tok/s).
  • 신속한 배포: 노트북 시작부터 라이브 URL 확보까지 약 6~22분.
  • 유연한 배포: Kaggle 노트북 및 Kaggle CLI를 통한 직접 터미널 실행, 임대 Google Cloud TPU VM 지원.

관련

  • Dispatch
    openTPU: AI가 개발한 오픈 소스 추론 가속기

    openTPU는 RTL, ISA, 컴파일러를 포함하는 오픈 소스 AI 가속기로, LLM 추론을 위한 AI 기반 하드웨어 설계의 타당성을 입증하기 위해 AI 에이전트를 사용하여 개발되었습니다.

  • 프로젝트
    vllm-project/tpu-inference

    vLLM TPU는 동일한 vLLM 인터페이스를 사용하여 Google TPU에서 PyTorch 또는 JAX LLM을 실행할 수 있는 오픈소스 플러그인입니다. 고성능 기능(비동기 스케줄링, KV 캐시 오프로드, LoRA, 투기적 디코딩 등)을 지원하며 Gemma-4, Llama-3.1, Qwen 3와 같은 많은 최고 모델에서 테스트되었습니다. 권장 TPU는 v7x, v5e, v6e입니다. 이 프로젝트는 빠른 시작 문서, 지원 매트릭스, 기여자를 위한 활발한 커뮤니티를 제공합니다.

  • 프로젝트
    bentoml/OpenLLM

    OpenLLM은 오픈 소스 LLM을 OpenAI 호환 API로 셀프 호스팅할 수 있는 도구로, 로컬 서빙과 기업용 클라우드 배포를 위한 간소화된 워크플로우를 제공합니다.

  • 프로젝트
    ztxz16/fastllm

    FastLLM은 C++ 기반의 PyTorch 없는 대규모 언어 모델 추론 엔진입니다. Dense 및 MoE 모델, 하이브리드 GPU/CPU/NUMA/디스크 배포, 멀티 GPU 텐서 병렬 처리, 추측 디코딩(MTP/DSpark/DFlash2), 다양한 양자화 형식을 지원하며 Python CLI, 웹 UI, OpenAI 호환 API 서버를 제공합니다. `pip install ftllm`으로 설치하고, `ftllm run`으로 모델을 실행하고, `ftllm server`로 서비스를 시작합니다. 광범위한 문서는 모델별 가이드, 성능 튜닝, 커뮤니티 지원을 다룹니다.

  • Dispatch
    AI Frontier Roundup: Open‑Weight Multimodal Models, 1‑Bit Quantization, and Edge Robotics Surge

    오픈‑웨이트 멀티모달 모델, 1‑bit 양자화, 그리고 새로운 로봇 하드웨어가 로컬 AI와 구현 에이전트를 민주화하고, 생태계는 에이전트 툴링과 인프라를 구축하고 있습니다.