zengxiao-he/tessera

解决的问题

Tessera 提供了一个从零开始的完整 LLM 技术栈实现，旨在弥合模型蒸馏与高效推理之间的鸿沟。它通过将训练、自定义 GPU 加速和高性能服务集成到一个统一的代码库中，解决了构建端到端流水线的复杂性。

工作原理

该项目遵循“蒸馏优先”的工作流：使用自定义的分片训练（FSDP/ZeRO-3）从较大的“教师”模型训练较小的“学生”模型。训练完成后，使用自定义推理引擎部署学生模型，该引擎具备分页 KV 缓存、连续批处理和投机采样功能。系统使用 Triton 和 CUDA 内核来提升性能，并利用基于 Rust 的网关（通过 PyO3）来处理 HTTP 请求和准入控制。

适用人群

本项目适合那些希望理解或构建 LLM 系统底层机制的开发者和研究人员，包括自定义 GPU 内核、分布式训练和高吞吐量服务架构，且无需依赖庞大且不透明的框架。

亮点

• 全栈实现：包含自定义 Triton/CUDA 内核、FSDP/ZeRO-3 训练以及分页注意力（paged-attention）推理引擎。
• 高级服务：具备连续批处理、投机采样以及用于生产环境请求处理的 Rust API 网关。
• 专注于蒸馏：专为将大型教师模型蒸馏为高效的小型学生模型而构建。
• 验证优先：包含 JAX/XLA 参考实现以验证 PyTorch 结果，并对训练和推理组件之间的数值一致性进行了广泛测试。