google-ai-edge/litert-torch
Support PyTorch model conversion with LiteRT.
解决的问题
通过将 PyTorch 模型转换为 .tflite 格式，使开发者能够在 Android、iOS 和 IoT 应用中本地运行模型。这消除了对云端推理的需求，使模型可以在 CPU、GPU 和 NPU 硬件加速器上本地运行。
工作原理
该库与 PyTorch 集成使用 torch.export()，并提供对 Core ATen 操作的广泛支持，将模型转换为 .tflite 平面缓冲区。对于大型语言模型（LLMs）和基于 Transformer 的架构，它包含一个专用的 Generative API，用于创建和量化可经由 LiteRT-LM 部署的移动端优化模型。
适用人群
专为希望将 PyTorch 训练的模型部署到边缘设备，同时在各种硬件加速器上保持高性能的 AI 开发者和移动工程师设计。
主要亮点
- 广泛的硬件支持：初始支持 CPU、GPU 和 NPU。
- PyTorch 集成：基于
torch.export()，实现无缝转换工作流。 - Generative API：专用于创建和量化移动端 LLM 部署的 Transformer 模型的工具。
- 跨平台：支持 Android、iOS 和 IoT 环境。
相关
- 项目
- 项目
- 项目
- 项目
- 项目