zhongkaifu/TensorSharp

TensorSharp – 基于 .NET 的本地 LLM 推理引擎

简介 – TensorSharp 是一个 .NET 10 库，可在本地运行 GGUF 格式的 LLM。它可以通过命令行工具、模拟 Ollama/OpenAI API 的 Web 服务器使用，或嵌入任何 .NET 应用程序中。该引擎内置纯 C# 的 CPU 内核以及 CUDA、Metal 和 Vulkan 的原生后端，让您能在 Windows、macOS 和 Linux 上运行，无论是否有 GPU 皆可工作。

主要功能

• 模型支持 – 支持数十种文本、推理和多模态系列（Gemma 4、Qwen 3.x、DeepSeek V4、Mistral 3 等），以及扩散式文字转图像、图像编辑、影音生成和嵌入模型。
• 后端 – ggml_cpu (纯 C#)、ggml_cpu 原生、ggml_cuda、ggml_metal、ggml_vulkan。您可以选择最适合您硬件的后端。
• 服务功能 – 连续批处理 (continuous batching)、具备前缀共享的分页 KV 缓存、推测解码 (speculative decoding)、张量并行处理 (tensor-parallelism) 以及工具调用/代理技能。
• API – CLI (TensorSharp.Cli)、提供 Ollama 兼容与 OpenAI 兼容端点的 Web UI/服务器 (TensorSharp.Server.Host)，以及增加文件、Shell 和文档工具工作流的 TensorAgent 桌面/移动应用。
• 性能 – 经与 llama.cpp 基准测试比较；在 RTX 3080 笔记本 GPU 上，TensorSharp 在多个模型上的预填充 (pre-fill) 和解码速度快了 1.0-1.3 倍。

如何开始

1. 下载适用于您操作系统的预构建版本（CPU 或 CUDA 版本）。
2. 获取一个 GGUF 模型，例如从 HuggingFace 下载 Gemma 4 E4B。
3. 运行 CLI：

   dotnet run --project TensorSharp.Cli -- --model models\gemma-4-E4B-it-Q8_0.gguf \
       --backend ggml_cuda --input prompt.txt --max-tokens 128
   

   （在 Apple Silicon 上使用 ggml_metal，AMD/Intel GPU 使用 ggml_vulkan，或仅使用 CPU 时使用 ggml_cpu）。
4. 若要启动服务器，请运行 TensorSharp.Server.Host – 它会监听 0.0.0.0:5000 并提供浏览器聊天 UI 及 API 端点。
5. 若要获得完整的桌面体验，请安装 TensorAgent（macOS 为 DMG/PKG，Windows 为 MSI/ZIP）。该应用整合了运行环境，让您可以下载模型、附加文件并运行代理技能。

适用对象 – 希望在本地运行 LLM 而无需依赖以 Python 为中心技术栈的 .NET 开发人员，以及任何需要一个能跨 CLI、Web-API 和原生桌面/移动客户端工作的单一引擎的用户。

文档与资源 – 仓库包含详尽的文档：快速入门指南、后端选择表、模型系列卡片、功能深入探讨（连续批处理、推测解码、代理技能）、基准测试表，以及一本链接至两本 Amazon 出版书籍的“书籍指南”，详细介绍了代码内容。

授权 – 请参阅仓库中的 LICENSE 文件（标准开源条款）。

---

以上所有信息均直接取自仓库的 README；未添加任何外部假设。