SciSharp/LLamaSharp

解决的问题

LLamaSharp 允许开发人员使用 .NET 生态系统在自己的设备上本地运行大型语言模型 (LLMs)。它弥合了高性能 C++ 推理引擎与 C# 应用程序之间的鸿沟，实现了本地 AI 部署，而无需管理复杂的原生代码编译。

工作原理

它充当了 llama.cpp 的 .NET 包装器，这是一个广泛用于高效 LLM 推理的 C++ 库。该项目为各种硬件配置（CPU、CUDA、Metal 和 Vulkan）提供了预编译的“后端”包。开发人员加载 GGUF 格式的模型，配置上下文大小和 GPU 层卸载等参数，并使用该库的高级 API 直接在 .NET 应用程序中执行聊天会话或其他语言任务。

适用人群

该库专为希望将本地 LLM 功能集成到桌面、Web 或移动应用程序中的 .NET 开发人员而设计。对于那些需要离线运行 AI 模型、维护数据隐私或避免与基于云的 API 推理相关成本的人来说，它是理想的选择。

主要亮点

• 支持 Windows、Linux 和 macOS 的跨平台支持。
• 通过 CPU、CUDA (NVIDIA)、Metal (Apple Silicon) 和 Vulkan 实现硬件加速。
• 用于聊天会话、RAG（检索增强生成）和流式响应的高级 API。
• 与现有的 .NET 框架（如 ASP.NET、Blazor 和 Unity）轻松集成。
• 由于提供了后端 NuGet 包，无需手动进行 C++ 编译。