SciSharp/LLamaSharp

解决的问题

LLamaSharp 提供了一种无需手动编译 C++ 代码即可在设备上本地运行 LLaMA 等大型语言模型（LLM）的方法。它通过提供高级 API 和检索增强生成（RAG）支持，简化了将 LLM 部署到应用程序中的过程。

工作原理

这是一个基于 llama.cpp 的 C# 库，可在 CPU 和 GPU 上实现高效的推理。它使用原生“后端”（Windows、Linux 和 Mac 的预编译库）来处理模型执行的繁重任务。该库支持 GGUF 模型格式，这是一种将原始 PyTorch 或 Huggingface 格式的模型进行量化后的版本，以减少内存使用。

适用人群

希望将本地 LLM 集成到其 .NET 应用程序中的开发人员，包括开发桌面应用（WPF）、Web 应用（ASP.NET、Blazor）或游戏引擎（Unity）的开发者。

主要亮点

• 跨平台支持：支持 Windows、Linux 和 Mac。
• 硬件加速：支持 CPU、CUDA、Metal 和 Vulkan 后端，实现 GPU 卸载。
• RAG 支持：内置检索增强生成（RAG）功能。
• 多模态能力：支持多模态模型（例如 LLaVA）。
• 广泛的模型兼容性：兼容多种模型，包括 Llama 3.1、Gemma 和 DeepSeek R1，通过 GGUF 格式。