rafska/awesome-local-llm

它解决了什么问题

在您自己的硬件上运行大型语言模型（LLM）可能会因为可用工具、引擎和模型的数量庞大而令人不知所措。该项目提供了一个集中、精选的目录，帮助用户浏览本地AI生态系统，从选择推理引擎到为特定任务（如编码或多模态交互）找到合适的模型。

它是如何工作的

该项目作为一个全面的“awesome”列表——一个结构化的链接和简短描述仓库。它将资源分类为逻辑组，如推理平台（用于运行模型）、推理引擎（执行模型的底层技术）、用户界面、特定模型集合和硬件推荐。它还包括教程和社区资源部分，以支持学习过程。

适用人群

此列表专为希望出于隐私、成本效益或定制化原因在本地运行LLM的开发者、研究人员和AI爱好者设计。它同样适用于寻找简单“一体化”应用程序的初学者，以及寻求高性能服务引擎或用于代理工作流的专业模型的高级用户。

亮点

• 推理平台： 精选的用户友好工具，如LM Studio、Ollama和Jan，用于本地运行模型。
• 推理引擎： 深入探讨支持本地AI的技术后端，包括llama.cpp、vLLM以及针对Apple Silicon、NVIDIA和AMD的硬件特定优化。
• 模型目录： 按类别列出的模型，适用于通用、编码、视觉和音频任务，包括来自Mistral、NVIDIA和Qwen等主要实验室的集合。
• 代理与工具生态系统： 用于构建AI代理的资源，包括浏览器自动化、内存管理和RAG（检索增强生成）框架。
• 学习资源： 涵盖提示工程、上下文管理以及模型训练/微调的教程集合。