janhq/jan

解决的问题

Jan 是一个以隐私为首要考虑的开源 ChatGPT 替代品，允许用户在自己的硬件上本地运行大型语言模型（LLMs），或连接到基于云的 AI 服务，从而完全掌控自己的数据和模型选择。

如何工作

Jan 是一个使用 Tauri 构建并由 llama.cpp 驱动的桌面应用程序。它允许用户直接从 HuggingFace 下载并运行开源模型（如 Llama、Gemma 和 Qwen）。同时，它还支持与 OpenAI、Anthropic 和 Groq 等提供商的云 API 集成。对于开发者，它在 localhost:1337 上托管一个本地 OpenAI 兼容 API 服务器，并支持 Model Context Protocol (MCP) 以实现代理功能。

适用人群

专为希望在保持隐私的同时，使用友好界面与 AI 模型交互的用户，以及需要为其他应用提供本地 AI 服务器的开发者设计。

主要亮点

• 本地模型执行：在本地运行 LLM 以确保数据隐私。
• 云集成：连接到多种外部 AI 提供商，包括 OpenAI 和 Claude。
• 自定义助手：创建针对特定任务量身定制的 AI 助手。
• OpenAI 兼容 API：提供本地服务器，便于与其他工具无缝集成。
• MCP 支持：与 Model Context Protocol 集成，实现代理功能。