addyosmani/chatty

解决的问题

Chatty 提供一个完全在浏览器内运行的私有、离线可用的 AI 聊天体验。无需服务器端处理，确保用户数据和上传的文档始终保留在本地设备上。

工作原理

该应用利用 WebGPU 在用户硬件上原生运行大型语言模型（LLM）。它集成了 WebLLM 用于模型执行，并使用 XenovaTransformerEmbeddings 和 MemoryVectorStore 实现本地 RAG（检索增强生成），使用户无需将文件发送到云端服务器即可与上传的 PDF 和文本文件进行对话。

适用人群

希望拥有类似 ChatGPT 的界面，但需要严格数据隐私、离线访问能力，或希望在浏览器中直接运行开源模型（如 Llama 3、Gemma 和 Mistral）的用户。

主要亮点

• 本地执行： 通过 WebGPU 完全在客户端运行，实现最大隐私保护。
• 本地文件聊天： 支持上传 PDF 和代码文件，实现本地查询。
• 离线模式： 初始模型下载后，无需互联网连接即可使用。
• 广泛模型支持： 兼容 Llama 2、Llama 3、Gemma 和 Mistral 等主流开源模型。
• 丰富 UI： 包含 Markdown 渲染、代码高亮、语音输入和深色/浅色模式。