addyosmani/chatty

解決的問題

Chatty 提供一個完全在瀏覽器內運行的私有、離線可用的 AI 聊天體驗。無需伺服器端處理，確保使用者資料與上傳的文件始終保留在本地裝置上。

工作原理

該應用利用 WebGPU 在使用者硬體上原生運行大型語言模型（LLM）。它整合了 WebLLM 用於模型執行，並使用 XenovaTransformerEmbeddings 和 MemoryVectorStore 實現本地 RAG（檢索增強生成），使使用者無需將檔案傳送至雲端伺服器即可與上傳的 PDF 和文字檔案進行對話。

適用對象

希望擁有類似 ChatGPT 的介面，但需要嚴格資料隱私、離線存取能力，或希望在瀏覽器中直接運行開源模型（如 Llama 3、Gemma 和 Mistral）的使用者。

主要亮點

• 本地執行： 透過 WebGPU 完全在客戶端運行，實現最大隱私保護。
• 本地檔案聊天： 支援上傳 PDF 和程式碼檔案，實現本地查詢。
• 離線模式： 初始模型下載後，無需網路連接即可使用。
• 廣泛模型支援： 兼容 Llama 2、Llama 3、Gemma 和 Mistral 等主流開源模型。
• 豐富 UI： 包含 Markdown 渲染、程式碼強調、語音輸入和深色/淺色模式。