addyosmani/chatty

何を解決するか

Chatty は、完全にウェブブラウザ内で動作するプライベートでオフライン対応のAIチャット体験を提供します。サーバーサイドの処理を必要としないため、ユーザーのデータやアップロードされたドキュメントがローカルマシン上に留まります。

動作方法

このアプリケーションは WebGPU を活用して、ユーザーのハードウェア上で大規模言語モデル（LLM）をネイティブに実行します。WebLLM をモデル実行に統合し、XenovaTransformerEmbeddings と MemoryVectorStore を使用してローカル RAG（リトリーバー補強生成）を実現し、ユーザーがクラウドサーバーに送信せずにアップロードした PDF やテキストファイルとチャットできるようにします。

対象ユーザー

データプライバシーを厳格に求めたり、オフラインアクセスが必要なユーザー、または Llama 3、Gemma、Mistral などのオープンソースモデルをブラウザ内で直接実行したいユーザー。

特徴

• ローカル実行: WebGPU を通じて完全にクライアントサイドで実行され、最大限のプライバシーを確保。
• ローカルファイルチャット: PDF やコードファイルのアップロードをサポートし、ローカルでクエリ可能。
• オフラインモード: 初回のモデルダウンロード後はインターネット接続なしでも動作。
• 広範なモデル対応: Llama 2、Llama 3、Gemma、Mistral など人気のオープンソースモデルと互換性あり。
• 豊富なUI: マークダウンレンダリング、コードハイライト、音声入力、ライト/ダークモードを備えています。