Ryan-yang125/ChatLLM-Web
Private local model studio, AI chat, and agent workspace powered by WebGPU and WebLLM.
何を解決するか
ChatLLM Web は、大規模言語モデル（LLM）と対話するための完全にプライベートでブラウザネイティブな環境を提供します。WebGPU を使用してモデルをユーザーのデバイス上で直接実行するため、外部サーバー、APIキー、アカウントの必要がありません。会話やデータはすべてローカルマシンから離れることなく、安全に保たれます。
動作方法
アプリケーションは WebLLM を使って専用のウェブワーカーでモデルを実行し、WebGPU を介してデバイスのGPUを活用して推論を行います。モデルアセット（重みとWASM）はブラウザのCache APIで管理され、会話履歴、設定、生成されたアーティファクトはIndexedDBに保存されます。モデルスタジオではデバイスの能力を検出することで互換性のあるモデルを推奨し、HTTPS経由でカスタムMLCマニフェストをインポートできる機能も備えています。
対象ユーザー
プライベートなAIワークスペースを求めるユーザー、ローカルなコードアシスタントを探している開発者、複雑なローカル環境を構築せずにさまざまな量子化されたオープンソースモデルを試したいパワーユーザーに最適です。
主な特徴
- ローカルエージェントワークスペース：Hermesなどの特定モデルとネイティブな関数呼び出しをサポートし、ローカルファイルの検索や算術計算などのタスクを実行可能。
- アーティファクト管理：コミット前にライン差分レビューを経て、保存されたアーティファクトの作成と更新が可能。
- 豊富なモデルカタログ：20種類のキュレート済みモデル（チャット、コード、推論、ビジョン）と、65種類以上の公式ロジカルモデルへのアクセスを提供。
- プライバシー最優先：バックエンドもテレメトリもAPIキーも不要。すべての処理とストレージはブラウザ内でローカルに実行されます。
- ローカルコンテキスト：テキスト、Markdown、JSON、コードファイルを直接モデルのコンテキストとして添付可能。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト