mlc-ai/web-llm-chat

Chat with AI large language models running natively in your browser. Enjoy private, server-free, seamless AI conversations.

解决的问题

WebLLM Chat 解决了需要云服务器来运行 AI 模型的问题。它允许用户完全在 Web 浏览器中进行私有的 AI 对话,确保没有任何数据离开本地机器。

工作原理

它利用 WebGPU 技术直接在您的计算机硬件上运行大型语言模型 (LLMs)。通过利用 WebLLM 引擎,该界面在浏览器中处理所有 AI 任务,这意味着即使在初始下载完成后,即使没有互联网连接,您也可以继续使用聊天功能。

适用人群

该工具适用于任何希望在保持严格数据隐私的同时使用 AI 聊天模型的人,以及希望构建或自定义自己的基于浏览器的 AI 应用程序的开发人员。

主要亮点

  • 浏览器原生 AI:使用 WebGPU 加速在本地运行模型。
  • 隐私保障:数据保留在您的设备上,绝不会发送到云服务器。
  • 离线功能:设置完成后,无需有效的互联网连接即可完全运行。
  • 视觉支持:允许您上传图像供 AI 分析。
  • 自定义模型集成:支持通过 MLC-LLM REST APIs 连接到您自己的模型。
  • 用户友好:包含 markdown 支持、深色模式和响应式设计。

相关

  • 项目
  • 项目
  • 项目
  • 项目