Headmaster218/MoE4All

Run MoE models beyond VRAM on AMD, NVIDIA & Intel GPUs. Vulkan-powered, portable Windows app with automatic setup. | 让游戏显卡跑起超显存大模型，支持 AMD、NVIDIA、Intel，免安装、自动配置。只需13MB，即下即用！

解决的问题

MoE4All 允许用户运行超出本地 GPU 显存容量的大型混合专家（MoE）AI 模型。它通过在 SSD、系统内存和 GPU 显存之间智能管理模型权重，在消费级硬件（AMD、NVIDIA 和 Intel）上实现高性能推理。

工作原理

它采用分层存储架构，将 SSD、内存和显存视为统一的内存池。由于 MoE 模型每个 token 只激活总参数中的一小部分，引擎将频繁使用的“专家”权重保留在显存中，同时将其余权重卸载到内存或 SSD。它利用 Vulkan 实现跨平台 GPU 加速，并提供与 OpenAI 兼容的 API，以便与现有聊天客户端集成。

适用人群

本项目面向拥有消费级 GPU 的用户，他们希望在没有企业级硬件的情况下本地运行大型高参数 LLM。对于希望在有限显存上尝试长上下文模型或执行并发推理任务的用户尤其有用。

亮点

  • 跨平台支持：在 Windows、Linux 和 Apple Silicon 上运行，设置简单。
  • Vulkan 优先推理：利用 Vulkan 在 AMD、NVIDIA 和 Intel GPU 上实现广泛兼容性。
  • 高效内存管理：实现三级缓存系统（SSD/内存/显存）以处理大于物理显存的模型。
  • API 兼容性：提供与 OpenAI 兼容的 API，用于嵌入和聊天服务。
  • 并发处理：支持多个 K/V 槽位，以处理不同上下文长度的并发请求。

相关

  • 项目
    rapidsai/dask-cuda

    一组用于在支持 CUDA 的系统上部署和管理 Dask worker 的工具，以促进 GPU 加速计算。

  • 项目
    pacoxu/AI-Infra

    AI-Infra provides a visual landscape and organized learning path for AI infrastructure engineers, focusing on Kubernetes and cloud-native environments. It guides users through essential components and advanced topics, with links to detailed documentation and community resources.

  • 项目
    supermemoryai/llm-bridge

    LLM Bridge 是一个 TypeScript 库，为 LLM API 提供通用翻译层，使开发者能够在 OpenAI、Anthropic 和 Google 格式之间无缝转换请求、流和工具调用，且零数据丢失。

  • 项目
    HRuiCcc/RuiC-oc-ferry

    OC Ferry 是一款跨平台的 Electron 托盘应用，可自动发现免费的 OpenCode 模型，验证它们能否遵循 WorkBuddy 的工具调用 JSON 封装，缓存结果，并将兼容条目写入 WorkBuddy 的 `models.json`。它还运行一个本地 OpenAI 兼容端点（127.0.0.1:41980），将 WorkBuddy 请求转发到这些模型。无需登录或 API 密钥；该应用捆绑了隔离的 OpenCode 运行时，并处理并发探测、缓存以及模型条目的安全导入/导出。