xxnuo/MTranServer

MTranServer – 离线翻译服务器

它是什么

• 一个自托管的翻译服务，可在普通 PC 上运行（无需 GPU）。它使用 ONNX-runtime 模型（源自 Mozilla 的翻译模型）在多种语言对之间进行翻译，尤其是英汉和德英。
• 提供本地 HTTP API，模拟流行的翻译 API（DeepL、Google Translate 等），使现有插件和脚本可以指向它。

主要特性

• 零 GPU、仅 CPU 推理，基于 ONNX Runtime；自动选择最佳 CPU 线程数和执行模式。
• 跨平台桌面客户端（Windows、macOS、Linux），带系统托盘 UI 和内置 Swagger UI 用于测试。
• Docker 支持 – 可通过简单的 docker compose 文件作为容器运行。
• 插件兼容性 – 提供即插即用的端点（/deepl、/google/...、/kiss、/imme 等），使 VS Code、浏览器扩展和其他翻译工具无需修改代码即可工作。
• 离线模式 – 首次在线下载语言对后，服务可完全离线运行。
• 命令行控制 – 提供主机/端口、UI 开关、缓存大小、工作线程空闲超时和显式模型下载等标志。

如何获取

1. 桌面应用 – 从 GitHub Releases 页面下载相应安装程序；它会添加托盘图标并自动启动服务器。
2. npm 包 – npm i -g mtranserver && mtranserver（或 bunx、pnpm 等）。
3. Docker – 拉取 xxnuo/mtranserver:latest 并使用提供的 compose.yml 运行（绑定 models 和 config 目录）。

运行服务器

# 通过 npm 快速启动
npx mtranserver@latest

# 或使用 Docker
docker pull xxnuo/mtranserver:latest
docker compose up -d

• 首次请求某个语言方向时，服务器会下载所需的 ONNX 模型文件（需要互联网）。后续请求会复用缓存文件。
• 使用 mtranserver --help 查看所有选项（主机、端口、UI、离线标志、缓存大小等）。

生态系统

• MTranCode – VS Code/Cursor 扩展，通过调用 http://localhost:8989 翻译代码注释。
• MTranBrowser – 浏览器扩展（仍在开发中），也可以与本地服务器通信。
• 服务器 API 在 API.md 中记录，并在启用 UI 标志时通过 http://localhost:8989 的 Swagger UI 暴露。

性能（v5 ONNX）

• 在 Intel i5-14400 上，英译汉短句平均 11 毫秒（约 86 请求/秒），使用 6 个 CPU 线程；段落约 28 毫秒。
• 与之前的 5.0.1 版本相比，吞吐量大约翻倍（例如，英译汉短句吞吐量提升 1.78 倍）。
• 加载英译汉模型的内存占用峰值约为 392 MiB。

为什么重要

• 提供注重隐私的云翻译服务替代方案——您的文本永远不会离开您的机器。
• 可在普通硬件上运行，使本地翻译对开发者、作家以及任何需要快速概要翻译且无需 GPU 的人可用。

链接

• 演示 UI：https://MTranServer.ipacel.cc/ui/
• GitHub：https://github.com/xxnuo/MTranServer
• 相关项目：Bergamot（灵感）、ONNX Runtime、Mozilla 翻译模型。