Tencent-Hunyuan/HunyuanOCR

HunyuanOCR‑1.5 – 轻量级OCR专用视觉语言模型

是什么

一种端到端的视觉语言模型（VLM），可读取图像中的文本，并支持文档解析、信息提取、表格解析和文本-图像翻译。基于早期的HunyuanOCR‑1.0，但新增两大升级：通过 DFlash 指示解码实现更快推理，以及通过 llama.cpp 实现PC端便捷部署。

核心理念与特性

特性	为何重要
DFlash 指示解码	轻量级“草稿”模型并行预测多个候选token；主模型一次遍历验证，显著减少密集文档、表格或公式中的长自回归解码瓶颈，同时保持相同输出分布。
统一推理环境	基于 `uv` 的环境（CUDA 13）支持三种配置——原生vLLM自回归、DFlash加速、或原生HuggingFace Transformers——使用相同权重和提示，使基准测试变得简单。
通过 llama.cpp 实现PC端部署	模型（及其DFlash草稿）可转换为GGUF格式，并在CPU、消费级GPU或笔记本硬件上通过OpenAI兼容的 `llama-server` 提供服务。
智能数据流	内部管道将模型弱点转化为针对性数据构建任务（如低资源脚本、古汉字、多图像问答），并将这些数据反馈至训练流程。
大上下文与高分辨率	支持最高4K图像分辨率和128K token上下文窗口，支持长文档与多页推理。
全面基准测试	仓库包含多个社区级基准测试（CHAOS‑Bench、Chronicles‑OCR、ChartArena、Wild‑OmniDocBench、MMTIT‑Bench），用于评估幻觉、古文字OCR、图表解析等。

典型应用场景

扫描文档、学术论文、合同或历史手稿的数字化。
直接从图像中提取结构化信息（表格、表单）。
执行OCR驱动的跨语言问答或翻译。
通过 llama.cpp 路径，可在低配硬件（笔记本/CPU）上运行。

快速入门（概览）

设置统一推理环境（需Python 3.12和CUDA 13）：

pip install uv
uv venv --python 3.12 && source .venv/bin/activate
uv pip install "vllm>=0.25.1" "flash-attn==2.8.3"

从HuggingFace下载模型：

pip install -U "huggingface_hub[cli]"
huggingface-cli download tencent/HunyuanOCR --local-dir ./HunyuanOCR --exclude "v1.0/*"

快速启动服务器（vLLM自回归，单GPU）：

MODEL_PATH=./HunyuanOCR GPU=0 PORT=8000 bash inference/vLLM/serve.sh

发送图像（文档解析示例）：

python inference/vLLM/infer_vllm_client.py \
    --image /path/to/doc.png \
    --task-type doc_parse \
    --model tencent/HunyuanOCR \
    --port 8000 --max-tokens 32768

将 doc_parse 替换为 --list-tasks 可查看的12种支持任务类型之一。

可选DFlash加速 – 使用 inference/DFlash/serve_DFlash.sh 脚本；客户端无需修改。
PC端部署 – 使用提供的 convert_hf_to_gguf.py 脚本将检查点转换为GGUF，并按 docs/llama_cpp.md 所述使用 llama.cpp 服务。

训练（如需微调或扩展）

使用 scripts/pack_data.sh 流水线将原始OCR JSONL文件打包为长序列（最多20,480 token）。
在基础模型上运行监督微调（scripts/sft_base.sh）。
从零开始训练新DFlash草稿（scripts/sft_dflash.sh）或继续微调现有草稿（scripts/sft_dflash_finetune.sh）。
所有脚本均支持通过标准 NNODES、MASTER_ADDR 等实现多节点分布式训练，依赖PyTorch 2.1+、DeepSpeed和Flash‑Attention。

文档与进一步阅读

docs/training.md – 详细超参数与分布式设置。
docs/inference/inference.md – 完整推理配方、任务类型表与多GPU指导。
docs/llama_cpp.md – 消费级硬件上转换与服务的分步说明。
基准测试说明位于 benchmarks/CHAOS-Bench 及相关arXiv论文中。

引用若在研究中使用HunyuanOCR‑1.5，请引用README中提供的arXiv论文（2026）。

以上所有信息均直接来自仓库README，未添加任何外部假设。

Tencent-Hunyuan/HunyuanOCR

HunyuanOCR‑1.5 – 轻量级OCR专用视觉语言模型

相关