NVIDIA Llama Nemotron Nano VL 发布

NVIDIA 宣布发布 Llama Nemotron Nano VL，这是一款 8B 视觉语言模型（VLM），专为智能文档处理（IDP）和光学字符识别（OCR）而设计。该模型针对从复杂文档（包括发票、收据、合同和财务报表）中提取和理解信息进行了优化，并已在 Hugging Face Hub 上提供。

技术架构与创新

Llama Nemotron Nano VL 基于 Llama-3.1-8B-Instruct 语言模型和 C‑RADIOv2‑VLM‑H Vision Transformer（ViT）构建。这种组合使模型能够处理各种视觉元素，包括图表、曲线图和复杂布局。

视觉基础

C‑RADIOv2‑VLM‑H ViT 充当视觉主干，支持对文档的高分辨率处理。关键创新包括：

  • 高分辨率切片（High-Resolution Tiling）： 一种动态聚合编码补丁特征的设计，能够在不牺牲空间连续性或计算效率的前提下支持高分辨率输入。
  • 多分辨率训练（Multi-Resolution Training）： C‑RADIO 使用多种蒸馏技术和乘性噪声在多分辨率数据上进行训练，以提升泛化能力。
  • 宽高比灵活性（Aspect Ratio Flexibility）： 模型能够处理任意宽高比的文档，同时保留局部细节和全局上下文，这对分析小字号文字和多列布局至关重要。

训练方法论

模型经历了两阶段的训练流程：

  1. 预训练（Pre-training）： 通过 Multi‑Layer Perceptron（MLP）连接器聚焦语言与视觉域之间的跨模态对齐。此阶段使用约 150 万条样本的数据集，涵盖公开数据、合成数据和内部策划数据。
  2. 监督微调（Supervised Fine-Tuning，SFT）： 在以 OCR 为中心的数据混合上进行端到端训练，任务包括预测阅读顺序、重建 markdown 格式以及解析 LaTeX 中的数学公式。为确保鲁棒性，NVIDIA 对文档图像施加了仿射和光度增强。

能力与性能

Llama Nemotron Nano VL 在视觉推理和文本识别方面表现出色，在 OCRBench v2 基准上实现了业界领先的性能，并在 ChartQA 与 AI2D 基准上也取得了强劲成绩。

关键功能能力

  • 文本与表格提取： 在文档中定位并提取文本和表格数据的准确率极高。
  • 元素解析： 能够精准识别表格、图表、图片等关键元素。
  • 定位（Grounding）： 支持对查询和输出使用归一化空间（0‑1000）中的边界框坐标，实现文本指涉和可解释性。
  • 多模态输出格式： 可根据提示以 LaTeX、HTML 或 markdown 格式导出表格。

企业使用场景

凭借对布局感知的推理能力以及在单 GPU 上的高效运行，该模型面向多个领域的大规模企业自动化：

  • 金融与会计： 自动从发票和收据中提取明细项和总额，以集成至 ERP 系统。
  • 法律与合规： 审核合同关键条款，并分析身份证件（护照、身份证）以支持 KYC 流程。
  • 医疗健康： 从病历和保险表单中提取患者信息和理赔数据。

部署与定制

Llama Nemotron Nano VL 可通过 NVIDIA NIM API 使用，也可在 Hugging Face 上下载。开发者可使用 NVIDIA NeMo 进一步进行后训练或微调，以适配特定的专有数据集。

Sources