eyelevelai/groundx-on-prem

A Kubernetes deployable instance of GroundX for document parsing, storage, and search.

什么是 GroundX On-Prem？

GroundX On-Prem 是一个基础设施即代码（Infrastructure-as-Code）包，允许您在自己的 Kubernetes 集群中运行 EyeLevel AI 的 RAG（检索增强生成）管道——即使在气隙、完全隔离的环境中也是如此。它捆绑了三个部分：

GroundX Ingest – 一个视觉模型（在超过 100 万页企业文档上训练），用于解析复杂文档，提取文本、布局、表格等，并创建供 LLM 使用的语义对象和向量嵌入。
GroundX Store – 用于原始文件、提取的对象和向量嵌入的加密存储。
GroundX Search – 基于 OpenSearch 的服务，结合传统文本搜索、向量相似性和经过微调的重排序模型，以返回高度相关的结果。

该仓库提供 Helm 图表、values.yaml 模板以及可选的 Terraform 脚本（仅限 AWS），用于配置所需的 Kubernetes 资源（命名空间、PV 类、NVIDIA GPU Operator，以及 Redis、MySQL、MinIO、OpenSearch、Kafka 等支持服务）。它被宣传为“无外部依赖”的部署，适用于安全的本地或私有云使用。

关键组件

组件	角色	部署说明
Ingest Service	基于视觉的文档理解（OCR、布局检测、表格提取）	在启用 GPU 的节点上运行（`eyelevel‑gpu‑layout`）。需要 NVIDIA GPU Operator 和 CUDA 12+。
Store	安全的对象和向量存储	使用 MinIO（或外部 S3）存储 Blob，使用 OpenSearch 存储向量；两者都可以部署或指向现有集群。
Search Service	带有重排序器的文本 + 向量检索	部署在基于 OpenSearch 的节点上（`eyelevel‑gpu‑ranker`）。
Redis	缓存和指标	可选 – 可以使用现有的 Redis 集群或让 Helm 创建一个。
MySQL	元数据持久化	与 Redis 相同的可选模式。
Kafka / SQS	摄取管道的异步作业队列	可选；可以替换为 AWS SQS。
NVIDIA GPU Operator	在 GPU 节点上安装驱动程序、设备插件和运行时	任何基于 GPU 的 Pod 都需要。

安装概述

先决条件 – bash、kubectl（或 oc）以及 Helm v3.8+。具有足够 CPU、RAM、磁盘和 NVIDIA GPU（CUDA 12+）的 Kubernetes 集群。 |
节点组标记 – Pod 通过 nodeSelector/tolerations 进行调度，使用 eyelevel_node 标签，值如 eyelevel‑cpu‑only、eyelevel‑gpu‑layout 等。默认的 values.yaml 定义了这些标签；您必须将它们应用到实际节点。 |
命名空间和 PV 类 – 通过提供的 groundx-storageclass 图表创建命名空间（默认 eyelevel）和 PersistentVolume 类。 |
GPU Operator – 安装 NVIDIA 的 GPU Operator（Helm 图表）– 提供了可选的 Azure 特定值。 |
支持服务 – 部署或指向现有的 Redis、MySQL、MinIO、OpenSearch 和 Kafka 集群。 |
部署 GroundX – 使用自定义的 values.yaml（反映您的节点标签、资源限制和任何外部服务端点）运行 GroundX Helm 图表（helm install groundx groundx/groundx ...）。 |
（可选）自动扩缩容和监控 – 通过图表的标志启用 Horizontal Pod Autoscaler、自定义指标服务器和 Prometheus 集成。 |

工作原理

摄取管道：文档通过 SDK 或 API 上传。layout Pod（GPU）运行 OCR 和布局检测，pre‑process Pod 清理数据，summary Pod 生成简洁的嵌入。结果存储在 MinIO 中，并在 OpenSearch 中建立索引。
搜索：用户向 Search API 发送自然语言查询。OpenSearch 执行混合文本-向量查找，然后 ranker 模型（GPU）重新排序命中项以提高相关性。
安全性：所有数据都保留在集群内部；存储是加密的，并且部署可以在气隙网络中运行。

SDK 和 API

README 提到了现成的 SDK（语言无关）和 REST 端点，但没有详细说明。部署后，您可以：

获取公共 API 端点（通过 kubectl get svc 或 Helm 输出）。
使用提供的客户端库（可能是 Python/JS）调用 /ingest 和 /search 端点。

谁可能会使用这个？

需要在专有文档（法律、医疗、金融）上进行机密 RAG 的企业，且无法将数据发送到公共云。
拥有现有 Kubernetes/GPU 基础设施并希望获得交钥匙 RAG 堆栈的组织。
希望扩展管道（自定义模型、额外后处理）同时通过 Helm 管理核心服务的团队。

未包含的内容

实际的模型二进制文件不在仓库中；它们在 Helm 安装期间作为容器镜像拉取。
没有托管 SaaS – 仓库是本地版本；托管版本存在于 eyelevel.ai。
“Legacy Terraform Deployment”部分仅指向用于 AWS 基础设施的旧脚本；主要路径是在现有集群上使用 Helm。

底线：GroundX On-Prem 是一个真正的生产级开源项目，提供企业级检索增强生成（RAG）的完整堆栈（摄取、存储、搜索），以 Kubernetes IaC 形式交付，并附有详细的资源规划指导。