ICIJ/datashare

解决的问题

Datashare 为记者和研究人员提供了一种安全、自托管的方式，用于搜索和分析海量的异构数据。在处理敏感的泄露文档时，无需依赖外部云服务，用户可以完全掌控自己的资料，同时对多种文件类型执行复杂的搜索。

工作原理

该平台可接收多种文件格式（包括 PDF、电子邮件、电子表格和图像），对扫描件使用 OCR 提取文本，并通过元数据和命名实体提取对数据进行增强。这些信息使用 Elasticsearch 进行索引，并存储在 PostgreSQL 中，通过 REST API 和专用搜索用户界面暴露结果。

适用人群

专为需要安全处理和查询大规模文档泄露或档案的调查记者、新闻机构和研究人员设计。

主要亮点

• 多格式支持：支持索引 PDF、电子邮件、办公文档、图像和归档文件。
• 自动增强：自动检测人物、组织和地点等命名实体。
• 集成 OCR：将扫描件和图像中的视觉文本转换为可搜索的文本。
• 高级查询：支持布尔、通配符和模糊查询，并可结合分面过滤器使用。
• 协作工具：包含团队/服务器模式，支持共享标签和推荐。