ICIJ/datashare

解决的问题

Datashare 为记者和研究人员提供了一种安全的自托管方式，用于搜索和分析海量异构数据。它消除了对外部云服务的依赖，使用户能够在完全控制敏感材料的同时处理数百万份文档。

工作原理

该平台可接收多种文件类型（PDF、电子邮件、电子表格、图像和归档文件），对扫描件和图像使用 OCR 提取文本，并通过元数据和命名实体提取丰富数据。它使用 Elasticsearch 对这些信息进行索引，并将数据存储在 PostgreSQL 中，通过 REST API 和搜索用户界面公开结果。

适用人群

专为需要安全处理大规模文档泄露或档案的调查记者、独立记者以及中小型至大型新闻机构设计。

主要亮点

• 全文搜索：支持 PDF、电子邮件、办公文档、图像和归档文件。
• OCR 集成：将图像和扫描件中的视觉文本转换为可搜索的文本。
• 命名实体提取：自动检测人物、组织、地点和电子邮件地址。
• 高级查询：支持布尔、通配符和模糊查询，并结合分面筛选功能。
• 协作工具：包含团队/服务器模式，支持共享标签和推荐。
• 可扩展性：采用插件架构，支持自定义模块。