ICIJ/datashare

何を解決するか

Datashareは、ジャーナリストや研究者が大量の異種データを安全に検索・分析できる自己ホスト型の方法を提供します。外部クラウドサービスへの依存を排除し、ユーザーが機密資料を完全にコントロールしながら、何百万ものドキュメントを処理できるようにします。

動作方法

このプラットフォームは、PDF、メール、スプレッドシート、画像、アーカイブなどさまざまなファイル形式をインジェストし、スキャンや画像のテキストをOCRで抽出してテキストを抽出します。その後、メタデータと名前付きエンティティ抽出によりデータを拡張します。Elasticsearchでこの情報をインデックス化し、PostgreSQLに保存し、REST APIと検索用のユーザーインターフェースを通じて結果を公開します。

対象ユーザー

大規模な文書漏洩やアーカイブを安全に扱う必要がある、インベスティゲイティブジャーナリスト、単独記者、中小から大手のニュースルーム向けに設計されています。

特徴

• 全文検索: PDF、メール、オフィス文書、画像、アーカイブをサポート。
• OCR統合: 画像やスキャンされた文書の視覚的テキストを検索可能なテキストに変換。
• 名前付きエンティティ抽出: 人物、組織、場所、メールアドレスを自動検出。
• 高度なクエリ: ブール検索、ワイルドカード、ファジー検索に加え、ファセットを組み合わせた機能。
• 共同作業ツール: タグや推薦を共有できるチーム/サーバーモードを備えています。
• 拡張性: カスタムモジュール用のプラグインアーキテクチャで構築されています。