ICIJ/datashare

해결하는 문제

Datashare는 기자와 연구자가 대량의 다양한 형식의 데이터를 안전하게 검색하고 분석할 수 있도록 하는 보안성 높은 자체 호스팅 방식을 제공합니다. 민감한 유출 문서를 처리할 때 외부 클라우드 서비스에 의존할 필요 없이, 사용자가 자료를 완전히 통제하면서 다양한 파일 형식을 대상으로 복잡한 검색을 수행할 수 있습니다.

작동 방식

이 플랫폼은 PDF, 이메일, 스프레드시트, 이미지 등 다양한 파일 형식을 수신하고, 스캔된 문서의 경우 OCR을 사용해 텍스트를 추출하며, 메타데이터와 명명된 엔티티 추출을 통해 데이터를 풍부하게 합니다. 이 정보는 Elasticsearch를 사용해 인덱싱하고 PostgreSQL에 저장하며, REST API와 전용 검색 사용자 인터페이스를 통해 결과를 노출합니다.

대상 사용자

대규모 문서 유출 또는 아카이브를 안전하게 처리하고 질의할 필요가 있는 조사 기자, 뉴스룸, 연구자들을 위한 것입니다.

주요 기능

• 다양한 형식 지원: PDF, 이메일, 사무 문서, 이미지, 아카이브 파일을 인덱싱 가능.
• 자동 풍부화: 사람, 조직, 장소와 같은 명명된 엔티티를 자동으로 탐지.
• 통합 OCR: 스캔 및 이미지 내 시각적 텍스트를 검색 가능한 텍스트로 변환.
• 고급 쿼리: 부울, 와일드카드, 퍼지 쿼리에 페싯 필터를 결합한 검색 지원.
• 협업 도구: 팀/서버 모드로 태그와 추천을 공유할 수 있는 기능 포함.