ICIJ/datashare

해결하는 문제

Datashare는 기자와 연구자가 대규모의 다양한 데이터를 안전하게 검색하고 분석할 수 있도록 자체 호스팅 방식을 제공합니다. 외부 클라우드 서비스에 의존할 필요 없이, 사용자가 민감한 자료를 완전히 제어하면서 수백만 개의 문서를 처리할 수 있습니다.

작동 방식

이 플랫폼은 PDF, 이메일, 스프레드시트, 이미지, 아카이브 등 다양한 파일 형식을 수신하고, 스캔 및 이미지의 텍스트를 OCR을 통해 추출합니다. 이후 메타데이터와 명명된 엔티티 추출을 통해 데이터를 풍부하게 하고, Elasticsearch를 사용해 정보를 인덱싱하며 PostgreSQL에 저장합니다. 결과는 REST API와 검색 사용자 인터페이스를 통해 공개됩니다.

대상 사용자

대규모 문서 유출 또는 아카이브를 안전하게 처리해야 하는 조사 기자, 단독 기자, 중소형에서 대형 뉴스룸에 적합합니다.

주요 기능

• 전체 텍스트 검색: PDF, 이메일, 사무 문서, 이미지, 아카이브를 지원합니다.
• OCR 통합: 이미지 및 스캔된 문서의 시각적 텍스트를 검색 가능한 텍스트로 변환합니다.
• 명명된 엔티티 추출: 사람, 조직, 장소, 이메일 주소를 자동으로 탐지합니다.
• 고급 쿼리: 부울, 와일드카드, 퍼지 쿼리에 페싯을 결합한 기능을 제공합니다.
• 협업 도구: 팀/서버 모드로 태그와 추천을 공유할 수 있습니다.
• 확장성: 사용자 정의 모듈을 위한 플러그인 아키텍처로 구축되어 있습니다.