AI 기반 기록물 마이닝, 잊힌 운석, 잃어버린 코뿔소, 기록되지 않은 화산 폭발을 밝혀내다

핵심 요점

AI 지원 연구는 수백 년 된 OCR 노이즈가 많은 기록물을 검색 가능한 의미론적 벡터로 변환하여, 단일 GPU로 200년 이상 보이지 않았던 역사적으로 중요한 사실을 표면화할 수 있습니다. 이 프로젝트에서 저자는 잊힌 운석 보고서, 기록되지 않은 코뿔소 선물 3건, 그리고 세계 화산 활동 프로그램(Global Volcanism Program)에 등재되지 않은 화산 폭발 3건을 발견했습니다.

파이프라인 작동 방식

결과: 이 워크플로우는 네덜란드 동인도 회사 페이지 435만 장, 네덜란드 및 미국 신문, 선박 항해 일지를 12시간의 야간 실행으로 처리했습니다.

데이터 소스 – 네덜란드 동인도 회사(1600-1799)의 GLOBALISE 전사본, 디지털화된 네덜란드 국립 도서관 신문, 2세기 분량의 미국 신문, 선별된 선박 항해 일지.
의미론적 인덱싱 – 각 구절은 570만 벡터 저장소에 임베딩되어 키워드 일치가 아닌 의미 기반 검색을 가능하게 했습니다. 이는 17세기 철자 변형에 필수적입니다.
2단계 필터링 – 저렴한 "System One" 모델(Jev)이 약 3달러의 비용으로 동물 언급 59,000건의 관련성을 선별했습니다. Jev가 플래그한 구절만 더 큰 Claude Haiku 모델에 전달되어 번역, 날짜 추출, 맥락 수집이 이루어졌습니다.
인간 참여 검증 – 저자는 원본 스캔을 검토하고, 전문 카탈로그와 교차 확인했으며, 알려진 사건(예: 도도 저널, 1783년 라키)을 새 발견을 찾기 전에 온전성 테스트로 사용했습니다.

"당신은 그것이 거기에 있다는 것을 압니다. 탐지기가 그것을 찾지 못한다면, 탐지기에 문제가 있다는 것을 아는 것입니다." – 저자, 검증 단계를 설명하며.

1812년의 잊힌 운석

발견: Java Government Gazette(1812년 12월 19일)에 재인쇄된 편지는 1812년 8월 6일 마하라슈트라 주 코쿠르가움 근처에서 천둥구름에서 떨어진 4파운드의 철분이 풍부한 돌을 설명합니다.

이 설명은 교과서적인 운석 기준과 일치합니다: 무거운 철 함량, 검은 껍질, 들리는 천둥, 얕은 매몰.
이 사건은 주요 운석 카탈로그(Chladni 1819, 대영 박물관, 1933년 인도 운석 목록, Meteoritical Bulletin)와 자연사 박물관 소장품 어디에도 없습니다.
100개 정기 간행물(1812-1817)에 대한 AI 기반 검색에서 후속 보고를 찾지 못해 그 희소성이 확인되었습니다.

역사적 중요성: 검증된다면, 이는 마하라슈트라에서 기록된 가장 오래된 운석 낙하가 되어, 이전 최고 기록보다 26년 앞서게 됩니다.

세 마리의 잃어버린 자바 코뿔소

발견: 기록 보관소 편지는 네덜란드 동인도 회사가 캔디 왕(스리랑카)에게 살아있는 자바 코뿔소를 선물하려 했던 세 번의 별도 시도(1738-1740)를 보여줍니다.

1738년 포획 – 바타비아 숲에서 살아있는 코뿔소 한 마리가 잡혀 배로 운송되었습니다. 콜롬보 말 마구간에서 죽었습니다.
1739년 대체 – 죽음 이후, 페르시아 승용마가 대신 보내졌습니다.
1740년 Loverendaal 항해 – 두 마리의 코뿔소(수컷과 암컷)가 실렸습니다. 둘 다 항해 중 죽었으며, 선원들의 선서 진술로 문서화되었습니다.

편지에는 정확한 날짜, 선박 이름(Loverendaal), 공식 총독 커뮤니케이션이 포함되어 있습니다.
기존의 사육 코뿔소 카탈로그에는 이러한 선적이 없어, 이 종의 역사적 분포에 대한 새로운 데이터 포인트가 될 수 있습니다.
문서에는 1772년 반탐 고지대에서 코뿔소가 풍부했다는 관찰도 포함되어 있어, 이 종의 과거 서식 범위에 대한 드문 시각을 제공합니다.

기록되지 않은 화산 폭발

발견: 769건의 분화 언급을 스미소니언 세계 화산 활동 프로그램과 교차 참조한 결과, 공식 목록에 없는 세 건의 분화가 확인되었습니다.

화산	날짜	동시대 설명
감코노라(할마헤라)	1722년 2월 3일	화산재가 테르나테를 덮고, 하루 종일 어두웠으며, 빛나는 화산재로 나무가 죽었습니다.
치레마이(서자바)	1712년 초	몇 주간의 화산재와 연기, 자바 남동부 위로 푸른빛 화산재, 농작물 파괴.
슬라멧(중부 자바)	1780년 2월	"테갈의 이전 불타는 산"이 격렬하게 타오르는 것으로 묘사됨.

각 기록은 원본 네덜란드 편지와 대조 검증되었고 지역 지리와 일치하여 AI의 잘못된 귀속을 반증했습니다.
온전성 검사는 잘 알려진 1711년 아우 분화를 성공적으로 검색하여 파이프라인 신뢰성을 확인했습니다.

역사적 중요성: 화산학자들이 확인하면, 이 세 사건은 도구적 분화 기록을 거의 3세기 앞당길 것입니다.

작동하지 않은 것: 1808년 미스터리 분화

시도: 파이프라인은 빙하 코어의 황산염 스파이크에서 추론된 제대로 이해되지 않은 1808/09년 분화에 적용되었습니다.

네덜란드, 미국, 남미, 인도 신문(633개 기사)에 대한 철저한 검색에서 동시대 관찰이 발견되지 않았습니다.
실패는 조사된 말뭉치에 기록된 기록이 살아남지 못했음을 시사합니다. 남은 단서는 전사되지 않은 동인도 회사 항해 일지 1,235권에 있습니다.

기타 신문의 기이한 기록(미검증)

AI는 또한 460건의 하늘 현상 보고를 표면화했습니다. 몇 가지 주목할 만하지만 검증되지 않은 예는 다음과 같습니다:

프리슬란트 해안에서의 "공중 기마병"(1781년 9월 23일).
노스캐롤라이나주 킴니 록에서의 유령 군중(1806년).
본 근처의 100파운드 "에어로라이트"(1816년).
스웨덴의 흑적색 달 무리(1802-03년 겨울).

이들은 원본 스캔이 검토될 때까지 일화로 남아 있습니다.

현재 상태 및 다음 단계

검증 대기 중 – 저자는 운석 큐레이터(Kees Rookmaaker)와 화산학자에게 연락했습니다. 전문가 검토가 발견물이 진정으로 새로운 것인지 결정할 것입니다.
오픈소스 툴킷 – 워크플로우는 Antiquity(https://github.com/jessewaites/antiquity)로 공개되어 다른 사람들이 방법론을 복제하거나 확장할 수 있습니다.
향후 연구 – 잠재적 주제로는 난파선 화물 기록, 잊힌 기상 이변, 기타 덜 탐구된 기록 보관소 영역이 있습니다.

커뮤니티 반응(HN 하이라이트)

"훌륭한 작업이며, 성과에 대한 감사를 방해하는 반사적인 반 AI 정서가 유감입니다." – @Ariarule

"이런 종류의 연구를 접근 가능하게 만들기 위해 워크플로우를 오픈소스로 공개합니다... Antiquity." – @whythismatters

"저자가 네덜란드 동인도 회사에 대해 얼마나 많이 배웠을지 궁금해집니다." – @sorokod (도메인 지식의 깊이에 회의적).

"매우 멋집니다. 저는 현대 정치 여론 미디어에 대한 유사한 프로젝트를 진행 중입니다." – @acgourley (무거운 전처리를 다른 말뭉치로 확장 제안).

이것이 중요한 이유

이 프로젝트는 의미론적 AI 파이프라인이 최소한의 인간 노동으로 방대하고 노이즈가 많은 역사적 말뭉치에서 숨겨진 사실을 잠금 해제할 수 있으며, 수백 년 된 기록물을 실행 가능한 지식으로 전환할 수 있음을 보여줍니다. 더 많은 디지털화된 컬렉션이 공개됨에 따라, 유사한 워크플로우가 과학 카탈로그, 생물다양성 기록, 지질학적 사건 데이터베이스를 체계적으로 풍부하게 할 수 있습니다.

인용된 모든 구절은 저자의 출처 섹션에 나열된 원본 스캔으로 연결됩니다.