Anthropic, Claude를 위한 100K 토큰 컨텍스트 창 발표

TL;DR

Anthropic은 Claude의 컨텍스트 창을 9,000에서 100,000 토큰(약 75,000 단어)으로 확장하여, 기업이 수백 페이지의 자료를 모델에 입력하고 몇 시간 대신 몇 초 만에 분석 결과를 받을 수 있도록 했습니다.

대규모 컨텍스트 확장

Claude는 이제 단일 요청에서 최대 100K 토큰을 처리할 수 있으며, 이는 이전 9K 제한보다 10배 이상 증가한 수치입니다. 이 크기는 대략 6시간 분량의 오디오 전사 데이터 또는 일반적인 소설 한 권의 전체 텍스트에 해당합니다.

인간의 독서 속도 대비 우위

인간이 100,000 토큰을 읽는 데 약 5시간이 필요하고 그 내용을 소화하는 데 훨씬 더 오랜 시간이 걸리는 반면, Claude는 동일한 양의 텍스트를 1분 미만으로 흡수할 수 있습니다. 시연에서 Claude-Instant는 단 한 줄이 수정된 Great Gatsby(72K 토큰) 전체를 읽고 22초 만에 그 변화를 식별했습니다.

실질적인 활용 사례

확장된 컨텍스트 창은 여러 비즈니스 중심 워크플로우를 가능하게 합니다:

문서 소화 – 재무제표, 연구 논문 또는 법률 문구와 같은 밀집된 자료를 요약하고 설명합니다.
전략적 분석 – 연간 보고서 전체를 종합하여 리스크와 기회를 포착합니다.
법률 검토 – 대규모 계약서 또는 규정 모음에서 주제, 논거 및 리스크를 식별합니다.
개발자 지원 – 수백 페이지의 API 문서나 전체 코드베이스를 로드하여 기술적인 질문을 합니다.
신속한 프로토타이핑 – 전체 코드 저장소(repository)를 프롬프트에 넣고 수정 또는 확장을 위한 지능적인 제안을 받습니다.

벡터 검색과의 비교

문서의 여러 부분에 걸친 종합적인 쿼리가 필요한 복잡한 질문의 경우, Claude의 롱 컨텍스트(long-context) 기능은 전체적인 추론 없이 개별 구절만을 검색하는 전통적인 벡터 검색 파이프라인보다 뛰어난 성능을 발출할 것으로 기대됩니다.

실제 사례 시연

AssemblyAI는 6시간 분량의 팟캐스트(58K 단어)를 전사한 후 Claude에게 전달하여 요약 및 질의응답을 수행하는 워크플로우를 선보였습니다. 전체 데모는 YouTube 여기에서 확인할 수 있습니다.

사용 가능 여부

100K 토큰 컨텍스트 창은 Anthropic의 API에서 즉시 사용 가능합니다. 개발자는 API 레퍼런스를 참조하여 적절한 Claude 모델 버전을 선택할 수 있습니다. 신규 사용자는 Anthropic 웹사이트를 통해 액세스 권한을 요청할 수 있습니다.

참고 문헌

독서 속도 추정치: 일반적인 사람은 100,000 토큰을 읽는 데 약 5시간이 소요됩니다 [1].
시연 영상: Claude를 사용한 AssemblyAI 팟캐스트 요약.

관련 공지 사항:

Fable 5의 생물학적 안전장치 개선 – 링크
Mariano-Florentino (Tino) Cuéllar가 Anthropic의 Chief Global Affairs Officer로 합류 – 링크