Anthropic AI 안전 및 연구를 위한 시리즈 B 투자 유치

Anthropic은 계산 집약적인 AI 모델의 안전 속성을 개선하기 위한 대규모 실험 인프라를 구축하기 위해 시리즈 B 펀딩에서 5억 8,000만 달러를 유치했습니다. 이번 투자를 통해 회사는 시스템을 더 조종 가능하고, 견고하며, 해석 가능하게 구축하는 동시에, 규모가 커짐에 따라 역량과 안전 문제가 어떻게 나타나는지 탐구할 수 있게 되었습니다.

핵심 연구 목표

Anthropic의 연구는 사후 훈련 개입을 최소화하면서 더 나은 암묵적 안전 장치를 갖춘 대규모 모델을 만드는 데 중점을 둡니다. 회사는 안전 장치가 의도한 대로 작동하는지 확인하기 위해 이러한 모델의 내부 작동 방식을 검사하는 도구를 개발하는 것을 목표로 합니다.

해석 가능성

Anthropic은 소규모 언어 모델의 동작을 수학적으로 역공학하고 대규모 언어 모델의 패턴 매칭 동작의 근원을 연구해 왔습니다.

조종 가능성 및 견고성

모델을 더 "도움이 되고 해롭지 않게" 만들기 위해, Anthropic은 기본 기술을 개발하고 강화 학습을 활용하여 이러한 속성을 강화했습니다. 또한 회사는 다른 연구소들이 인간의 선호도에 맞춘 모델을 훈련할 수 있도록 돕는 데이터셋을 공개했습니다.

확장성 및 안전

Anthropic은 대규모 언어 모델의 성능에서 발생하는 갑작스러운 변화에 대한 분석을 발표하여, 대규모 환경에서 안전 문제를 연구해야 할 필요성을 강조했습니다. CEO Dario Amodei는 회사가 이번 자금을 사용하여 머신러닝 시스템의 예측 가능한 확장 속성을 탐구하고, 모델이 성장함에 따라 안전 문제가 나타나는 예측 불가능한 방식을 조사할 것이라고 밝혔습니다.

조직 성장 및 거버넌스

Anthropic은 샌프란시스코의 약 40명 규모의 팀을 확장하고 있으며, 성장 단계 동안 안전한 AI 시스템의 책임 있는 개발을 보장하기 위해 문화와 거버넌스 구조를 확립하는 데 집중하고 있습니다.

투자 세부 사항

2021년 12억 4,000만 달러 규모의 시리즈 A 라운드를 거친 후, 이번 시리즈 B 라운드는 Sam Bankman-Fried (FTX의 CEO)가 주도하였으며 Caroline Ellison, Jim McClave, Nishad Singh, Jaan Tallinn, 그리고 Center for Emerging Risk Research (CERR)가 참여했습니다.