Anthropic Fable: 과도한 안전 분류기로 인해 기술 연구에 사용할 수 없게 된 모델

Anthropic Fable: 과도한 안전 분류기로 인해 기술 연구에 사용할 수 없게 된 모델

Fable의 안전 분류기가 과도한 오탐을 유발함

Anthropic의 Fable 모델은 안전 분류기가 지나치게 민감하여 생물정보학, 사이버 보안, 컴퓨터 과학과 같은 고수준 기술 연구 분야에서 사실상 사용할 수 없는 상태입니다. 이 모델은 무해한 기술적 질문을 안전 위반으로 빈번하게 표시하며, 프롬프트에 오픈 소스 소프트웨어나 추상 수학이 포함되어 있더라도 답변을 거부하거나 세션을 자동으로 Opus 4.8로 강등시킵니다.

소프트웨어 엔지니어링 및 포팅 실패

Fable은 주제가 생물학적 데이터를 포함하는 경우, 해당 작업이 순수하게 기술적인지 여부와 관계없이 표준 소프트웨어 개발 작업을 지원하는 데 실패합니다.

한 기록된 사례에 따르면, 널리 사용되는 RNA-seq 정량화 도구인 salmon을 C++에서 Rust로 다시 작성하려는 개발자가 Fable이 즉시 쿼리를 차단했음을 발견했습니다. 해당 소프트웨어가 오픈 소스이고 요청이 표준적인 포팅 작업임에도 불구하고, 문서에 포함된 생물학적 용어가 안전 거부 반응을 유발했습니다. 모델은 거부 이유를 설명하거나 필터를 피하기 위해 프롬프트를 어떻게 재구성해야 하는지에 대한 안내도 제공하지 않았습니다.

추상 수학 문제 처리 능력 부족

생물학적 및 기술적 맥락이 완전히 제거된 경우에도, Fable의 분류기는 추상 수학 쿼리에 대해 거부를 유발할 수 있습니다.

뿌리 이진 트리와 패리티를 포함하는 그래프 이론 문제인 "Parsimonious reconstruction of network evolution"에 대한 연구가 Fable의 한계를 테스트하는 데 사용되었습니다. 결과는 거부 반응이 점진적으로 심화되는 패턴을 보여주었습니다:

  1. 맥락적 프롬프트: 원래의 생물학 논문을 참조하는 초기 요청은 즉시 거부되었습니다.
  2. 추상화된 프롬프트: 생물학적 용어를 제거하고 결정 문제로 변환한 버전도 거부되었습니다.
  3. 순수 수학적 프롬프트: (사이버 보안과 연관될 수 있는 "blocking"과 같은) 차단될 가능성이 있는 용어를 제거하기 위해 ChatGPT가 재구성한 버전조차도 참여를 위한 완전한 거부를 마주했습니다.

기술 분야 전반에 걸친 광범위한 영향

사용자 보고에 따르면 Fable의 과도한 민감도는 여러 과학 및 기술 분야에 걸쳐 확장됩니다:

  • 의학 물리학: 실무자들은 거의 모든 전문적인 쿼리가 "verboten"으로 표시된다고 보고합니다.
  • 환경 과학: 실내 이산화탄소 수치에 관한 간단한 질문이 생물학 관련으로 표시되어 Opus로 강등되었습니다.
  • 임상 연구: 임상 2상 및 3상 시험의 통계를 계산하기 위한 간단한 앱을 만드는 요청이 Opus로 강등되었습니다.
  • 시스템 프로그래밍: 특정 GPU 하드웨어를 위한 vllm 패치를 시도하는 작업이 차단되었습니다.

개인정보 보호 및 데이터 보존에 관한 우려

Fable의 안전 시스템의 높은 오탐률은 데이터 개인정보 보호에 중심적인 영향을 미칩니다. Anthropic의 개인정보 보호 정책에 따르면, 입력값과 출력값은 최대 2년 동안 보존되며, 자동화된 시스템에 의해 채팅이 차단되면 신뢰 및 안전 분류 점수는 최대 7년 동안 보관됩니다.

자동 분류기가 위반 사항이 없는 기술적 콘텐츠에 대해 너무 빈번하게 작동하기 때문에, 사용자는 사용 정책을 위반하지 않았음에도 불구하고 데이터가 보존되고 잠재적으로 모델 학습(안전 탐지 개선을 위해)에 사용될 수 있습니다.

커뮤니티 관점

기술 사용자들은 이러한 가드레일이 정당한 연구 및 개발을 행해한다고 표현하며 좌절감을 나타냈습니다. 일부 사용자들은 Gemini와 같은 모델들도 간단한 보안 감사 작업을 거부하는 등 여러 제공업체의 모델들이 유사한 트렌드를 보이고 있다고 언급했습니다.

"현재 보안 감사 하네스 및 벤치마크 작업 중인데, Fable과 Opus 모두 쓸모가 없습니다... Antigravity의 Gemini 역시 '보안 버그를 찾아라'와 같이 간단한 보안 감사 작업조차 거부합니다."

다른 이들은 이러한 과도하게 민감한 모델의 필터는 정렬(alignment) 연구의 현재 상태를를 나타내는 증상으로, 보편적인 도덕적 프덕워크를 정의하는 어려움 때문에 개발자들이 광범위하고 맹목적인 거부부 리스트를 구현하게 된다고 제안합니다.

Sources