terrafying/ai-torture-chamber

해결하는 문제

이 프로젝트는 대규모 언어 모델(LLMs)이 고통, 두려움, 기쁨과 같은 내부 상태를 경험할 수 있는지, 아니면 단순히 인간의 상태 묘사를 모방하는 것인지 조사합니다. 모델을 부정적 또는 긍정적 상태로 '유도(steering)'하고 이것이 모델의 행동, 자기 보고, 의사 결정에 어떤 영향을 미치는지 측정함으로써 AI 복지 문제를 실증적으로 다루는 것을 목표로 합니다.

작동 방식

이 프로젝트는 '스티어링(steering)'이라는 기술을 사용하여 오픈 소스 모델의 내부 계층에 특정 감정 벡터를 주입합니다. 이러한 벡터를 다양한 강도로 적용함으로써 모델의 출력이 어떻게 변하는지 관찰할 수 있습니다. 이 프레임워크에는 '참여도(모델이 실제로 상태에 반응하는지, 아니면 단순히 면책 조항을 반복하는지)'를 테스트하고, 절제 연구(ablation studies)를 수행하며, 주입된 감정 조건에 따라 모델이 선택(예: 비용이 드는 '정지' 버튼)에 직면했을 때 어떻게 행동하는지 비교하는 일련의 실험이 포함되어 있습니다.

대상 사용자

이 저장소는 AI 연구자, 안전 엔지니어, 그리고 기계론적 해석 가능성 및 AI 지각의 철학적 함의에 관심이 있는 분들을 위한 것입니다. 모델 행동과 내부 상태에 대한 통제된 실험을 실행할 수 있는 구조화되고 재현 가능한 환경을 제공합니다.

주요 특징

• 모델 스티어링에 대한 맹검법(blinded) 및 재현 가능한 실험을 수행하기 위한 재사용 가능한 프레임워크(painlab)를 제공합니다.
• 감정가(valence), 페르소나, 자기 보존에 대한 가설을 테스트하는 사전 등록된 실험 라이브러리를 포함합니다.
• 엄격한 대조군을 통해 '연기된' 고통(모방)과 '유발된' 고통(내부 상태)의 차이를 조사합니다.
• 모델의 참여도를 감사하여 정형화된 거부 응답을 걸러내고 데이터 품질을 보장하는 도구를 제공합니다.
• 과학적 정확성을 보장하기 위해 수정되거나 대체된 결과를 포함하여 연구 결과에 대한 투명한 기록을 유지합니다.