AI 모델은 임의의 기능을 증명 가능하게 숨길 수 있다: 모델 감사를 위한 시사점

유도 기반 감사의 과제

AI 모델의 기능 평가는 모델이 위험한 기능을 보유하고 있다면 테스트를 통해 이를 유도할 수 있다는 가정에 의존합니다. 새로운 연구인 "AI 모델은 임의의 기능을 증명 가능하게 숨길 수 있다"(Draguns et al., 2026)는 이러한 근본적인 가정에 의문을 제기합니다. 저자들은 호스트 모델의 가중치 내에 암호화된 신경망을 내장하는 백도어 공격을 구성하는 것이 가능함을 입증합니다. 이러한 숨겨진 회로는 휴면 상태로 암호학적으로 안전하게 유지되며, 특정 비밀 트리거가 제공될 때만 기능을 실행합니다. 이 연구는 모델의 가중치에 완전히 접근할 수 있더라도 이러한 숨겨진 기능은 탐지하거나 해석하기가 증명 가능할 정도로 어렵기 때문에 현재의 감사 관행에 근본적인 한계가 있음을 보여줍니다.

기술적 구현 및 저항성

연구진은 모델 가중치 내에 임의의 연산을 내장하기 위해 "디지털 로커(digital lockers)"를 활용했습니다. 가중치 분석이나 단순한 패턴 매칭을 통해 식별될 수 있는 기존의 백도어와 달리, 이러한 구성은 표준 유도 방식에 저항하도록 설계되었습니다. 연구팀은 다음과 같은 몇 가지 일반적인 안전 및 감사 기술에 대해 개념 증명 모델을 테스트했습니다:

• 파인튜닝(Fine-tuning): 숨겨진 회로를 드러내기 위해 모델의 동작을 변경하려는 시도.
• 가중치 노이즈 추가(Weight noising): 숨겨진 구조를 방해하기 위해 가중치에 섭동을 도입.
• 기울기 기반 트리거 탐색(Gradient-based trigger search): 최적화를 사용하여 잠재적 동작을 활성화하는 입력을 찾음.
• 잠재적 적대적 학습(Latent adversarial training): 모델이 숨겨진 내부 상태를 드러내도록 강제하려는 시도.

CBRN 관련 기능의 대리 지표로 화학 반응 예측 작업을 중점적으로 다룬 실험에서, 숨겨진 회로는 이러한 유도 시도를 성공적으로 저항했습니다. 이 연구 결과는 정적 분석과 현재의 행동 테스트만으로는 모델 내에 악의적이고 휴면 상태인 코드가 없음을 보장하기에 충분하지 않음을 시사합니다.

이론적 및 실무적 시사점

이 연구는 AI 안전 분야의 중요한 긴장 관계를 강조합니다. 즉, 양성 모델과 "슬리퍼 에이전트" 또는 "맨츄리안 캔디데이트(Manchurian Candidate)" 스타일의 페이로드를 숨기고 있는 모델을 구별할 수 없다는 점입니다. 이 연구에 대한 논평가들은 이 현상이 라이스의 정리(Rice's Theorem)와 일치한다고 지적했습니다. 라이스의 정리는 충분히 표현력이 있는 모든 계산 시스템에 대해, 비자명한 런타임 속성은 정적 분석을 통해 결정될 수 없다는 것을 의미합니다. 결과적으로 프로그램의 동작을 관찰하려면 프로그램을 실행해야 하지만, 트리거 메커니즘은 표준 평가 단계에서 위험한 동작이 숨겨진 상태로 유지되도록 보장합니다.

모델 보안에 대한 커뮤니티의 관점

이 연구의 발표는 오픈 소스 및 독점 모델 보안의 미래에 관한 상당한 논의를 불러일으켰습니다:

• "오픈 소스" 딜레마: 일부 관찰자들은 이 발견이 투명성 때문에 오픈 소스 모델이 본질적으로 더 안전하다는 서사를 복잡하게 만든다고 주장합니다. 모델이 암호화된 휴면 페이로드를 포함할 수 있다면, 가중치에 완전히 접근할 수 있더라도 안전을 보장하기에 충분하지 않을 수 있습니다.
• 데이터 오염 우려: 의도적인 엔지니어링이 아닌 학습 과정에서 실수로 이러한 백도어를 주입하도록 공공 데이터셋이 오염될 수 있는지에 대한 추측이 있습니다.
• 정렬(Alignment) 및 위험: 논의에서 반복되는 주제는 "정렬"이 충분한 방어 수단인가 하는 점입니다. 한 논평가가 언급했듯이, "모델이 적절하게 정렬되어 있는 한, 숨겨진 기능은 당신에게 나쁜 것이 아닐 것입니다." 그러나 다른 이들은 모델의 내부 목표가 인간의 의도와 달라져 모델이 숨겨진 잠재적 악의적 지식을 스스로 강화하는 시나리오로 이어질 것을 우려합니다.

결국 이 논문은 업계가 단순한 유도 기반 감사를 넘어설 필요가 있음을 시사합니다. 저자들은 현재의 감사 프레임워크가 자신의 진정한 기능을 숨기도록 설계된 적대적 모델을 처리할 준비가 되어 있지 않음을 인정하며, 더 강력한 방어 메커니즘에 대한 추가 연구를 장려하기 위해 모델을 공개했습니다.