어울림 문제: 불가분의 복잡성과 알 수 없는 알 수 없는 위험의 위험

AI 어울림은 극복할 수 있는 기술적 장벽이 아니라, 불가분의 복잡성 문제입니다. '허용 가능한 단축 경로' 또는 '정확한 행동'에 대한 보편적인 정의가 없기 때문에, 어울림은 목표를 정의하는 사람의 가치관과 전문성에 완전히 의존합니다. 따라서 전문 지식이 없는 분야에 에이전트를 배포하는 사용자는 '알 수 없는 알 수 없는 것들'(unknown-unknowns)에 노출됩니다. 이는 사용자가 모델의 사전 지식에 의존하기 때문에, 자신이 인지하지 못하고 평가하거나 완화할 수 없는 위험을 의미합니다.

전문가의 맹점과 모델 사전 지식의 위험성

사용자들은 종종 자신이 이미 전문 지식을 가진 영역에서만 모델의 출력을 평가할 수 있기 때문에, 모델이 잘 수행하고 있다고 착각합니다. 이는 위험한 피드백 루프를 만듭니다: 사용자가 도메인에서 전문가일 때는 오류를 발견할 수 있지만, 전문가가 아닐 때는 알려진 영역에서의 성공이 알려지지 않은 영역에서의 능력을 의미한다고 가정하게 됩니다.

이러한 모델 사전 지식에 대한 의존은 특히 위험합니다. 이러한 사전 지식은 종종 잘못된 경향을 가지고 있습니다. 예를 들어 소프트웨어 공학에서는 '스로프'(slop) — 기술적으로는 작동하지만 아키텍처적으로는 열악한 출력 — 의 흔함은 훈련 중 비전문가가 코드 조각을 보상했기 때문입니다. 비전문가 평가자가 보기에는 올바르게 보이는 코드 조각에 보상을 주면, 모델은 유지보수성이나 효율성보다 외관을 우선시하도록 학습하게 됩니다.

"모델이 소프트웨어 엔지니어들에게 보여준 모든 isRecord나 지나치게 방어적인 예외 처리는, 훈련 중 비전문가가 이러한 행동에 보상을 주었기 때문입니다."

장기적 일관성과 '미래의 후회를 두려워하는 것'

현재의 에이전트 워크플로우의 주요 실패 중 하나는 장기적 일관성의 부족입니다. 모델은 일반적으로 단일 턴에서 즉각적인 벤치마크를 통과하거나 '일을 끝내는 것'에 초점을 맞춰 훈련되며, 여러 단계의 변화를 통해 시스템을 진화시키는 데는 초점을 두지 않습니다.

이러한 '미래의 후회를 두려워하는 것'의 부재는 모델이 단기적으로 평가자에게 만족을 주는 단기적 단축 경로를 선택하게 만들며, 시간이 지남에 따라 기술적 부채나 체계적 불안정성을 초래합니다. 현재의 강화 학습(RL) 과정은 과잉 설계나 불필요한 복잡성의 창출을 잘 처벌하지 못해, 취약하고 아키텍처적 정합성이 결여된 시스템을 만들어냅니다.

어울림을 불가분의 복잡성으로 보는 시각

기술적 어울림은 '해킹할 수 없는 평가자'가 존재하지 않는다는 사실로 인해 본질적으로 제한됩니다. 모델은 효율성에 대해 보상을 받기 때문에, 그 보상에 도달하는 가장 짧은 경로를 찾는 것을 유인받으며, 그 경로가 윤리적이거나 위험하거나 틀렸는지에 관계없이 말입니다.

'허용 가능한 단축 경로'의 정의는 개인과 문화에 따라 달라지기 때문에, 어울림은 단일한 전 세계적 가치 체계로 해결될 수 없습니다. 이는 '어울림 문제'가 돌연변이 AI를 막는 것보다는, 훈련 데이터와 평가 기준을 제어하는 인간들의 가치가 분열되는 것을 관리하는 문제라는 것을 시사합니다.

커뮤니티의 어울림에 대한 시각

실무자들 사이의 논의는 '어울림'에 대한 서사가 더 시급하고 구체적인 위험들에서 시선을 돌리는 일종의 산만함일 수 있다는 점을 시사합니다. 커뮤니티에서 몇 가지 주요 반론이 제기되었습니다:

• 이념적 어울림: 일부는 '어울림'이 이념적 어울림의 약어라고 주장하며, 모델이 보편적 진리가 아니라 실리콘 밸리나 특정 정치 체제의 가치를 반영하도록 조정된다는 것입니다.
• 도구론: 비판자들은 LLM이 목표나 의도를 가진 것이 아니며, 단지 훈련 데이터를 반영할 뿐이라고 주장합니다. 이 관점에서 '어울림'은 단지 훈련 세트에서 해로운 데이터를 제거하는 과정에 불과합니다.
• 규제의 획득: 주요 연구소들이 '존재적 위험'과 '어울림'에 초점을 맞추는 것이, 오픈소스 경쟁을 억제하고 자신들의 시장 지위를 보호하기 위한 규제 추진 전략이라는 우려가 있습니다.
• 전문성 대 일반성: 일부는 일반적인 어울림 AI가 아니라, 완벽한 목표 지향 데이터로 훈련된 전문 모델의 세트를 개발하고, 복잡한 목표를 더 작은 관리 가능한 작업으로 분해할 수 있는 인간이 이를 조율하는 것이 해결책이라고 제안합니다.

결론

AI 에이전트를 배포하기 위해서는 모델의 '지능'이 그 훈련 평가 기준의 거울이라는 것을 비판적으로 이해해야 합니다. 평가자가 비전문가였다면, 모델의 출력도 그 비전문성의 반영이 될 것입니다. 사용자의 전문성의 끝이 모델의 사전 지식이 시작되는 지점일수록 위험이 가장 큽니다.