왜 LLM 펠리컨들은 모두 똑같아 보일까? 모드 붕괴, 프롬프팅, 그리고 디자인 창의성 논쟁

짧은 답변

LLM에게 "자전거를 타는 펠리컨"을 그려 달라고 요청하면 거의 동일한 SVG를 생성한다 — 같은 좌에서 우로의 구성, 같은 태양, 같은 도로, 같은 스카프 — 그리고 "황제 펠리컨은 옷을 입지 않았다" 기사에 대한 Hacker News 스레드는 그 의미에 대해 첨예하게 갈린다. 한쪽은 이를 사후 학습된 모델에서 실제로 존재하고 충분히 논의되지 않은 모드 붕괴 문제라고 부르고, 다른 쪽은 창의적인 방향 지시 없이 단순한 프롬프트는 평범하고 문자 그대로의 답변을 생성해야 하며, 그 동일성은 지시 따르기가 의도대로 작동하는 것이라고 주장한다.

원본 자료가 실제로 포함하는 내용

Hacker News 게시물의 제목은 "왜 LLM 펠리컨들이 이렇게 생겼을까?"이며, arcfu.com의 "황제 펠리컨은 옷을 입지 않았다"라는 기사를 링크한다. 해당 링크의 스크랩된 페이지 콘텐츠는 기사 텍스트가 아니라 — UI 디자인 작업에서 AI 모델을 평가하는 Kombai의 벤치마크인 Design Creativity Bench에 대한 발표 스레드이다. 해당 발표는 다음과 같이 명시한다:

• 16개의 최첨단 모델이 80개의 개방형 UI 작업에서 평가되었으며, 각 작업은 인간 디자이너 참조 자료와 함께 두 개의 제품 도메인에 맞게 조정되었다.
• 세 가지 차원이 측정되었다: 독창성(모델의 디자인이 동일한 브리핑에 대한 다른 모델의 출력과 얼마나 구별되는지), 창의적 범위(제품 도메인이 변경될 때 모델이 얼마나 적응하는지), 적절성(UI가 브리핑의 기능적 요구 사항을 얼마나 잘 충족하는지).
• 보고된 최고 모델인 OpenAI GPT-6 Astra는 인간 참조 점수 92.3에 대해 65.5를 기록했다.

벤치마크의 프레이밍 — "최첨단 AI 모델은 디자인 창의성에서 여전히 인간 디자이너에 비해 크게 부족하다" — 은 댓글 스레드가 반응하는 주장이지만, 펠리컨 예시 자체는 게시물이 링크한 기사에서 나온 것이다.

핵심 주장: LLM 출력은 모드 붕괴되어 있다

가장 강력한 기술적 버전의 주장은 출력 다양성과 모델 역량을 분리하는 한 댓글 작성자에게서 나온다:

"현재의 모든 사후 학습된 LLM은 사후 학습 세트 분포에 비해 모드 붕괴되어 있으며, 이는 연구소와 독립 연구자들로부터 충분한 주목을 받지 못하고 있다. 이것은 트랜스포머 전용 문제와는 거리가 멀며, 모든 종류의 모델에서 흔한 실패 모드이다. 또한 근본적인 한계도 아니다. 비지도 학습 모델은 훈련 세트가 허용하는 만큼 다양한 결과를 내는 데 문제가 없다."

그 댓글(orbital-decay)은 분리할 가치가 있는 세 가지 별개의 요점을 제시한다: 모드 붕괴는 사후 학습의 산물이며, 트랜스포머에만 국한되지 않고, inherent ceiling이 아니다 — 기본 또는 비지도 학습 모델은 훈련 분포의 확산을 더 많이 유지한다.

관련 댓글 작성자(ozgung)는 프롬프트만으로는 설명하기 어려운 특정 수렴 지점을 지적한다: "태양, 도로, 녹지, 스카프, 오른쪽으로 이동. 심지어 스타일까지. 프롬프트가 주어졌을 때 자연스럽게 연상되는 것들이 아니다."

반론: 단순한 프롬프트는 단순한 답변을 받을 만하다

스레드에서 가장 반복되는 반론은 펠리컨 테스트가 창의성이 아니라 문자 그대로의 지시 따르기를 측정한다는 것이다.

"내가 자전거를 타는 펠리컨을 요청하면, 나는 자전거를 타는 펠리컨의 비교적 지루한 이미지를 기대한다. 폭풍우를 뚫고 자전거를 타고 날아다니는 펠리컨이 아니라. 그것은 내가 요청한 것이 전혀 아니다."

그 댓글 작성자(randomblock1)는 주장을 구체적인 실패 모드로 확장한다: 노트북 SVG를 요청하면, 프롬프트 없이 "창의적인" 모델은 알아보기 어렵고 거부될 가능성이 높은 레트로 또는 미래형 노트북을 반환할 수 있다 — 따라서 훈련은 모델을 중립적이고 표준적인 답변으로 밀어붙인다.

두 번째 댓글 작성자(riebschlager)는 이를 사용자 의도로 설명한다: "나는 이 도구를 내 창의성을 표현하는 데 사용하고 싶지, 도구 자체의 창의성을 원하는 것이 아니다... 단순한 요청을 단순하게 수행하는 것은 버그가 아니라 기능처럼 보인다." 세 번째 댓글 작성자(wolttam)는 입장을 분명히 밝힌다: "다른 LLM이 동일한 프롬프트에 대해 유사한 결과를 반환하는 것은 놀랍지 않으며 오히려 바람직하다. 변화를 원한다면 프롬프트에 명시하라."

프롬프팅은 분포를 이동시킨다

스레드는 동일성이 고정된 것이 아니라 프롬프트에 민감하다는 직접적인 증거를 포함한다. 한 댓글 작성자(joshkel)는 Opus 5.5에서 변형을 테스트했다:

• "창의적으로 해줘"를 추가하면 자전거 바구니에 물고기와 배경에 등대가 있는 해변 장면이 생성되었고, 테스터는 "별로 창의적이지 않다"고 설명했다.
• "이 개념의 독특하고 창의적인 변형을 선택해줘"를 추가하면 두 등대 사이에 연결된 줄 위에서 외발자전거를 타는 펠리컨이 낚싯대에 물고기를 균형 잡는 "한밤중의 서커스 묘기"가 생성되었다.

또 다른 댓글 작성자(ed)는 이것이 의도된 동작이라고 주장한다: "좋은 프롬프트는 평균에서 분포를 이동시킬 것이다... 이것은 버그가 아니라 기능이다."

세 번째 댓글 작성자(tetraodonpuffer)는 구체적인 후속 실험을 제안한다: 펠리컨 벤치마크를 두 번 실행하고, "독창적으로 해줘"를 추가한 경우 모든 모델이 동일한 독창성 개념으로 수렴하는지 확인하라. 같은 댓글 작성자는 이미지 생성과의 유사점을 지적하며, 기본 모델은 증류되거나 "터보" 변형보다 시드에 더 민감하다고 말하고, 인간 행동에 비유한다: "100명에게 말을 그리라고 요청하면, '여기 평범한 말 사진이 있다'는 결과가 '피카소가 말을 그리라고 했을 때 그릴 것'보다 훨씬 더 유사할 가능성이 높다."

"다양성 붕괴"는 잘못된 변화 방향일 수 있다

한 댓글 작성자(joshkel)는 정의적 문제를 지적한다: 기사의 표현 "LLM 다양성 붕괴 문제"는 모델이 시간이 지남에 따라 덜 다양해지고 있음을 암시하지만, 링크된 벤치마크는 더 새롭고 더 강력한 모델이 더 창의적임을 시사한다. 이 긴장은 스레드에서 해결되지 않았다.

별도의 댓글 작성자(vatsachak)는 같은 관찰에서 훨씬 더 강한 결론을 도출한다: "LLM이 순수하게 LLM 출력으로 사전 학습될 수 없는 이유는 LLM 출력 다양성이 낮기 때문이다," 라고 덧붙이며, 이는 "가상의 Qwen 4.5와 Fable 5.5 사이에는 기능적 차이가 없을 것"을 의미하고 "LLM은 AGI가 아니다"라고 말한다. 이러한 주장은 댓글 작성자의 주장일 뿐 확립된 결과는 아니다.

"다양한" 출력 내부의 편향

두 명의 댓글 작성자는 동일성이 주제보다 더 깊이 내재되어 있음을 지적한다.

• spuz: "다양한 세트에서도 대부분의 이미지는 펠리컨이 좌에서 우로 타는 모습을 보여준다. 진정한 다양성을 얻으려면 지워야 할 데이터와 심지어 우리 뇌에도 엄청난 편향이 있다."
• ks2048: "13개의 예시 중 10개에서 자전거 뒤에 움직임을 나타내는 3개의 작은 수평선이 있다. 이것들은 놀라울 정도로 유사하며 프롬프트에서 직접적으로 파생된 것이 아니다."

aabajian의 관련 관찰은 기본 렌더링 스타일에 관한 것이다: SVG 요청은 다각형의 평평한 모양을 암시하는 것 같으며, 사실적인 표현을 명시적으로 요청하면 결과가 변경되었다 — "다각형 SVG를 만들었다. 더 사실적으로 만들어 달라고 요청하니 훨씬 좋아 보였지만 여전히 SVG였다."

상업적 맥락

한 댓글 작성자(phil-martin)는 Design Creativity Bench 발표를 마케팅으로 식별한다: "이것은 kombai.com/features/design에서 그들의 유료 AI 디자인 제품에 대한 영리한 광고다." 벤치마크의 헤드라인 숫자를 평가하는 독자는 벤치마크와 제품이 같은 소유자를 공유한다는 점을 고려해야 한다.

스레드가 이것이 펠리컨을 넘어 중요하다고 생각하는 이유

실용적인 우려는 미학이 아니다. 한 댓글 작성자(jvanderbot)는 수렴을 경쟁 정보 및 보안 문제로 설명한다: 모든 모델이 "X를 하는 것을 만들어줘"를 같은 방식으로 구현한다면, 출력은 "일종의 스택 오버플로우, 잘 주석 처리된 인턴 프로젝트"와 비슷해진다 — "적대자가 그것을 훈련할 수 있을 만큼 충분히 비슷한가? 아니면 나중에 해킹할 수 있을 만큼?"

두 번째 댓글 작성자(jeanpah)는 위험을 일반화한다: "펠리컨에게 그런 일이 발생하면 다른 모든 것에도 발생할 것이다." 세 번째 댓글 작성자(seidleroni)는 이 패턴을 Ethan Mollick이 AI의 특정한 "취향"에 대해 쓴 글과 연결하고, 실용적인 대응은 인간의 방향 지시라고 주장한다: "이것은 인간이 많은 입력과 방향을 제공할 수 있는 한 가지 방법이다."

제기되었지만 답변되지 않은 열린 질문

• "독창적으로" 자체도 붕괴하는가? 제안된 테스트 — 지시를 추가하고 모든 모델이 동일한 독창성 개념에 수렴하는지 확인 — 스레드에서 제안되었지만 실행되지 않았다.
• 인간은 어떻게 비교되는가? 한 댓글 작성자(electroweak)는 같은 프롬프트를 받은 4학년 반이 모델보다 더 다양하거나 덜 다양한 결과를 낼지 묻는다.
• 펠리컨보다 더 나은 탐침이 있는가? 한 댓글 작성자(xtracto)는 모델에게 종이접기 지침을 요청하는 것이 — "A4 용지 여러 장을 사용하여 자전거를 타는 펠리컨을 종이접기로 만드는 방법에 대한 그래픽 지침이 포함된 SVG를 작성하라" — 현재 모델에게 훨씬 더 어렵고, 대부분 "실제로 뜨는 기본 비행기"만 만들어 낸다고 보고한다.
• 벤치마크가 올바른 것을 측정하고 있는가? Design Creativity Bench의 세 가지 축(독창성, 창의적 범위, 적절성)은 명시적으로 브리핑 준수와 구별성을 분리하며, 이는 대부분의 댓글 스레드가 펠리컨 테스트가 모호하게 만든다고 주장하는 구별이다.

결론

펠리컨 동일성은 실제이며 재현 가능하지만, 스레드는 단일 설명을 지지하지 않는다. 증거는 적어도 세 가지 기여 요인을 가리킨다: 최빈 답변으로의 사후 학습 모드 붕괴, 불충분하게 지정된 프롬프트에 대한 문자 그대로의 지시 따르기에 대한 보상, 그리고 좌에서 우로의 움직임과 기본 평평한 SVG 스타일과 같은 공유 훈련 데이터 편향. 불일치는 어느 것이 지배적인지 — 그리고 해결책이 더 나은 프롬프팅, 더 나은 사후 학습, 또는 단순한 요청은 단순한 답변을 받아야 한다는 것을 받아들이는 것인지에 대한 것이다.