AI 생성 언어는 왜 이해하기 어려운가? LLM 글쓰기 스타일에 관한 arXiv 2610.29162 내부 분석

2026년 10월 21일 arXiv에 게시된 연구는 테스트한 9개의 최첨단 및 준최첨단 언어 모델 모두가 인간 작가보다 심리언어학적으로 더 어려운 구문을 사용한다는 것을 발견했으며, AI 텍스트가 성공적인 의사소통보다 수학, 코드, 추론의 정보 밀도에 점점 더 최적화되고 있다는 설명을 제안합니다. "AI 생성 언어는 왜 이해하기 어려운가?"라는 제목의 이 논문(arXiv:2610.29162, cs.CL, cs.AI 교차 등재, Thomas Clark 제출)은 Hacker News에서 251포인트와 약 200개의 댓글을 얻었으며, 실무자들은 대체로 진단을 수용하고 자신들의 경험에서 추가 증상을 덧붙였습니다.

논문의 핵심 주장

AI 생성 텍스트가 최근에 이해하기 어려워졌다는 광범위한 인식은 주관적 인상이 아니라 측정 가능한 언어 현상입니다. 논문은 언어 모델이 심리언어학에서 이미 인간의 처리 곤란을 증가시키는 것으로 알려진 특징을 과도하게 사용하며, 이러한 과잉 사용은 성공적인 의사소통 대신 정보 밀도에 보상을 주는 훈련 목표의 부작용이라고 주장합니다.

연구가 측정한 것

연구는 다양한 영역에 걸친 AI 생성 텍스트의 새로운 코퍼스를 구성하고, 인간의 읽기 어려움과 상관관계가 있는 것으로 알려진 심리언어학적 특징(목적어 관계절, 긴 통사적 의존성, 저빈도 n-gram)으로 점수를 매겼습니다. 두 가지 비교 지점이 사용되었습니다: 왕복 번역으로 생성된 동일 내용의 패러프레이즈와 인간의 글쓰기입니다.

특징 선택은 결과 해석에 중요합니다. 이 프레임워크에서 목적어 관계절, 긴 의존성, 희귀 n-gram은 스타일 선호가 아니라 독자가 문장을 이해하는 데 걸리는 시간과 오해석 빈도를 예측하는 확립된 지표입니다.

모델 및 특징별 결과

인간 글쓰기와 비교하여 테스트된 9개의 최첨단 및 준최첨단 모델 모두 무생물 주어와 유생물 동사의 결합, 저빈도 n-gram을 더 많이 사용했습니다. 9개 중 대부분은 대화에서 더 긴 통사적 의존성, 더 많은 명사 연쇄, 더 많은 축약 목적어 관계절을 사용했습니다. 논문은 모델 계열 간에 상당한 변이가 있다고 보고하므로, 이 행동은 연구소나 모델 계보에 걸쳐 균일하지 않습니다.

모델들은 또한 왕복 번역으로 생성된 패러프레이즈보다 이러한 어려운 특징을 더 자주 사용했는데, 이는 이 효과가 단순히 패러프레이징이나 단일 재작성 파이프라인의 부산물이 아님을 의미합니다.

제안된 원인: 정보 밀도 대 의사소통

논문의 가설은 인간 언어는 성공적인 의사소통에 최적화된 반면, AI 생성 텍스트는 수학, 코드, 추론과 같은 다른 목표에 점점 더 최적화되어 있으며, 여기서 압력은 상호 이해보다 정보 밀도에 있다는 것입니다. 이러한 압력 아래에서 압축되고 통사적으로 비정형적인 구문은 인간 독자에게 비용이 많이 들더라도 토큰 측면에서 효율적입니다.

저자들은 완전한 인과 설명보다 개념 증명을 제공합니다: 길이 패널티로 언어 모델을 미세 조정하면 인간과 유사한 언어 행동에서 벗어나게 됩니다. 즉, 더 짧은 출력에 보상을 주는 것만으로도 문법적 선택이 인간이 자연스럽게 생성하는 것에서 멀어지게 할 수 있습니다.

강화 학습 연결, 논문의 말로

Hacker News 스레드에서 댓글 작성자 orbital-decay가 인용한 논문의 결론은 이 효과를 GRPO를 사용한 강화 학습 및 검증 가능한 보상과 연결합니다:

우리는 이러한 결과를 GRPO를 사용한 강화 학습 중 길이 패널티가 문법적 특징에 직접 영향을 미칠 수 있다는 개념 증명으로 받아들입니다. 모델이 압축되거나 밀도 높은 언어를 사용하도록 직접 지시받지 않았으며, 통사적 변형의 가용성에 대한 정보를 직접 제공받지 않았음을 주목합니다. 오히려 패널티는 통사적 변형의 더 짧은 구성원에 대한 새로운 선호를 초래했습니다. [...] 검증 가능한 보상의 사용은 정확성이 인간과 같은 의사소통에서 분리되는 환경을 만들어 모델이 새롭고 잠재적으로 덜 이해 가능한 언어 사용 분포로 수렴하게 한다고 추측합니다.

orbital-decay는 이 현상이 레지스터 특이적이라고 지적했습니다: Claude의 기본 레지스터에서 볼 수 있으며, 모델은 프롬프트에 따라 다르게 쓸 수 있습니다.

스타일이 나타나는 이유에 대한 댓글 설명

RLHF는 좋은 글의 유용성이 아니라 겉모습에 보상을 주었습니다

한 기술 작가는 기본 모델 응답이 실제로 좋은 글보다 사람들이 좋은 글이라고 생각하는 것에 최적화되어 있다고 주장했습니다. 댓글 작성자 dividefuel는 이를 평가자의 첫인상에 맞춰진 수년간의 RLHF 때문으로 돌렸습니다:

목록을 사용합니다! 제목이 있습니다! 'smoking gun'과 같은 재미있는 표현을 사용합니다! 길고 유익합니다! 이러한 것들은 비교적 빠르고 쉽게 식별하고 선호도로 선택할 수 있습니다. 그러나 이것들 중 어느 것도 응답이 청중에게 유용한지 실제로 다루지 않습니다. 당신이 청중이 아니라면 무엇이 유용하고 무엇이 유용하지 않은지 구분하기 어려울 수 있습니다.

댓글 작성자 charlieyu1은 이해 용이성이 훈련에서 전혀 우선시되지 않는다는 보완적인 관점을 제시했으며, 최첨단 연구소가 측정 불가능하고 주관적인 것에 돈을 쓰지 않을 것이라고 의심했습니다.

훈련 코퍼스는 설득, 전문 용어, 노이즈로 끌립니다

여러 댓글 작성자는 문제를 데이터에서 찾았습니다. 댓글 작성자 anigbrowl은 훈련 코퍼스에 비판적 사고를 마비시키고 행동을 유도하도록 설계된 엄청난 양의 상업적 연설과 수사적 오류를 통해 설득하기 위해 쓰여진 의견 기사가 포함되어 있다고 관찰했습니다. 댓글 작성자 podocarp는 인터넷 전체의 평균으로 훈련된 모델은 쓰레기가 좋은 글보다 압도적으로 많은 분포에서 학습하며, RLHF 편향은 사용자 선택의 평균으로 더 치우친다고 주장했습니다. 댓글 작성자 lhwy02jsj는 훈련 데이터가 맥락을 정교화하고 정확성을 목표로 하는 인간 표현을 반영하여 대화적 의사소통보다 복잡성으로 생성을 밀어붙인다는 관련 관찰을 했습니다.

토큰 효율성은 밀도 높은 명사구를 보상합니다

스레드에서 가장 구체적인 기계적 설명은 토큰 경제였습니다. 댓글 작성자 bassie123은 AI 글쓰기가 가장 적은 토큰에 가장 많은 정보를 담도록 최적화되어 있다고 주장하며 예를 들었습니다:

(예: "baseline system state transition latency validation") 전치사로 풀어 쓰는 대신 ("baseline system의 상태 전환 지연 시간 검증").

같은 댓글 작성자는 훑어보기에 능숙한 독자는 AI 생성 텍스트에 문제가 적을 수 있으며, 어려움은 순차적 이해에 의존하는 독자에게 집중될 수 있다고 추측했습니다. 댓글 작성자 amelius는 밀도 논쟁을 사용자 대상 텍스트 너머로 확장했습니다: AI 생성 언어가 에이전트를 지시하고 추론 루프에 공급하기 위해 내부적으로 사용될 때 결과만 최적화하면 모델은 점점 더 인간이 아닌 AI로 말하게 됩니다.

텍스트 뒤에 마음이 없습니다

일련의 댓글은 어려움이 단어 선택의 문제가 아니라 저자의 부재라고 주장했습니다. 댓글 작성자 lukev는 LLM 텍스트가 "완벽하게 좋은 언어이고 타당한 인지적 및 정보적 패턴을 따르지만 다른 마음의 의도나 정신 모델을 반영하지 않기 때문에 이해하기 어렵다"고 썼습니다. 댓글 작성자 Terr_는 독자 측에서 같은 주장을 했습니다: 인간 의사소통은 반대편 마음을 무의식적으로 시뮬레이션하는 데 기반을 두며, LLM 출력은 지속적으로 그 시뮬레이션에 실패하여 피곤하게 만듭니다. 이를 요구 사항을 충족하기 때문에 짝짓기 본능을 유발하는 플라스틱 동물에 비유했습니다. 댓글 작성자 noosphr는 근거 부족으로 돌렸습니다: "AI 생성 텍스트는 물리적 현실에 대한 인간 중심의 기본 모델이 없으며 결과적으로 은유가 왜곡됩니다." 댓글 작성자 grey-area는 이를 "의미 생성기가 아닌 단어 생성기"로 요약했습니다. 댓글 작성자 Rapzid는 같은 결핍을 설계 능력과 연결하며, 모델에는 글쓰기와 시스템 설계 모두에서 좋은 의사소통을 만드는 인지적 공감이 부족하다고 주장했습니다.

AI 텍스트를 읽기 어렵게 만드는 특정 구문

타동사의 자동사적 사용

댓글 작성자 cryzinger는 논문에서 언급되지 않은 구문을 지적했습니다: 모델은 인간 글쓰기에서 거의 볼 수 없는 방식으로 타동사를 자동사로 사용합니다. 주어진 예는 "The user presses a button, and the form submits."입니다. 댓글 작성자는 "submit"의 유효한 자동사 용법이 존재하지만 그 맥락에서 의미가 있는 것은 없으며, "submit"은 목적어가 필요하거나 수동태로 표현되어야 한다고 지적했습니다. 불만은 모호성이 독자가 추측하도록 강요하며, 이는 기술 문서에서 용납할 수 없다는 것입니다: "소위 문서화가 독자/사용자가 추측하도록 요구한다면 뭔가 심각하게 잘못된 것입니다."

밀도 높은 명사적 스타일과 지시적 생략

댓글 작성자 lxe는 글쓰기 명확성 프롬프트를 반복하며 패턴에 이름을 붙였습니다: "비접속적 병치와 지시적 생략 및 반복적 수사적 종결." 댓글 작성자는 이 표현이 문제를 완전히 포착하지는 못하지만 근접하다고 언급했습니다. 비접속적 병치는 접속사 없이 연결된 절을 의미하고, 지시적 생략은 지시 대상을 암시적으로 남기는 것을 의미하며, 반복적 수사적 종결은 같은 요약 운율로 구절을 끝내는 것을 의미합니다. 이 세 가지 속성이 결합되면 밀도 높고 자기 참조적이며 이상하게 리드미컬한 텍스트로 읽힙니다.

모호성을 회피책으로, 정원 경로를 선택지 유지로

댓글 작성자 vikramkr는 모호성과 디코딩을 연결하는 추측적 메커니즘을 제시했습니다: "it"과 같은 모호한 참조는 모델이 나중에 올바른 것으로 판명되는 토큰까지 결정을 유보할 수 있게 하지만, 초기에 명확한 명사를 사용하면 잘못된 답을 고칠 수 없게 됩니다. 같은 댓글 작성자는 스타일의 어떤 부분이 실제 RL 효과인지 과잉 해석인지 의문을 제기하며, 모델이 같은 소스를 증류하지 않는 한 모두 같게 쓰지 않는다는 점과 최근 Opus 모델이 더 정상적으로 말하도록 강화 학습되었고 전작보다 읽기도 좋고 점수도 좋았다는 회상을 인용했습니다. 댓글 작성자 xg15는 강화 학습 압력 하의 단계별 추론이 문법적으로 모호한 문장을 조장할 수 있다는 관련 추측을 제시했습니다. 모호성은 문장 끝까지 모델의 선택지를 열어두기 때문입니다.

장황함 대 밀도

스레드에는 문제가 너무 많은 압축인지 너무 적은 압축인지에 대한 직접적인 의견 충돌이 있었습니다. 댓글 작성자 petersumskas는 과도한 간결함을 경험하지 못했다고 보고하며, 자신이 "Claudish"라고 부르는 것을 "X 전문가가 되는 비법" 장르에 더 가깝다고 설명했습니다: 끝없이 계속되고 결코 요점에 도달하지 않는 기사로, 더 간결함을 요청함으로써 해결합니다. 댓글 작성자 bassie123은 자신에게는 반대 문제를 보고했습니다. 둘 다 사실일 수 있는 이유는 논문이 측정한 특징이 원시 길이가 아니라 통사적 및 어휘적 어려움에 관한 것이기 때문입니다.

토론에서 제기된 반론

댓글 작성자 jasomill은 전제를 부분적으로 거부했습니다: "AI 글쓰기가 전혀 이해하기 어렵지 않고 약간 지루할 뿐입니다." 그러면서 많은 소위 AI-ism이 자신도 명확성을 위해 자신의 글에서 편집하는 패턴이며, em 대시를 합법적이고 바람직한 것으로 옹호했습니다. 또한 같은 비판이 인간 산문에도 적용될 수 있다고 관찰했습니다.

댓글 작성자 ionetan은 이 현상이 인공적인 것만은 아니라고 주장하며, 정치인과 학자들이 현명하게 표현하면서도 자세히 파싱하면 일관성이 없는 말을 하는 경우를 지적했습니다: "AI는 추상적인 언어를 사용하여 인상적이고 웅변적으로 들리지만 실제로는 대부분 일관성 없는 허튼소리입니다." 이 프레임은 논문이 측정한 특징이 언어 모델보다 앞선 과시적 스타일을 포착할 수 있음을 시사합니다. 모델이 이제 더 많은 양으로 생산하더라도 말입니다.

orbital-decay의 레지스터 의존성 지적은 주장의 중요한 경계입니다: 기본적으로 압축된 소리를 내는 같은 모델도 스타일에서 벗어나도록 유도할 수 있으며, 이는 행동이 고정된 능력이 아니라 기본값임을 의미합니다. 댓글 작성자 Self-Perfection은 이를 의도적으로 활용할 수 있다고 제안하며, 역할 혼동으로서의 프롬프트 주입에 대한 연구를 언급했습니다. 이는 다른 역할이 다른 구조와 질감의 텍스트를 생성한다는 것을 보여주며, 모델이 생각하는 역할에서는 정보 밀도를 유지하면서 조수 역할에서는 인간이 읽을 수 있는 텍스트를 생성하도록 조정할 수 있다고 제안했습니다.

사람들이 보고한 실용적 완화 방법

여러 댓글 작성자는 출력을 측정 가능하게 변경하는 조종 기술을 설명했습니다. 댓글 작성자 cowlby는 일관되게 "8학년 읽기 수준", "동화책", 또는 ASD-STE100 단순화 기술 영어를 요청했으며, 작은 조종만으로도 언어 선택이 크게 제한된다는 것을 발견했습니다. 댓글 작성자 lxe는 반복된 글쓰기 명확성 프롬프트를 공개 gist에 게시했습니다. 댓글 작성자 TheSmoke는 기술 문서, 시스템 설계, 아키텍처 및 코드 주석을 위해 pstack 플러그인 컬렉션의 "unslop" 및 기술 문서 작성 기술을 사용한다고 보고했습니다. 댓글 작성자 unsloppable은 직장에서 대량의 AI 생성 텍스트를 이해해야 했기 때문에 AI 카피를 의미 구성 요소로 확장한 다음 더 평범한 언어로 다시 쓰는 도구를 구축했다고 설명했습니다.

스레드가 해결하지 못한 열린 질문

댓글 작성자 sadrasabouri는 자연어로만 훈련된 모델(예: 오래된 시스템)이 같은 특성을 보이는지, 수학, 코드, 추론 훈련이 어떤 면에서는 도움이 되면서 부작용으로 이 글쓰기 스타일을 만드는지 물었습니다. 이 질문은 논문의 인과 가설을 직접 테스트하며 스레드에서 답변되지 않았습니다.

댓글 작성자 prmph는 모델이 시간이 지남에 따라 더 나빠진 것처럼 보이는 이유를 물으며, Claude의 글이 이전에는 상당히 명확했지만 어느 순간 이해할 수 없고 이상해진 특정 기간을 회상했습니다. 스레드에서 결정적인 설명을 제시한 사람은 없었지만, vikramkr의 글쓰기 스타일이 GPU 시간을 어디에 쓸지에 대한 의도적인 제품 결정이라는 제안이 후보 중 하나입니다.

댓글 작성자 armchairhacker는 구문과 전혀 관련이 없는 관련 실패 모드를 제기했습니다: 모델은 중요한 것과 평범한 것을 구분하지 못합니다. 고수준 사양을 개선하라는 요청을 받으면 모델은 난해한 엣지 케이스와 구현 세부 사항을 문서화하는 것을 끊임없이 제안합니다. 댓글 작성자 ianmarcinkowski는 직장 측면에서 같은 주제에 접근하며, 글쓰기를 AI로 처리하는 동료들에 대한 팀 대화를 이야기하고 스레드의 분위기가 대체로 공유하는 입장을 밝혔습니다: "글쓰기는 생각이다" 그리고 자신은 그 생각을 하고 싶다고 말했습니다. 댓글 작성자는 "AI 글쓰기가 싫습니다. 정말로."라고 덧붙였습니다.

결론

arXiv 논문 2610.29162는 일반적인 불만을 테스트 가능한 주장으로 포장합니다: 9개의 최첨단 및 준최첨단 모델이 인간보다 더 어려운 심리언어학적 구문을 사용하며, 강화 학습 중 적용된 길이 패널티만으로도 모델을 인간과 유사한 문법에서 멀어지게 할 수 있습니다. Hacker News 토론은 같은 관찰에 대한 세 가지 보완적 설명으로 수렴했습니다: RLHF는 한눈에 인상적으로 보이는 글에 보상을 주고, 훈련 코퍼스는 설득적이고 상업적인 텍스트로 가득 차 있으며, 독자는 존재하지 않는 마음을 모델링하려고 합니다. 논문과 스레드 모두에서 가장 실행 가능한 발견은 이 스타일이 고정된 제약이 아니라 기본값이라는 것입니다. 읽기 수준 지침, 명확성 프롬프트, 명시적 역할 분리가 모두 출력을 변경하기 때문입니다.