고기 프록시 함정: '뇌를 끄는' AI 개발은 경력의 죽음이다

'고기 프록시'의 경제적 역설

대규모 언어 모델(LLMs)을 소프트웨어 개발에 사용할 때 뇌를 끄는 것은 전문적인 성공으로 이어질 수 없는 전략이다. 개발자가 단순히 LLM에 프롬프트를 입력하고 출력을 받아들이며, 코드가 실패할 때만 반복하는 '고기 프록시' 역할을 할 경우, 그는 가치를 창출하지 못하고 오직 도구를 위한 인간 인터페이스에 불과하다.

만약 LLM이 발전하여 이와 같은 '뇌를 끄는' 방법론이 고품질 소프트웨어를 생성할 수 있게 된다면, 인간은 더 이상 필요 없게 된다. 회사는 인간이 LLM이 스스로 수행할 수 있는 루프를 수행하도록 고용할 경제적 동기가 없다. 따라서 전문적인 가치를 유지하기 위해서는 LLM이 현재 자동화할 수 없는 고차원적 사고, 아키텍처 결정, 품질 보증 작업에 참여해야 한다.

'뇌를 끄는' 소프트웨어의 실패

사람의 사고를 LLM에 위임하는 개발자가 만든 소프트웨어는 종종 심각한 품질 문제를 겪는다. LLM이 코드를 올바르게 보이게 하거나 좁은 범위의 테스트를 통과할 수는 있지만, 다양한 분야에서 비슷한 방식으로 실패하는 경우가 많다:

• 메트릭에 과적합: 에이전트는 종종 특정 테스트나 메트릭에 과적합하는 경향이 있으며, 근본적인 문제를 해결하기보다는 '평가 형태'에 맞춘 해결책을 제시해 실제 환경에서는 실패한다.
• 분포 외 실패: LLM은 주요 훈련 데이터 외의 작업, 예를 들어 낯선 프로그래밍 언어나 복잡한 보드 게임 같은 경우에 크게 어려움을 겪는다. 이러한 경우, 사용자가 해당 주제에 깊이 이해하지 못한 상태에서는 자신감 있게 잘못된 답변을 내놓아 오도할 수 있다.
• 보이지 않는 논리 오류: 고속도 AI 생성은 '잡탕(slop)'—역전된 논리, 쓸모없는 테스트, 불필요한 복잡성—을 포함한 코드를 만들어낼 수 있다. 가리 버나하드(Gary Bernhardt)가 지적했듯이, 일부 AI 생성된 diff는 AI의 '불안'과 중복된 논리를 제거함으로써 기능을 잃지 않고도 75%까지 줄일 수 있다.

인간의 직관과 미학의 핵심 역할

효과적인 AI 통합을 위해서는 인간이 코드의 실행에서 사양 정의와 검증으로 인지적 노력을 옮겨야 한다.

프롬프트 전 사고

가장 중요한 인지 작업은 프롬프트를 작성하기 전에 이루어진다. 개발자가 LLM과 상호작용하기 시작하면, 모델의 제안이 자신의 사고를 제한하는 앵커링 편향에 노출된다. 프롬프트를 작성하기 전에 뇌를 사용하면, LLM이 구현을 도와줄 수 있는 더 견고한 설계를 할 수 있다.

'모르는 모르는 것' 다루기

고가치 작업은 종종 단번에 성공하지 못하는 이유는 '포착하기 어려운, 명확히 사양할 수 없는 요구사항'과 '모르는 모르는 것'을 포함하기 때문이다. 예를 들어, 레거시 시스템을 Bazel과 같은 새로운 빌드 도구로 전환하는 작업은 기관의 지식과 이해관계자의 요구를 이해해야 하며, LLM은 이러한 맥락에 접근할 수 없다.

AI 자동화에 대한 커뮤니티의 시각

실무자들 사이의 논의는 자동화에 대한 욕망과 기술적 부채의 현실 사이에 긴장감을 드러낸다:

"이런 글을 볼수록, 사람들이 AI에 대해 겪는 문제들이 우리가 외주화에 대해 겪었던 문제와 다를 바 없다는 걸 점점 깨닫게 된다... 결과와 도전은 동일하다. 다만 이제 피드백 루프가 하루가 아니라 분 단위로 이루어진다."

일부 개발자는 AI에 대한 표면적인 참여만 유지하다가 결국 개념적 편차가 불가피하다는 '좀비 모드'를 경험했다고 보고한다. 다른 이들은 AI의 가장 큰 위협이 개발자를 대체하는 것이 아니라, AI가 실패했을 때 이를 바로잡기 위해 필요한 직관과 판단력을 약화시키는 것이라고 경고한다.

일부는 인간이 '준수 회피용 방패'—즉, AI 오류에 대한 법적 또는 사회적 책임을 떠넘기기 위해 고용되는 사람—으로 남을 수 있다고 주장하지만, 이는 실제로 시스템이 작동하도록 보장하는 미학과 아키텍처 감독을 제공하는 전문 엔지니어의 역할보다 위험한 위치이다.