Microsoft Research의 AI Frontiers 그룹의 종말: John Langford가 말하는 '확장 우선' 조직 개편

Microsoft Research의 AI Frontiers 그룹(AIF)이 사실상 해체되었습니다. AIF의 설립자 중 한 명인 John Langford는 자신의 Machine Learning (Theory) 블로그를 통해, 약 50명 규모의 이 조직이 9월 초 Microsoft AI(MAI)로 통합되었으며, MAI의 리더십 철학은 "확장이며, 공격적으로 연구를 배제하는 것"이라고 밝혔습니다. 또한 그를 포함한 AIF의 모든 창립 리더십 팀원들이 회사를 떠났다고 전했습니다. 이 게시물은 대기업의 연구 부서가 어떻게 '확장 우선' 제품 조직에 주도권을 빼앗겼는지에 대한 드문 실명 기반의 1인칭 기록입니다.

AI Frontiers란 무엇이었나

AI Frontiers는 ChatGPT 출시 이후인 2023년, 개인 연구자의 작업이 아닌 조직적인 AI 연구를 수행하기 위해 Microsoft Research 내부에 설립되었습니다. Langford가 밝힌 설립 근거는 속도와 기본 성능(baseline) 강화였습니다. 그는 "한 명의 연구자가 기발한 아이디어를 내더라도, 혼자서는 충분히 빠르게 움직일 수 없고 구축할 수 있는 기본 성능이 아이디어가 실현될 가치가 있음을 증명하기에 부족하기 때문에 늦고 설득력이 떨어지게 된다"고 설명했습니다.

Langford는 이 그룹의 운영 모델이 하향식도 상향식도 아닌 "어딘가 혼란스러운 중간 지점"이었으며, 실제적인 의견 충돌과 컴퓨팅 자원 가용성이 "종종 심각한 병목 현상"이었다고 묘사합니다. 그는 이 그룹이 작은 규모에도 불구하고 선구적인 성과를 내는 데 성공했다고 평가합니다.

Langford가 AI Frontiers의 성과로 꼽은 공개 결과물은 다음과 같습니다:

• Autogen: 에이전트를 위한 오케스트레이션 프레임워크.
• Fara: 컴퓨터 사용 에이전트 모델.
• Next Latent: 외삽(extrapolation)을 가능하게 하기 위한 학습 목표.
• Dion3: Muon 옵티마이저의 최적화 또는 개선 버전으로 설명됨.
• Full Bandwidth Transformer: Langford가 모델을 "상당히 더 강력하게 기능하게" 만든다고 말하는 재귀 기반 아키텍처.

또한 AIF는 Microsoft Research 전체에서 기본적으로 공유되는 모노레포를 구축했으며, 여기에는 Langford가 '검증된 성능의 엣지 스케일 사전 학습 코드베이스'라고 부르는 것이 포함되어 있습니다. 그는 Microsoft 내부에서 최소 4개의 서로 다른 팀이 모델 구축 파이프라인을 만들려고 시도했으며, 잘 구성된 파이프라인을 만드는 작업은 매우 상당한 노력이 필요하다고 언급합니다.

왜 끝났는가: 확장 전용 명령

Langford의 설명에 따르면, Microsoft AI로의 조직 개편은 서류상으로는 방어 가능했습니다(두 AI 조직을 합쳐 역량을 집중한다는 논리). 하지만 MAI의 전 Inflection 리더십 철학이 연구와 양립할 수 없었기 때문에 실제로는 실패했습니다.

"그곳의 핵심 철학은 확장이며, 공격적으로 연구를 배제하는 것입니다."

그는 이것이 순진한 선택이 아니라 합리적인 비즈니스 선택임을 분명히 합니다. 더 큰 모델이 더 나은 예측을 내놓으며, "비즈니스 관점에서 확장에 따른 수익은 연구에 따른 수익보다 훨씬 예측 가능하기 때문"입니다. 확장 전용 환경에서는 데이터 확보, 생성, 정제에 주된 노력이 투입되며, 이는 AIF가 수행하던 작업과는 거리가 멉니다. Langford는 "그들이 우리를 진심으로 원하지 않았다는 증거가 충분했다"고 덧붙였습니다.

그의 비판은 트레이드오프의 한쪽을 포기하는 것이 흔한 실패 방식이라는 점입니다:

"저는 확장 전용 초점이 잘못되었을 뿐만 아니라 재미도 없다고 생각합니다. 이는 이해할 수 있는 실패 방식입니다. 확장은 직관적이며, 여러 경쟁하는 이상(혁신과 규모 등) 사이의 트레이드오프를 포기하고 근시안적으로 하나를 완전히 채택하고 다른 하나를 버리는 것은 흔한 일입니다."

Langford가 제시하는 연구의 경제적 사례

확장 전용 전략에 대한 Langford의 반론은 정량적입니다. 그는 ByteDance의 실험을 인용하며, Full Bandwidth Transformer의 변형이 두 배 크기의 모델과 비슷할 수 있음을 시사합니다. 이는 동일한 성능을 내는 데 있어 학습과 추론 모두에서 상당한 비용 절감을 의미합니다. 그의 주장은 다음과 같습니다: 1조 달러에 육박하는 업계 투자를 고려할 때, 학습 및 추론 비용을 절반으로 줄이는 것은 엄청나게 중요하다는 것입니다.

이것이 게시물에서 가장 강력하게 인용할 만한 주장입니다. 즉, 연구 수익은 단순히 문화적인 것이 아니라 실질적이고 측정 가능하다는 것입니다. 의견 차이는 연구가 성과를 내느냐가 아니라, 관련 시간 지평 내에서 어떤 수익이 더 예측 가능한지에 대한 것입니다.

Langford가 Microsoft Research로 돌아가지 않은 이유

Langford는 MSR 복귀에 대해 사람들과 논의했지만 두 가지 장애물에 막혔다고 말합니다. 첫 번째는 활용성입니다. 그는 "내가 수행한 연구가 실제 활용으로 이어질 경로가 없는 회사에 있는 것이 불편하다"고 말하며, MAI 내부에 있는 동안 혁신을 활용하거나 진지하게 고려하게 만드는 데 실패했다고 밝혔습니다.

두 번째는 문화적 이유입니다:

"MSR의 기본 계약, 즉 '좋은 성과를 내면 좋은 일이 일어난다'는 원칙이 무너졌다고 생각합니다. 제가 아는 한 우리는 좋은 성과를 냈지만, 동의 없이 조직 개편으로 사라졌습니다."

그는 MSR 리더십이 "순간에 대응하기 위해 효과적으로 조직할 의지를 개발할 때까지" 그러한 패턴이 계속될 것이라고 예상합니다. 그는 내년에 AI Frontiers 인턴십이 없을 것이며, "통제권을 가진 사람들이 조금 더 지혜를 발휘한다면" 미래의 Microsoft가 다시 연구자들에게 매력적인 곳이 될 수 있을 것이라고 언급하며 글을 마칩니다.

Hacker News 토론이 추가한 내용

해당 스레드의 지배적인 관점은 이것이 Microsoft만의 실패가 아니라 업계 전반의 패턴이라는 것이었습니다. 한 상위 댓글은 모든 대기업이 현재 트랜스포머 접근 방식을 질주해야 할 고속도로로 취급하고 있으며, 다른 AI 방법에 대한 탐색적 연구는 "매우 권장되지 않는다"고 주장하며 지배적인 메시지를 다음과 같이 요약했습니다:

"발을 떼지 마라, 앞에는 직선 고속도로가 있으니 딴길로 새지 마라."

같은 댓글 작성자는 이것이 방어 가능하다고 주장했습니다. 현재 최고의 모델들은 파라미터가 수조 개에 달하고, 한계가 보이지 않으며, 자원을 다른 곳으로 돌리기 전에 10조, 100조 파라미터까지 확장을 밀어붙여야 한다는 것입니다.

여러 댓글 작성자는 게시물에 대한 그러한 해석에 반박했습니다. 한 명은 Langford가 트랜스포머 연구가 중단되었다고 말한 것이 아니며(그는 그룹이 작업 중이던 트랜스포머 아키텍처를 언급했습니다), 핵심은 조직적인 문제라고 지적했습니다:

"제 생각에 이 게시물의 핵심은 사내 정치와 잘못된 경영이 연구에서 제품으로의 기술 이전 과정에서의 내분과 잘못된 실행으로 인해 혁신을 방해했다는 것입니다."

다른 이들은 연구자와 회사 사이의 깨진 암묵적 계약에 집중했습니다:

"이것은 Microsoft에서 오랫동안 유지되어 온 계약이며, 현재 리더십 하에서 깨지고 또 깨졌습니다. 이는 문화를 파괴하는 일입니다."

반복되는 반론 중 하나는 헤드라인이 사건의 규모를 과장했다는 것이었습니다. 한 댓글 작성자는 AI Frontiers가 "거창한 이름을 가진 50명 규모의 팀"이었으며, 더 흥미로운 질문은 Microsoft가 AI 연구 전반의 우선순위를 낮췄는지 여부라고 지적했습니다. 다른 이는 제목의 모호함에 반대하며, AI 연구의 최전선 자체는 끝날 기미가 보이지 않으므로 "Microsoft Research의 AI Frontiers 그룹의 종말"이 더 명확할 것이라고 제안했습니다.

두 개의 댓글은 한 사람이 충분히 빠르게 움직일 수 없다는 Langford의 원래 2023년 전제를 복잡하게 만들었습니다. 한 명은 24시간 내내 코딩하는 에이전트가 있는 상황에서, 이제 제약 조건은 "팀으로 일하는 능력이 아니라 최첨단 모델 토큰 및 컴퓨팅 예산, 연구자의 기술, 추진력, 통찰력 및 상상력"이라고 주장했습니다. 다른 이는 경험을 바탕으로 같은 말을 했습니다: "아이러니하게도 이제 AI와 협업함으로써 한 사람이 충분히 빠르게 움직일 수 있습니다."

동의를 얻은 구조적 제안은 문제를 두 단계가 아닌 세 단계로 재구성했습니다: 창의적인 자유와 자원 제약이 있는 개방형 연구, 유망한 결과를 확장하는 소규모의 고수익 필터링 및 검증 단계, 그리고 현재 수익의 품질과 경제성에 엄격히 초점을 맞춘 상업적 노력입니다. 이 주장은 1단계와 3단계가 직접 협상하면 잘 안 되며, 중간 계층이 그들이 "충돌하는 것"을 방지한다는 것입니다.

회의적인 목소리도 있었는데, 그중 하나는 이 소식을 "탄광 속의 카나리아"라고 부르며, 확장 수익이 감소하고 비용이 급증함에 따라 AI 겨울이 올 것이라고 예측했습니다.

이 에피소드가 보여주는 것

AI Frontiers는 연구 조직이 조정 문제를 해결하기 위해 어떻게 만들어질 수 있는지(개별 연구자는 경쟁력 있는 기본 성능을 충분히 빠르게 구축할 수 없음), 그리고 예측 가능한 확장 수익이 불확실한 연구 수익을 이기는 다른 조정 논리에 의해 어떻게 해체될 수 있는지에 대한 구체적인 사례 연구입니다. Langford의 게시물은 그 메커니즘을 정확하게 명명합니다: 조직 개편, 양립할 수 없는 철학, 그리고 창립 리더십의 이탈입니다. 이 게시물이 남기는 미해결 질문은 연구에서 제품으로의 이관이 '확장 우선' 회사 내부에서 제도화될 수 있는지, 아니면 연구 활용을 원하는 연구자들이 그 이관을 성공시킬 수 있는 조직으로 계속 떠날 것인지입니다.