LongCat-2.0 MoE 모델 분석

LongCat-2.0은 총 1.6조 개의 파라미터와 480억 개의 활성 파라미터를 보유한 대규모 Mixture-of-Experts (MoE) 모델입니다. 이 모델은 비-Nvidia 하드웨어를 사용하여 AI 학습 및 배포를 확장하려는 중요한 시도로 나타나며, 특히 35조 개 이상의 토큰에 걸친 사전 학습을 처리하기 위해 AI ASIC superpod를 활용합니다.

하드웨어 인프라 및 ASIC 확장

LongCat-2.0은 표준 Nvidia GPU 생태계 대신 대규모 AI ASIC superpod 클러스터에서 학습 및 배포되었습니다. 이러한 아키텍처 선택은 GPU에 비해 덜 발달된 소프트웨어 커뮤니티를 보완하기 위해 안정적이고 안전하며 확장 가능한 인프라 개발을 필요로 했습니다.

커뮤니티 분석에 따르면 사용된 하드웨어는 Huawei Ascend 910C 칩일 수 있습니다. 일부 추정치에 따르면 1,024개의 Huawei Ascend superpod를 사용한 것으로 보이며, 이는 약 50,000개의 910C 칩에 해당합니다. 학습 및 추론을 위해 ASIC으로 전환하는 이러한 움직임은 GPU 제한을 우회하고 컴퓨팅 비용을 절감하기 위한 전략적 조치로 일부에서 간주됩니다.

아키텍처 영향 및 기술적 혁신

LongCat-2.0은 기존 연구를 기반으로 구축되었지만—일부 사용자는 DeepSeek V4 아키텍처와의 유사성을 언급했습니다—단순한 사후 학습을 넘어선 특정 기술적 기여를 도입합니다.

N-gram Embedding

LongCat-2.0의 가장 많이 논의되는 기술적 특징 중 하나는 N-gram embedding의 사용입니다. 이 접근 방식은 향후 모델의 잠재적 시너지 효과를 낼 수 있는 것으로 보이며, 특히 모델 효율성을 더욱 최적화하기 위해 저비트(ternary 또는 1-bit) 양자화 방법과 결합될 때 더욱 그러합니다.

성능 및 커뮤니티 피드백

초기 사용자 테스트 및 커뮤니티 논의를 통해 모델의 능력과 접근성에 대한 엇갈린 반응이 나타나고 있습니다.

추론 및 정확도

복잡한 핵물리학 질문(구체적으로 U-235와 Pu-241 연료 비교)을 포함한 비교 테스트에서, LongCat-2.0은 논리적인 추론을 제공하지만 틀린 답을 내놓는 것으로 보고되었습니다. 동일한 테스트에서 Qwen 3.7 Plus와 Gemini Flash는 정답을 제공했으며, Gemini Flash는 더 높은 신뢰도와 속도로 주목받았습니다.

접근성 및 투명성

모델의 가용성에 대한 상당한 우려가 제기되고 있습니다. 사용자들은 개발자가 제공한 Hugging Face 및 GitHub 링크가 404 오류를 반환한다고 보고했으며, 이는 일부로 하여금 출시의 투명성과 모델 가중치가 공개될지 여부에 대해 의문을 갖게 만듭니다.

운영 관찰 사항

사용자들은 상호작용 중 특정 행동 특성을 언급했습니다. 예를 들어, 애플리케이션 언어가 영어로 설정되어 있고 "Search" 기능이 활성화되어 있음에도 불구하고 모델이 중국어로 결과를 반환하는 경우가 있습니다.

조직 배경

LongCat-2.0은 중국의 주요 음식 배달 기업인 Meituan과 관련이 있습니다. 이 프로젝트는 중국 기술 분야에서 리더십을 발휘해 온 이력이 있는 Meituan의 공동 창립자이자 CEO인 Wang Xing이 이끌고 있습니다.