Codestral 25.01 릴리스 노트 / 새로 추가된 기능

Mistral AI는 원본 버전보다 약 2배 빠르게 코드를 생성하고 완성할 수 있는 코드 생성 모델인 Codestral 25.01의 출시를 발표했습니다. 이번 업데이트는 더 효율적인 아키텍처와 개선된 토크나이저를 도입하여, 전반적인 채우기 중간(FIM) 사용 사례에 대해 새로운 최고 수준(SOTA) 기준을 설정했습니다.

성능 및 아키텍처 개선

Codestral 25.01은 더 효율적인 아키텍처와 개선된 토크나이저를 활용하여 코드 생성 및 완성 속도를 두 배로 높였습니다. 이 모델은 낮은 지연 시간과 높은 주파수 사용 사례를 위해 설계되었으며, 채우기 중간(FIM), 코드 수정, 테스트 생성과 같은 핵심 개발자 작업을 지원합니다. 80개 이상의 프로그래밍 언어를 능숙하게 다루며, 256k의 컨텍스트 길이를 지원합니다.

기술적 벤치마크

Codestral 25.01은 여러 핵심 벤치마크에서 100B 미만 파라미터를 가진 주요 코드 생성 모델들을 모두 능가합니다.

일반 코드 능력

HumanEval(평균)에서 Codestral 25.01은 71.4%를 기록하여 이전의 Codestral-2405 22B(65.6%), DeepSeek Coder V2 lite(65.9%), Codellama 70B instruct(55.3%)를 모두 앞섰습니다.

채우기 중간(FIM) 기능

이 모델은 FIM 사용 사례에서 SOTA로 평가받고 있습니다. HumanEvalFIM(평균) 단일 라인 정확 일치에서 85.89%를 기록하여 OpenAI FIM API(83.7%)와 DeepSeek Chat API(84.63%)를 모두 능가했습니다.

FIM pass@1에서 Codestral 25.01은 평균 95.3%를 기록했으며, Codestral-2405 22B의 91.8%와 OpenAI FIM API의 92.7%보다 높았습니다.

언어별 성능

HumanEval에서 Codestral 25.01은 Python(86.6%), C++(78.9%), Javascript(82.6%), Bash(43.0%), Typescript(82.4%)를 포함한 대부분의 테스트 언어에서 선두를 달리고 있습니다. 제공된 데이터에서 유일한 예외는 Java로, Codestral-2405 22B가 78.5%를 기록한 반면 Codestral 25.01은 72.8%를 기록했습니다.

배포 및 가용성

Codestral 25.01은 다음 채널을 통해 이용 가능합니다:

• IDE 통합: Continue for VS Code 및 JetBrains에서 추천 자동 완성 모델로 제공되는 IDE 및 IDE 플러그인 파트너를 통해 이용 가능합니다.
• API 접근: codestral-latest를 통해 la Plateforme, Google Cloud의 Vertex AI에서 접근 가능하며, Azure AI Foundry에서는 개인 프리뷰로 제공 중이며, Amazon Bedrock 지원은 곧 제공될 예정입니다.
• 엔터프라이즈 배포: 데이터 및 모델의 위치를 기업 내부 또는 가상 사설 네트워크(VPC) 내에서 유지해야 하는 조직을 위해 로컬로 배포할 수 있습니다.

산업 관점

Continue의 공동 창립자인 Ty Dunn은 AI 코드 보조 도구에서 FIM 기능의 중요성을 강조합니다:

"AI 코드 보조 도구에서 코드 완성은 작업의 대부분을 차지하며, 이는 채우기 중간(FIM)에 능숙한 모델이 필요합니다. Codestral 25.01은 이 분야에서 중요한 진전을 이뤘습니다. Mistral AI의 새로운 모델은 훨씬 더 정확하고 빠르게 제안을 제공할 수 있어, 정확하고 효율적인 소프트웨어 개발에 필수적인 요소입니다."

Codestral 25.01은 LMsys copilot arena 랭킹에서 1위로 데뷔했습니다.