Codestral 릴리스 노트

Mistral AI는 처음으로 전용 코드 모델인 Codestral을 발표했습니다. Codestral은 22B 개의 오픈 웨이트를 가진 생성형 AI 모델로, 공통된 지시 및 완성 API 엔드포인트를 통해 개발자들이 코드를 생성하고, 함수를 완성하며, 테스트를 작성하는 데 도움을 줍니다.

광범위한 언어 지원 및 핵심 기능

Codestral은 80개 이상의 프로그래밍 언어에 능숙합니다. 이에는 Python, Java, C, C++, JavaScript, Bash와 같은 널리 사용되는 언어뿐만 아니라 Swift와 Fortran과 같은 전문적인 언어도 포함됩니다.

개발자 생산성 향상과 버그 감소를 위해 모델은 몇 가지 핵심 기능을 지원합니다:

코드 완성: 코드 함수 및 부분 코드를 완성합니다.
중간 채우기(Fill-in-the-Middle, FIM): 주변 맥락을 기반으로 코드를 완성할 수 있는 메커니즘입니다.
테스트 생성: 기존 코드에 대해 자동으로 테스트를 작성합니다.

성능 및 벤치마크

22B 파라미터 모델로서 Codestral은 코드 생성 작업에서 성능과 지연 시간 사이의 균형을 최적화하기 위해 설계되었습니다.

장거리 맥락 및 리포지토리 수준 완성

Codestral은 32k 맥락 창을 갖추고 있으며, 경쟁 모델에서 흔히 볼 수 있는 4k, 8k, 16k 창보다 훨씬 큽니다. 이 더 큰 창 덕분에 Codestral은 장거리 리포지토리 수준 코드 완성에 특화된 벤치마크인 RepoBench에서 다른 모델을 능가합니다.

기술 벤치마크

Mistral AI는 여러 차원에서 Codestral을 평가했습니다:

Python: HumanEval pass@1, MBPP sanitised pass@1(생성 능력), CruxEval(출력 예측), RepoBench EM(장거리 완성)을 사용하여 성능을 측정했습니다.
SQL: Spider 벤치마크를 사용하여 성능을 평가했습니다.
다국어 지원: C++, bash, Java, PHP, Typescript, C#에서 HumanEval pass@1을 사용하여 모델을 평가했습니다.
중간 채우기(FIM): Python, JavaScript, Java에서 DeepSeek Coder 33B와 비교하여 FIM 성능을 평가했습니다.

배포 및 접근 옵션

Codestral은 사용 사례에 따라 여러 접근 경로를 통해 이용할 수 있습니다.

오픈 웨이트 및 라이선스

Codestral은 HuggingFace에서 다운로드 가능한 오픈 웨이트 모델입니다. 이 모델은 Mistral AI Non-Production 라이선스 하에 배포되며, 연구 및 테스트 용도로 사용할 수 있습니다. 상용 라이선스는 Mistral AI에 요청 시 제공됩니다.

API 엔드포인트

전용 엔드포인트(codestral.mistral.ai): 사용자가 자체 API 키를 제공하는 IDE 플러그인 및 애플리케이션을 위한 것으로, 현재 8주간 무료 베타 기간이며 대기자 명단을 통해 접근이 제한됩니다.
일반 API 엔드포인트(api.mistral.ai): la Plateforme를 통해 이용 가능하며, 토큰당 요금이 부과됩니다. 이는 연구, 배치 쿼리, 또는 사용자에게 직접 결과를 노출하는 제3자 애플리케이션을 위한 것입니다.

자체 배포

Codestral은 Mistral AI의 영업 팀을 통해 자체 배포가 가능합니다.

생태계 통합

Codestral은 여러 개발자 도구 및 프레임워크에 통합되었습니다:

애플리케이션 프레임워크: LlamaIndex 및 LangChain에 통합되어 에이전트 애플리케이션을 구축하는 데 사용됩니다.
IDE 통합: Continue.dev 및 Tabnine에 통합되어 VSCode 및 JetBrains 환경에서 채팅 및 코드 생성을 위해 Codestral을 사용할 수 있습니다.

커뮤니티 및 파트너 피드백

업계 파트너들은 모델의 효율성과 정확성에 주목했습니다. 주요 피드백은 다음과 같습니다:

"내부 평가 결과, Mistral의 새로운 Codestral 모델은 Cody 자동 완성의 지연 시간을 크게 줄였으며, 제안된 코드의 품질은 유지하고 있습니다."

— Quinn Slack, Sourcegraph CEO 및 공동 창립자

"우리는 Codestral을 사용해 Kotlin-HumanEval 벤치마크 테스트를 수행했고, 결과에 매우 인상받았습니다. 예를 들어 T=0.2일 때 통과율에서 Codestral은 73.75점을 기록해 GPT-4-Turbo의 72.05점과 GPT-3.5-Turbo의 54.66점을 모두 상회했습니다."

— Mikhail Evtikhiev, JetBrains 연구원