Mistral AI Devstral 출시

Mistral AI와 All Hands AI는 소프트웨어 엔지니어링 작업을 위해 특별히 설계된 에이전트형 대규모 언어 모델(LLM)인 Devstral을 출시했습니다. Devstral은 Apache 2.0 라이선스 하에 출시되었으며, 코드 에이전트 스캐폴드와 통합되어 실제 GitHub 이슈를 해결하도록 최적화되었습니다.

SWE-Bench Verified에서의 높은 성능

Devstral은 500개의 수동으로 선별된 실제 GitHub 이슈로 구성된 데이터셋인 SWE-Bench Verified 벤치마크에서 이전의 오픈 소스 최첨단(SoTA) 모델들을 능가합니다.

주요 성능 지표는 다음과 같습니다:

점수: Devstral은 SWE-Bench Verified에서 46.8%의 점수를 달성하여, 이전 오픈 소스 SoTA 모델들을 6%포인트 이상 앞질렀습니다.
대형 모델과의 비교: OpenHands 테스트 스캐폴드를 사용하여 평가했을 때, Devstral은 Deepseek-V3-0324 (671B) 및 Qwen3 232B-A22B를 포함한 훨씬 더 큰 모델들을 능가합니다.
폐쇄형 모델과의 비교: Devstral은 GPT-4.1-mini를 포함한 여러 폐쇄형 소스 대안 모델들을 20% 이상 능가합니다.

소프트웨어 엔지니어링을 위한 에이전트 기능

단독 함수 작성이나 코드 완성 같은 원자적 코딩 작업에 뛰어난 일반적인 LLM과 달리, Devstral은 복잡한 소프트웨어 엔지니어링 문제를 처리하도록 설계되었습니다. 여기에는 다음이 포함됩니다:

문맥화(Contextualization): 대규모 코드베이스 내의 문맥 속에서 코드를 이해하는 능력.
관계 매핑(Relationship Mapping): 시스템의 서로 다른 구성 요소 간의 연결을 식별하는 능력.
버그 식별(Bug Identification): 복잡한 함수 내의 미묘한 버그를 찾는 능력.

이러한 기능을 구현하기 위해, Devstral은 실제 GitHub 이슈를 해결하도록 학습되었으며, 모델과 테스트 케이스 사이의 인터페이스를를 관리하는 OpenHands 또는 SWE-Agent와 같은 에이전트 스캐폴드를 통해 작동합니다.

배포 Versatility 및 하드웨어 요구 사항

Devstral은 높은 효율성을 위해 설계되어 다양한 환경에서 배포할 수 있습니다:

로컬 배포: 모델은 단일 RTX 4090 GPU 또는 32GB RAM을 탑재한 Mac에서 실행될 수 있을 만큼 가볍습니다. 따라서 온디바이스 사용에 적합합니다.
- 기업용 사용: 성능과 로컬 배포 기능 덕분에 엄격한 보안 및 컴플라이언스 요구 사항이 적용되는 개인정보 보호가 중요한 저장소에서의 에이전트형 코딩에 유중한 선택지가 됩니다.
IDE 통합: Devstral은 에이전트형 코딩 IDE, 플러그인 또는 환경의 모델 선택 옵션으로 통합될 수 있습니다.

가용성 및 가격 정책

Devstral은 커뮤니티 및 기업용 사용을 위해 여러 채널을 통해 제공됩니다:

오픈 소스: 모델은 Apache 2.0 라이선스 하에 무료로 출시되었으며, HuggingFace, Ollama, Kaggle, Unsloth, 및 LM Studio에서 다운로드할 수 있습니다.
API 액세스: 모델은 Mistral AI의 API를 통해 devstral-small-2505로 제공됩니다. 가격은 입력 토큰 100만 개당 $0.1, 출력 토큰 100만 개당 $0.3로 책정되었으며, 이는 Mistral Small 3.1의 가격과 동일합니다.
기업용 맞춤화: Mistral AI는 응용 AI 팀을 통해 프라이빗 코드베이스에 대한 미세 조정(fine-tuning), 지속적 사전 학습(continued pre-training), 및 증류(distillation) 서비스를 제공합니다.

향후 전망

Devstral는 현재 연구용 프리뷰 버전입니다. Mistral AI는 더 큰 에이전트형 코딩 모델이 개발 중이며, 몇 주 내에 출시될 것으로 예상된다고 발표했습니다.