DeepSeek-V3-0324 릴리스 노트

DeepSeek는 R1 추론 모델의 기반이 되는 베이스 모델의 업데이트 버전인 DeepSeek-V3-0324를 출시했습니다. 이번 릴리스는 모델을 MIT 라이선스로 전환하는 동시에 지시 이행(instruction following), 수학적 추론 및 코딩 능력을 향상시키는 데 중점을 두고 있습니다.

성능 벤치마크 및 역량

DeepSeek-V3-0324는 주요 벤치마크에서 강력한 성능을 보여주며, 종종 GPT-4.5와 대등한 성능을 내고 일반적으로 Claude-Sonnet-3.7을 능가합니다.

벤치마크 개선 사항

모델은 다음 영역에서 이전 버전 대비 상당한 향상을 보여줍니다:

MMLU-Pro: 75.9에서 81.2로 증가(+5.3)하여 전반적인 이해도가 향상되었음을 나타냅니다.
GPQA: 59.1에서 68.4로 증가(+9.3).
AIME: 39.6에서 59.4로 증가(+19.8)하여 수학적 능력을 나타내는 대리 지표 역할을 합니다.
LiveCodeBench: 39.2에서 49.2로 증가(+10.0)하여 코딩 능력이 향상되었음을 나타냅니다.

타겟 기능 강화

DeepSeek는 다음 도메인에서 특정 개선 사항을 확인했습니다:

프론트엔드 웹 개발: 코드 실행 가능성 및 게임 프론트엔드와 웹 페이지의 미적 품질을 향상시켰습니다.
중국어 작문 숙련도: R1 작문 스타일과 일치하도록 중급 및 장문 글쓰기의 스타일과 콘텐츠 품질을 것을 개선하고, 번역 및 편지 쓰기를 최적화했습니다.
중국어 검색 능력: 보고서 분석 요청에 대해 더 상세한 출력을 제공합니다.
Function Calling: 정확도를 높이고 이전 V3 버전에서 존재했던 문제를 해결했습니다.

기술적 구현

전체 기술 보고서가 공개되지는 않았지만, 모델은 원래의 DeepSeek-V3와 동일한 아키텍처를 유지합니다. 이러한 개선 사항은 다음과 같은 방식을 통해 달성된 것으로 추정됩니다:

Continual Pretraining: 더 새롭고, 고품질이며, 더 잘 큐레이션된 데이터를 활용하여 일반적인 역량과 최근 사건에 대한 사실성을 향상시켰습니다.
Improved Post-Training: 지시 이행 및 스타일을 강화하기 위해 포스트 트레이닝 데이터 믹스 또는 알고리즘을 개선했습니다.

배포 및 추론 옵션

DeepSeek-V3-0324는 사용 가능한 컴퓨팅 리소스를 기반으로 여러 방법으로 배포할 수 있습니다:

관리형 추론

모델은 Fireworks, Hyperbolic, Novita를 포함한 Hugging Face Inference Providers를 통해 사용할 수 있습니다.

셀프 호스팅 추론

Text Generation Inference (TGI): 최신 릴리스(v3.2.1)에서 지원되며, H100 노드에서 Docker를 통해 실행할 수 있습니다.
SGLang: Multi Latent Attention 및 Data Parallelism 최적화를 통해 모델을 즉시 지원합니다.

낮은 VRAM을 위한 양자화

전체 모델의 높은 VRAM 요구 사항을 줄이기 위해 Unsloth AI는 Dynamic Quantizations를 제공합니다. 이를 통해 llama.cpp를 사용하여 벤치마크 성능 저하를 최소화하면서 단일 H100 노드의 절반의 컴퓨팅 파워로 모델을 실행할 수 있습니다.

보안 및 안전 고려 사항

모델 배포 안전성

Hugging Face Hub의 여러 안전 장치 덕분에 모델을 다운로드하고 실행하는 것은 안전한 것으로 간주됩니다:

Safetensors: safetensors 형식을 사용하여 이전 PyTorch pickle 형식과 관련된 위험인 숨겨진 코드 실행을 방지합니다.
Modeling Code Security: 코드는 허브에 완전히 공개되어 있으며, 실행을 위해 사용자가 trust_remote_code=True를 설정해야 하며, 보안 스캐너의 대상이 됩니다. 사용자는 revision 설정을 사용하여 모델 버전을 고정함으로써 환경을 것을 더욱 안전하게 만들 수 있습니다.

출력 및 사용 위험

사용자는 모델 출력물을 활용할 때 표준 안전 조치를 적용해야 합니다:

Alignment: 사용자는 모든 LLM이 모델 제공자의 정렬(alignment) 값에 기반한 편향을 가지고 있다는 점을 인지해야 합니다.
Code Generation: 모델이 훈련 데이터에 포함된 알려진 취약점을 포함하는 코드를 생성할 수 있으므로, 제안된 코드는 철저한 검토 및 취약점 스캔을 과정을 거쳐야 합니다.
Agents: 자율 에이전트에서 모델을 사용할 경우, 승인되지 않은 시스템 액세스를 방전지하기 위해 샌드박스를 사용하고, 개인적인 자용을 공유하지 않으며, 중대한 프로세스에는 인간의 개입(human-in-the-loop)을 유지할 것을 권장합니다.