DeepSeek DeepInfer 추론 프레임워크 출시

DeepSeek은 자사의 대규모 프로덕션 서비스를 구동하는 오픈 소스 고성능 추론 프레임워크인 DeepInfer를 출시했습니다. 이 프레임워크는 대규모 추론 워크로드를 처리하도록 설계되었으며, 특히 DeepSeek-V4.1-Flash 모델을 지원하고 Apache License 2.0으로 공개되었습니다.

핵심 아키텍처 및 기능

DeepInfer는 처리량과 지연 시간 감소에 중점을 둔 대규모 서빙을 위한 일련의 최적화 기능을 제공합니다. 주요 기능은 다음과 같습니다:

• 최적화된 커널: 이 프레임워크는 FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect를 포함한 사용자 지정 커널과 TileLang 커널을 통합합니다.
• 병렬 처리: Attention Data Parallelism (DP), 균형 잡힌 Context Parallelism (CP), 그리고 부하 분산(EPLB)을 지원하는 Mixture-of-Experts (MoE) Expert Parallelism (EP)을 포함한 고급 병렬 처리 전략을 지원합니다.
• 디코딩 최적화: 디코딩을 가속화하기 위한 DSpark 및 confidence-scheduled verification, 그리고 프리필(prefill) 오버헤드를 줄이기 위한 Decoder SWA (Sliding Window Attention) bounded replay 기능을 포함합니다.
• 운영 효율성: 이 엔진에는 제로 오버헤드 배치 스케줄링을 위한 비동기 스케줄러, 일관된 결과를 위한 배치 불변 추론, 결정론적 샘플링 기능이 포함되어 있습니다.
• 구조화된 출력: DeepInfer는 JSON 스키마, 정규식 또는 EBNF 문법과 같은 특정 형식으로 모델 생성을 제한하는 기능을 기본적으로 지원합니다.

하드웨어 지원 및 요구 사항

DeepInfer는 이기종 하드웨어 환경을 위해 구축되었으며, NVIDIA SM100 GPU와 Huawei Ascend 950 NPU를 모두 지원합니다. 이 프레임워크는 Linux 환경, GCC 13.0 이상, Python 3.12를 필요로 합니다. NVIDIA 하드웨어의 경우 CUDA 13이 필요하며, Ascend 플랫폼은 CANN 9.2가 필요합니다.

특히 현재 릴리스는 핵심 추론 엔진에 중점을 두고 있으며, 프로덕션 준비가 완료된 전체 스택은 포함하지 않습니다. 사용자는 자체 KV 캐시 시스템, 복제본 간의 부하 분산, 프리필 및 디코딩 단계를 위한 분리 로직을 직접 제공해야 합니다.

산업적 맥락 및 커뮤니티 반응

DeepInfer의 출시는 AI 인프라의 경쟁 구도에 관한 상당한 논의를 불러일으켰습니다. 커뮤니티 구성원들은 이 프레임워크가 Huawei Ascend 하드웨어를 지원하는 것이 NVIDIA 독점 생태계에 대한 의존에서 벗어나 AI 인프라를 다변화하려는 전략적 노력이라고 평가했습니다.

업계 관찰자들은 이번 릴리스가 연방 시스템에서 DeepSeek 제품 사용에 관한 미국 정부의 새로운 규제 조치와 맞물려 전략적인 시점에 이루어졌다고 지적했습니다. 일부 사용자는 이를 LLM 호스팅의 진입 장벽을 낮추는 "게임 체인저"로 보는 반면, 다른 사용자들은 이 프레임워크가 프로덕션 서비스 규모로 배포하기 위해 상당한 엔지니어링 노력이 필요한 전문 도구임을 강조합니다.

"사람들이 Huawei 하드웨어를 사용하지 않는 주된 이유는 규제 때문입니다. 미국에 있다면 세관에서 하드웨어를 압수당할 것입니다... Nvidia는 권력자들이 명령하는 한 계속해서 독점권을 유지할 것입니다,"라고 하드웨어 영향에 관해 한 커뮤니티 참가자가 언급했습니다.

DeepSeek은 DeepInfer 개발의 기초적인 영감을 준 vLLM, SGLang 및 NVIDIA의 TensorRT-LLM과 같은 기존 오픈 소스 프로젝트의 영향을 인정했습니다.