DeepInfer: DeepSeek이 실서비스에 쓰는 추론 엔진을 Apache 2.0으로 공개

DeepInfer는 DeepSeek이 자기 API 서비스에서 쓰는 추론 프레임워크예요. vLLM에서 출발해 크게 고쳤고 FlashMLA, DeepGEMM, DeepEP 같은 자체 커널과 전문가 병렬화(MoE 모델의 전문가를 여러 GPU에 나누는 방식), 구조화 출력, 추측 디코딩을 담았어요. 지금은 DeepSeek-V4.1-Flash만 지원하고 NVIDIA SM100(Blackwell)과 Huawei Ascend 950에서 돌아요.

export DEEPINFER_ACCELERATOR=nvidia
./build.sh
python examples/offline_inference.py

큰 MoE 모델을 실제 서비스 규모로 돌리는 방법을 코드로 볼 수 있다는 점이 커요. DeepSeek은 한 클러스터에서 하루 155조 토큰을 처리한다고 밝혔어요업체 주장. 다만 KV 캐시 관리, 프리필·디코드 분리, 복제본 간 부하 분산은 빠져 있고 Hopper 이하 GPU는 안 돼요. 바로 서비스에 쓰기보다 자체 추론 스택을 다루는 팀이 설계를 참고하는 용도로 보는 게 맞아요.