DeepSeek, 대규모 서비스를 구동하는 추론 엔진 DeepInfer를 오픈소스로 공개

지원 범위

지원 모델은 DeepSeek-V4.1-Flash이고 기본 체크포인트는 V4.1-Flash-1017이다. 첫 실행 때 Hugging Face 캐시로 내려받으며 로컬 체크포인트도 쓸 수 있다. 지원 하드웨어는 NVIDIA SM100 GPU와 Huawei Ascend 950 NPU이고, 배치 불변 추론과 결정적 샘플링은 NVIDIA에서만 된다. 라이선스는 Apache 2.0이다. 초기 구현은 주로 vLLM을 기반으로 했고 SGLang과 TensorRT-LLM에서도 영감을 얻었다.

성능 최적화

최적화된 커널과 모델·샘플러 런타임을 제공하며 FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect와 맞춤 TileLang 커널이 포함된다. 병렬 처리는 어텐션 데이터 병렬과 균형 컨텍스트 병렬, 전문가 병렬과 부하 분산을 지원한다. 비동기 스케줄링은 CPU의 배치 스케줄링과 장치 실행을 겹쳐 수행하며 기본으로 켜져 있다. 디코딩은 초안 토큰을 먼저 만들고 신뢰도 추정치로 검증 시점을 배정하는 DSpark 방식으로 가속하며 최대 초안 길이 기본값은 5다. 디코더 프리필은 끝부분 일부만 다시 처리하는 방식으로 줄이는데, 기본 V4.1 설정은 compact 모드에서 끝부분 140개 토큰을 유지한다.

재현성과 구조화 출력

배치 구성이 달라도 결과를 같게 유지하는 배치 불변 추론, 입력과 샘플링 매개변수가 같으면 같은 출력을 내는 결정적 샘플링을 지원한다. 구조화 출력은 정규식, JSON 스키마, EBNF 문법으로 생성 결과를 제한한다.

아직 빠진 것

완전한 서비스를 운영하려면 따로 구성할 부분이 있다. KV 캐시 시스템은 이번 릴리스에 없고, 임베딩·프리필·디코드 단계 분리와 데이터 병렬 복제본 사이의 부하 분산도 별도로 구성해야 한다. 성능 측정은 프리필에 SM100 GPU 4개, 디코드에 64개를 쓰는 구성으로 했고 재현용 스크립트와 평가 문서를 함께 제공한다.