DeepSeek, 내부 추론 엔진 DeepInfer 오픈소스 공개:昇腾950 지원하지만 아직 완전한 온라인 서비스는 아님

동찰 Beating AI 속보, DeepSeek가 내부 추론 프레임워크 DeepInfer를 Apache 2.0 라이선스로 공식 오픈소스화했다. 이 시스템은 이미 DeepSeek V4.1 Flash의 대규모 온라인 서비스를 지원하는 데 사용되고 있다. 앞서 DeepSeek는 DeepGEMM 연산 라이브러리, FlashMLA 어텐션 연산자, DeepEP 통신 라이브러리를 잇따라 오픈소스화한 바 있다. 이번에는 멀티 GPU 병렬 처리, 작업 스케줄링, 생성 가속을 담당하는 핵심 프레임워크를 추가로 공개했다.

DeepInfer의 목표는 동일한 연산 능력으로 더 많은 요청을 처리하면서 사용자 대기 시간을 단축하는 것이다. 모델의 서로 다른 전문가를 여러 연산 카드에 분배하고, CPU 스케줄링과 GPU 연산이 동시에 진행되도록 할 수 있다. DSpark 추측 디코딩은 여러 후보 Token을 미리 생성한 뒤 신뢰도에 따라 검증을 배치한다. SWA Bounded Replay는 모델이 긴 텍스트를 처리할 때 최근의 짧은 구간만 재계산하여 반복 연산을 줄인다. 또한 JSON 등 구조화된 출력과 재현 가능한 샘플링 메커니즘도 지원한다.

이번 오픈소스화에는 우여곡절이 있다. 2025년 4월, DeepSeek는 자사 내부 추론 엔진이 초기 vLLM을 깊이 개조한 것으로 자사 클러스터에 고도로 결합되어 있어 커뮤니티에 직접 개방하기 어렵다고 설명하며, 먼저 독립 컴포넌트를 분리하기로 결정했다. 이제 핵심 코드가 마침내 공개되었지만, 여전히 완전한 온라인 배포 솔루션은 아니다. GitHub에는 현재 버전이 주로 오프라인 추론을 제공하며, KV 캐시 관리, 입력과 생성 단계 분리, 복제본 간 부하 분산 등의 컴포넌트가 아직 부족하다고 명시되어 있다.

현재 DeepInfer는 DeepSeek V4.1 Flash만 지원하며, 엔비디아 SM100 GPU와 화웨이 어센드 950 NPU에 적응되어 있다. 공식 성능 테스트는 각각 4장과 64장의 SM100 GPU를 사용하여 입력 처리와 출력 생성을 측정했지만, vLLM, SGLang과 동일 조건에서의 성능 비교는 제공하지 않았다. 함께 업데이트된 deepseek-recipe는 공식 API와 정렬된 메시지 및 Token 인코딩/디코딩 기능을 제공하며, 사고 내용, 이미지, 도구 호출 등의 형식을 지원한다.