SGLang은 일반 대형 모델에 Jev식 의사결정 모드를 추가하여, 미세 조정 없이도 직접 선택할 수 있게 한다

동찰 Beating AI 속보, 대규모 모델 추론/배포 프레임워크 SGLang에 네이티브 의사결정 API가 추가되어 Qwen3.8-27B 같은 기성 LLM과 멀티모달 모델이 가중치를 수정하거나 재미세조정 없이도 바로 선택, 판단, 점수를 매길 수 있게 되었다. 개발자가 현재 상황과 몇 가지 후보 답안을 제시하면, 모델이 각 옵션의 확률을 직접 반환하며, 더 이상 먼저 텍스트를 생성한 후 파싱하지 않아도 된다.

이는 대규모 모델이 원래 계산하는 '다음 토큰 확률'을 활용한 것이다. 예를 들어 후보 답안이 A, B, C일 때 일반 채팅 모델은 텍스트를 계속 생성하지만, SGLang은 모델이 A, B, C에 대해 가지는 확률을 직접 읽어 어떤 답안을 더 선호하는지 확인한다. 모델 자체는 변하지 않았고, 결과를 읽는 방식만 바뀐 것이다.

SGLang은 Qwen3.8-27B로 《포켓몬 FireRed》 데모를 만들었다. 모델이 실시간 게임 상태에 따라 공격, 포켓몬 교체, 치료를 판단하며, 단일 의사결정이 100ms 미만이고, 사천왕과 챔피언을 한 번에 돌파했다. Qwen3.8-27B 자체가 이미지 입력을 지원하기 때문에 이 방법으로 멀티모달 의사결정도 처리할 수 있다.

SGLang은 또한 /v1/systemone 인터페이스를 새로 추가했으며, Jev가 사용하는 TypeSafe SDK와 호환된다. 이미 이 SDK를 사용 중인 애플리케이션은 서비스 주소를 자신의 SGLang 인스턴스로 변경하여 계속 호출할 수 있다. 새 기능은 이미 nightly 버전에 들어갔으며, v0.5.21과 함께 정식 출시될 예정이다.