Pokee가 1000만 토큰 모델을 출시했으며, 컨텍스트가 주류 모델의 약 10배에 달합니다.

동차 Beating 모니터링에 따르면, AI 에이전트 스타트업 Pokee AI가 Pokee-Isaac 28B를 출시했다. 모델 파라미터 총량은 단 280억 개에 불과하지만, 컨텍스트 윈도우는 1000만 토큰에 달한다. 현재 주류 모델의 상한선은 약 100만 토큰 수준이며, Isaac은 이들의 약 10배에 가깝다.

Pokee 자체 테스트에서 Isaac은 RULER 장문 테스트에서 25.6만에서 400만 토큰까지 꾸준히 95점 안팎을 유지했다. 1000만 토큰으로 최대치를 채운 후에도 점수는 여전히 93.3을 기록했다. 나머지 다섯 개 대조 모델은 200만 토큰부터 유효한 결과를 반환하지 못했다.

Pokee는 초장기 컨텍스트를 자체 개발한 '순수 Decoder-only 아키텍처가 아닌 구조', 즉 일반적인 대형 모델의 순수 디코더 구조를 완전히 따르지 않은 방식에 기인한다고 설명했다. 다만 기술 보고서는 구체적인 아키텍처, 어텐션 메커니즘, GPU 메모리 솔루션을 공개하지 않아, 외부에서는 현재로서는 이를 어떻게 구현했는지 판단할 수 없다.

Pokee AI는 2024년에 설립되었으며, 전 Meta 애플리케이션 강화학습 책임자였던 주저칭이 창업했다. 회사는 Point72 Ventures가 주도한 1200만 달러 규모의 시드 라운드를 유치했으며, 퀄컴 벤처스와 Samsung NEXT 등이 참여했다.