AI가 집단적으로 채팅을 포기하기 시작했나? Needle 3는 도구 호출만 하고, 최소 9MB로 실행 가능

동찰 Beating AI 속보, YC S25 온디바이스 AI 기업 Cactus Compute가 Needle 3를 출시했다. 이는 도구 호출과 구조화된 추출에 특화되어 있으며, 일반 채팅은 담당하지 않는다. 예를 들어 사용자가 "거실 조명을 30%로 조절해"라고 말하면, 해당 기능을 찾아 "거실"과 "30%"를 파라미터에 넣기만 하면 된다.

최근 인기 있는 Jev와 비슷하지만 접근 방식이 다르다. Jev는 후보 결정에 직접 점수를 매기고, Needle 3는 여전히 토큰 단위로 생성하되 출력이 프로그램이 직접 실행할 수 있는 도구 호출로 제한된다.

Needle 3는 하나의 가중치 세트를 2~20개 레이어로 잘라낼 수 있다. 2레이어 버전은 약 9MB, 완전한 20레이어는 약 35MB로, 스마트워치, 라즈베리파이, 스마트폰 등 다양한 기기의 연산 능력에 맞춰 선택할 수 있다.

안드로이드 조작 명령에 대해 별도로 미세 조정한 후, 4레이어, 2900만 파라미터 버전은 자체 테스트 점수 62.5를 기록하며 DeepSeek V4 Flash의 60.5를 넘어섰다.