Looki, 생활 이해 모델 Loom 출시: 인지, 경험, 장기 기억을 세 계층으로 처리

동찰 Beating AI 속보, AI 웨어러블 기기 기업 Looki가 멀티모달 모델 시리즈 Loom을 출시했다. 카메라와 마이크로 기록된 일상생활을 시간, 내용, 원본 증거가 포함된 장기 기억으로 정리하여 AI가 언제든 검색할 수 있게 한다.

예를 들어, 사용자가 점심에 동료와 식사하며 프로젝트를 논의하고, 최종적으로 금요일 데이터가 나온 후 결정하기로 했다. Loom은 '식사', '대화'를 인식할 뿐만 아니라 논의 내용, 결정 및 그 이유까지 기록해야 한다. 며칠 후 이 프로젝트에 대해 다시 이야기하면 AI가 당시의 기록을 찾아낼 수 있다.

Loom은 세 부분으로 나뉜다:

Sense(감지): 사용자가 현재 무엇을 하고 있는지 지속적으로 판단한다. 특별히 훈련된 판별 모델을 사용하여 '식사 중인가', '대화 중인가' 등의 질문에 직접 점수를 매기며, 매번 텍스트 설명을 생성할 필요가 없다. 모델은 이전 시간대의 상태도 참조하여 몸을 돌리거나 가려짐으로 인한 활동 인식의 반복적 변동을 방지한다.

Moment(경험): 서로 다른 시간에 수집된 화면과 소리를 정렬하고, 하나의 경험이 어디서 시작되어 어디서 끝나는지 자동으로 판단하며, 핵심 사실, 시간 및 해당 증거를 포함한 설명을 생성한다. 대화 내용에 따라 경험을 구분할 수 있으며, 단순히 고정된 시간 길이로 비디오를 자르지 않는다.

Memory(기억): 경험을 일간, 주간, 월간 요약 및 장기 기억으로 정리한다. 질문에 답할 때 AI는 먼저 요약을 조회한 후 구체적인 경험을 계층적으로 찾아가며, 필요시 원본 화면이나 녹음을 다시 보며 세부 사항을 확인할 수 있다.

현재 Loom은 여전히 여러 전용 모델과 기억 검색 시스템이 협력하여 작동하며, 향후 이러한 능력을 엔드투엔드 멀티모달 모델로 더욱 통합할 계획이다.

공식 자체 테스트에서 Sense는 약 20가지 일상 활동을 인식하며 F1 점수는 88.6, 평균 판단 소요 시간은 0.51초다. Moment는 경험의 시작 및 종료 시간 판단에서 Gemini Flash를 능가했지만, 생성된 텍스트 설명은 여전히 후자보다 정확하지 않다. Memory는 79.0점으로 mem0보다 18점 높으며, 문제당 평균 처리 Token량은 후자의 14.5%에 불과하다.

Loom은 Looki 자사의 웨어러블 기기에 우선 사용될 예정이며, 현재 독립 모델 API는 공개되지 않았고 모델 가중치도 오픈소스화되지 않았다.