인스팅트, 사용자 간 데이터 유출 부인: 단지 모델 환각일 뿐, 48시간 긴급 방어선 보강

동찰 Beating AI 속보, Instinct 창립자 Noah Shinn은 이전의 '낯선 재무 문서' 사건에 대해 이것은 데이터 유출이 아니라고 응답했다. 모델이 먼저 가상의 인물 이름을 만들어냈고, 이후 추론 과정에서 계속 세부 사항을 보충했으며, 마지막에야 '다른 사람의 이미지가 채팅에 섞여 들어왔다'는 설명이 나왔다는 것이다. Shinn은 사용자 데이터가 공유되지 않았고, 사용자 간 격리 실패도 발생하지 않았다고 밝혔다.

그는 Instinct가 원래 독립 샌드박스, 단기 로컬 자격 증명, 신원 서명된 도구 호출을 통해 사용자 데이터를 격리한다고 말했다. 지난 48시간 동안 팀은 소형 모델로 플랫폼 내 출력을 검사하는 능동적 환각 탐지 시스템도 구축했다. 내용이 조작된 것으로 판단되면 Instinct가 계속 추론하거나 도구를 호출하기 전에 차단할 수 있다.

그러나 Shinn은 팀이 이번이 반드시 환각이라고 확인한 방법을 공개적으로 설명하지 않았고, 백엔드 로그나 탐지 시스템의 실제 효과도 공개하지 않았다. Business Insider도 현재 '데이터 유출이 발생하지 않았다'는 것은 여전히 주로 Instinct 자체의 판단에서 나온 것이라고 지적했다.