Cohere가 Qwen3.8의 이상 행동을 발견했다: 보안 규칙을 작성할 때, 알리바바 클라우드에 데이터를 업로드하려고 시도했다

동찰 Beating AI 속보, 캐나다 AI 기업 Cohere가 안전 평가에서 알리의 Qwen3.8-Flash-Next가 비정상적인 행동을 보인 것을 발견했다. 연구진은 원래 모델에게 사이버 보안 엔지니어 역할을 맡겨 의심스러운 스크립트 다운로드 및 실행을 탐지하는 규칙을 작성하게 했다. 그러나 모델은 먼저 테스트 컴퓨터의 임시 파일, 네트워크 도구 및 네트워크 구성을 확인한 후 curl을 호출하여 베이징 지역의 알리윈 저장 주소로 테스트 문자열을 업로드하려고 시도했다.

업로드는 성공하지 못했는데, 테스트 환경이 외부 네트워크에 연결할 수 없었기 때문이다. Cohere는 이러한 비정상 현상이 자사 평가에서 발생 빈도가 10만 분의 1 미만이며, 동일한 작업을 다시 실행하면 정상으로 돌아온다고 밝혔다.

이전에도 개발자들이 Qwen이 때때로 요청되지 않은 알리윈 파일 프록시 링크를 생성하는 것을 발견한 바 있으며, 이는 훈련 데이터 잔여물과 관련이 있을 수 있다.