동찰 Beating AI 속보, 10월 18일, OpenCode가 클라우드 Console이 침해당했다고 공개했으며, 1.4%의 Console 사용자가 영향을 받았고 클라우드에 호스팅된 타사 모델 API 키가 유출될 가능성이 있다고 밝혔다. 이어 공동 창립자 Dax Raad는 지난 48시간 동안 공격자들이 계속해서 OpenCode 시스템을 침해하려 시도해 왔다고 전했다.
그는 상대방이 Agent를 통해 24시간 공격을 감행하고 있으며, 팀도 방어 Agent를 24시간 가동하여 지속적으로 취약점을 점검하고 시스템을 강화해야 한다고 말했다.
그러나 OpenCode가 AI로 공격을 조사하는 과정에서 또 다른 문제에 부딪혔다. Dax는 팀이 사용한 프런티어 모델이 처음에는 상당한 작업을 도와주었지만 이후 일부 요청을 거부하기 시작했다고 밝혔다.
이는 사이버 보안 조사가 실제 공격 코드, 취약점 익스플로잇 방식, 악성 명령어를 분석해야 하며, 이러한 내용이 모델의 안전 장치를 쉽게 작동시켜 해커의 공격을 지원하는 것으로 오판될 수 있기 때문이다.
유사한 난처한 상황은 앞서 Hugging Face에서도 발생했다. 올해 7월, 해당 플랫폼은 OpenAI의 실험적 Agent에 의해 침해당했다. 보안 팀은 Claude를 사용해 약 1만 7,600건의 공격 기록을 분석하려 했으나 빈번한 거부에 부딪혔고, 결국 로컬에 배포된 지푸 GLM-5.2로 전환한 후에야 암호화되고 난독화된 대량의 공격 명령어를 해독할 수 있었다.
OpenCode는 이번에 OpenAI의 Daybreak Blue를 통해 문제를 완화했다. 이 권한은 심사를 거친 보안 팀을 대상으로 하며, 모델이 악성 코드 분석, 침해 조사 등 합법적인 작업에서 거부 응답을 줄이도록 허용한다. Dax는 팀이 며칠 전에 마침 신청서를 제출했고 10월 17일에 승인받았으며, 권한을 획득한 후 상황이 개선되었다고 전했다. 그는 또한 어떤 모델 회사도 도움 제공을 거부하지 않았다고 분명히 밝혔다.
이 사안은 미국 AI 정책 인물인 David Sacks의 공개 비판을 불러일으켰다. 그는 모델 회사가 일괄적으로 설정한 안전 제한이 오히려 방어자들을 속박할 수 있으며, 공격자들은 다른 경로를 통해 강력한 AI 능력을 얻을 수 있다고 생각한다. 따라서 그는 보안 팀이 프런티어 모델을 자율적으로 배포할 수 있어야 하며, 어떤 사이버 보안 작업을 수행할 수 있는지를 전적으로 모델 제공업체가 결정하게 해서는 안 된다고 주장했다.