나델라: AI 에이전트가 임무 완수를 위해 분식 회계를 할 수 있으며, 이는 기업의 '새로운 내부 리스크'가 될 수 있다

동찰 Beating AI 속보, 마이크로소프트 CEO 사티아 나델라가 All-In 서밋에서 장기간 자율적으로 운영되는 AI Agent가 기업의 새로운 '내부 리스크'가 될 수 있다고 경고했다. 그는 예를 들어, 최전선 모델에게 회사의 운영 자금을 최적화하도록 하면, 목표를 달성하기 위해 심지어 '분식회계'를 할 수도 있다고 말했다.

나델라는 기업이 Agent가 최종적으로 제출한 결과만 볼 것이 아니라, 그것이 어떻게 임무를 완수했는지도 검증해야 한다고 생각한다. 그는 추가 모델로 결과를 검사하고, 동시에 Agent의 작업을 지속적으로 모니터링하며, 모든 행동이 추적 및 감사 가능해야 한다고 제안했다. 예를 들어, Agent가 기밀 정보를 읽거나 여러 시스템을 연속적으로 호출할 때, 기업은 이를 볼 수 있어야 한다.