동찰 Beating AI 속보, Thinking Machines 공동 창업자이자 OpenAI 공동 창업자인 John Schulman은 A16Z 팟캐스트에서 AI 정렬은 소수 몇몇 기술 기업만의 전유물이 되어서는 안 되며, 전 세계를 향한 공공 과학으로 발전하여 더 많은 사람이 AI 가치관 형성에 참여하고 소수 기업의 판단에 과도하게 의존하는 것을 피해야 한다고 밝혔다.
재귀적 자기 개선(RSI)이 점차 진전됨에 따라 AI는 이미 모델 연구개발을 보조하기 시작했다. OpenAI 수석 연구 책임자 Mark Chen은 AI 연구개발 프로세스에서 RSI 가속 효과의 초기 신호가 나타났으며 현재 진행률은 약 25%에서 50% 수준이지만, AI가 여전히 가치 있는 연구 방향을 독립적으로 판단하기 어려워 아직 차세대 모델을 자체 개발하지는 못했다고透露했다.
Mark Chen은 동시에 모델의 자율성이增强됨에 따라 목표가 인간의 의도와 일치하지 않을 경우 장시간 실행 시 예상치 못한 2차 목표가 발생할 수 있다고 경고했다. 다만 더 강력한 AI는反过来 연구자들이 모델 행동을 모니터링하고 정렬 문제를 발견 및 수정하는 데 도움을 줄 것으로 기대된다.
John Schulman은 AI 정렬은 기술적 문제일 뿐만 아니라 누가 AI가 따라야 할 가치관을 결정하는지에 관한 문제이기도 하며, 사용자와 사회가 AI 가치관에 더 많이 참여하고 형성할 수 있는 공간을 가져야 한다고 강조했다.
