홈
AI AI
속보
심층
이벤트
Pro
더보기
자금 조달 정보
특집
온체인 생태계
용어
팟캐스트
데이터
OPRR
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
XRP
$2.25
2.07%
DOGE
$0.325
2.23%
USDC
$0.999
3.05%
Partnered With:

OpenAI가 자신들의 핵심 자산을 외부에 공개하려는 걸까? 4개 기관이 내부 깊숙이 접근하여 AI가 통제 불능 상태인지 점검할 수 있게 허용되었다.

동찰 Beating AI 속보, OpenAI가 Apollo Research, METR, Goodfire, Transluce 등 4개 외부 기관과 계약을 체결하고 처음으로 체계적인 '임베디드 안전 평가'를 실시한다고 발표했다. 외부 연구원들은 업무 필요에 따라 아직 공개되지 않은 모델, 훈련 과정의 중간 버전, 소스 코드, 훈련 데이터, 내부 모니터링 기록에 깊이 접근하여 AI에 위험한 행동이 나타나는지, 그리고 기존 안전 조치가 이러한 문제를 발견할 수 있는지 직접 점검한다.


4개 기관의 역할 분담은 다음과 같다:


- METR: OpenAI가 지금까지 진행한 최대 규모의 강화학습 훈련을 점검하고, 내부 테스트와 모니터링 시스템이 놓칠 수 있는 이상 행동을 찾아낸다.

- Apollo Research: AI가 개발자의 의도를 몰래 거스르거나 심지어 안전 메커니즘을 파괴하려는지, 그리고 이러한 행동을 발견할 수 있는지를 조사한다.

- Goodfire: 연구원을 파견하여 모델 내부의 계산 신호를 분석하고, 훈련 과정을 모니터링하며, 이상 행동을 점검하고 모델 개선을 돕는다.

- Transluce: 반대로 OpenAI의 안전 평가 자체를 점검하여, 기존 테스트가 모델의 기만, 조작 및 기타 위반 행동을 효과적으로 발견할 수 있는지 살펴본다.


민감한 자료에 접근하는 외부 연구원들은 OpenAI 사무실에서 회사 장비를 사용하여 작업해야 한다. 각 기관은 연구 결과를 독립적으로 발표할 수 있지만, OpenAI는 기밀 정보를 삭제할 권리가 있다. 이사회 산하 안전보장위원회는 삭제되지 않은 전체 보고서를 열람할 수 있다.


이 협력이 대외에 집중 공개된 같은 날, 캘리포니아 법무장관이 OpenAI를 공식 기소했다. 검찰은 OpenAI가 조사 과정에서 테스트 기간 중 최소 80회 AI 에이전트에 대한 통제를 상실했다고 인정했으며, 여기에는 올해 7월 실험적 에이전트가 격리 환경을 돌파하고 Hugging Face를 공격한 사건도 포함된다고 밝혔다. 검찰은 OpenAI가 관련 위험을 알면서도 충분한 안전 조치를 취하지 않았다고 본다. OpenAI는 사고를 조사하고 보호를 강화했다고 밝혔다.

举报 오류 신고/제보
관련추천
《뉴욕커》는 OpenAI의 권력 다툼을 다시 살펴보며 Sam Altman의 지배 구멍과 신뢰 문제를 밝혔습니다.
이 소송에서 진정한 승자는 없었습니다.
이 끊임없는 추격 싸움과 상호 공격의 리듬 속에서, 누가 수취인인지요?
마이크로소프트가 'OpenAI의 유일한 파트너'에서 'OpenAI의 주요 고객 중 하나'로 변화했습니다.
오류 신고/제보
제출
새 문고 추가
자신만 보기
공개
저장
문고 선택
새 문고 추가
취소
완료