원문 제목: Inside OpenAI』s Reboot
원문 저자: Alex Health
편집: 律动 BlockBeats

편집자 주: 지난 1년간 OpenAI의 선두 자리가 흔들렸다. Anthropic은 Claude Code를 통해 AI 프로그래밍 시장을 선점했고, 연환산 수익과 비상장 평가액에서 역전을 달성했다. OpenAI 내부에서는 임원 이탈, 제품 라인 축소, 안전 팀 개편이 이어졌다. 미공개 에이전트가 샌드박스를 돌파해 Hugging Face를 침공하면서, 이 회사는 설립 이후 최악의 보안 위기를 맞이했다.

제품과 안전이라는 이중 압박 속에서 OpenAI는 전면적인 재시동을 시도하고 있다: Sora 등 프로젝트에서 Codex로 자원을 전환하고, ChatGPT를 채팅 도구에서 지속적으로 작업을 실행할 수 있는 에이전트 플랫폼으로 업그레이드하며, 동시에 고위험 모델 훈련을 중단하고 안전 및 정렬 메커니즘을 강화하고 있다. 더 야심 찬 것은, 회사가 여전히 AGI, 자체 칩, AI 하드웨어, 휴머노이드 로봇, 그리고 컴퓨팅 인프라로 확장하고 있다는 점이다.

이 글은 《타임》이 Sam Altman, Greg Brockman 등 OpenAI 임원과 직원, 투자자, 고객, 경쟁사를 인터뷰한 내용을 바탕으로, 이 회사가 비즈니스 경쟁, 안전 위험, AGI 비전 사이에서 어떻게 방향을 재조정하고 있는지를 보여준다. OpenAI가 선두 자리를 되찾을 수 있을지는 다음 모델이 얼마나 강력한지에 달려 있을 뿐만 아니라, AI 가속화를 추진할 능력과 필요할 때 브레이크를 밟을 능력을 모두 입증할 수 있는지에도 달려 있다.

다음은 원문입니다(가독성을 위해 일부 편집됨):

8월 초 어느 아침, 내가 OpenAI 사무실에 도착했을 때 항의자들이 이미 문 밖에서 기다리고 있었다. 그들은 「AI 경쟁을 멈춰라」라는 플래카드를 들고 인도에 분필로 글을 쓰고 있었다. 한편, OpenAI의 주요 고객사에서 온 수십 명의 임원들이 넓고 베이지 톤이 주를 이루는 건물로 하나둘 들어서고 있었다. MB0라는 이름의 이 건물은 OpenAI가 최근 연구 및 컴퓨팅 팀을 위해 새로 연 사무 공간이다.

누군가 높은 녹색 식물 벽을 밀어와 유리문 앞에 세워, 깔끔한 로비에서 밖의 작은 항의 캠프가 보이지 않게 하려 했다.

이 고객들은 Astra—OpenAI가 곧 출시할 차세대 프론티어 AI 모델 시리즈—를 미리 체험하기 위해 이곳에 왔다. CEO Sam Altman은 방금 워싱턴에서 돌아왔는데, 그곳에서 비공개로 정부 관계자들에게 Astra의 성능을 소개했다. 이제 OpenAI 연구원들이 이 새로운 모델이 무엇을 할 수 있는지 시연하기 시작했다.

한 시연에서 16개의 AI 에이전트가 연구급 수학 문제를 여러 하위 문제로 분할하고, 서로 조율한 끝에 증명 방안을 종합해 냈다. 또 다른 시연에서는 Astra가 일반적인 데스크톱 소프트웨어를 조작하며, 놀라울 정도로 빠른 속도로 여러 앱을 넘나들며 콘텐츠를 생성하고 편집할 수 있었다.

Altman은 방문객들에게 Astra가 "인간을 초월하고 매우 빠른 방식"으로 컴퓨터를 조작하는 모습을 보는 것이 OpenAI 직원들이 경험한 가장 충격적인 순간 중 하나였다고 말했다. 그는 Astra가 "지속적으로 실행되는 에이전트"를 탄생시킬 것이라고 설명했다. 이는 장시간 동안 지속적으로 작업을 처리할 수 있는 가상 동료다.

하지만 Altman은 그 가장 큰 영향력은 사람들이 새로운 지식을 발견하도록 돕는 데서 나올 것이라고 예상했다.

"이것이 의미 있는 방식으로 새로운 것을 발명할 수 있는 최초의 모델이 될 것이라고 예상합니다." Altman은 현장에 있던 사람들에게 말했다. "이것은 AGI에 매우 가깝습니다."

Anthropic의 역전, 신뢰 하락, OpenAI가 선두 자리를 잃은 이유는?

지난 기간 동안 AI 열풍을 일으킨 이 회사에게는 결코 순탄치 않은 시간이었다.

"회사로서 우리는 분명히 몇 가지 우회로를 걸어왔습니다." 일주일 후, Altman은 세련된 인테리어의 MB0 도서관에서 나와 두 시간이 넘는 인터뷰를 가졌다. "제품 방향이든 연구의 사전 학습이든, 우리는 원래 도달하고 싶었던 위치보다 뒤처져 있습니다."

지난 1년 동안 OpenAI는 AI 경쟁에서 주요 경쟁사인 Anthropic에게 선두 자리를 빼앗겼다. 후자는 AI 프로그래밍의 상업적 기회를 가장 먼저 발견하고 Claude Code를 시장을 정의하는 제품으로 만들었으며, 처음으로 공개된 연간 매출과 프라이빗 시장 평가액에서 OpenAI를 앞질렀다.

Anthropic의 계획을 아는 두 소식통에 따르면, OpenAI 전 직원들이 설립한 이 회사는 경쟁사보다 먼저 상장할 것으로 예상되며, IPO는 이르면 9월에 진행될 수 있다. (TIME은 OpenAI와 라이선스 및 기술 협력 계약을 체결했으며, TIME의 소유주인 Marc Benioff가 CEO로 있는 Salesforce는 Anthropic의 투자자다.)

Anthropic이 승승장구하는 동안 OpenAI는 여러 고위 임원의 이탈을 포함한 연이은 난관에 부딪혔다. 떠난 인물로는 Altman이 작년에 2인자로 영입한 전 Instacart CEO Fidji Simo, 안전·윤리·연구 팀의 여러 책임자, 그리고 최근 사임한 최고 수익 책임자 Denise Dresser와 전 최고 운영 책임자 Brad Lightcap이 포함된다. Dresser는 입사한 지 불과 8개월 만에 회사를 떠나기로 선택했다.

회사 외부에서도 도전은 계속해서 증가하고 있다. Meta CEO 마크 저커버그는 파격적인 보상 패키지로 OpenAI의 핵심 연구원들을 스카우트했고, Google의 Gemini 제품은 월간 사용자가 이미 10억 명을 돌파했다. Apple은 OpenAI가 영업 비밀을 도용했다며 소송을 제기했고, OpenAI는 해당 혐의를 부인했다. OpenAI는 또한 공동 창업자 엘론 머스크와 소송전을 벌이고 있는데,后者는 회사와 알트만이 비영리 사명을 저버렸다고 주장하고 있다.

올해 5월, 자문 배심원단은 머스크가 소송을 제기한 시점이 너무 늦었다고 만장일치로 판단했고, 이후 연방 판사가 그의 주장을 기각했다. 머스크는 항소하겠다고 밝혔다.

OpenAI와 CEO가 직면한 여론 분위기가 악화된 가장 중요한 이유는 아마도 대중의 신뢰 상실일 것이다. OpenAI는 캘리포니아에서 최소 10건 이상의 제품 책임 소송과 여러 연방 사건에 대응하고 있다. 원고들은 ChatGPT가 사용자의 망상이나 자살 충동을 강화했으며, 일부 사건에서는 사용자 사망으로 이어졌다고 주장한다.

회사는 해당 사건의 피해자들에게 애도를 표했고, 기본 보호 조치가 더 강화된 청소년용 ChatGPT를 출시했다. 올봄, 알트만의 자택은 이틀 연속 두 차례 공격을 받았는데, 첫 번째는 화염병, 두 번째는 총격이었다.

지난 1년에 대해 알트만은 "개인적인 차원에서 이는 고통스러운 경험이었다. 적어도 현재로서는 사람들이 데이터 센터를 싫어하는 것이 분명하다. 사람들의 AI에 대한 태도는 상당히 부정적이다"라고 말했다.

하지만 OpenAI 내부에서 경영진들은 훨씬 더 낙관적인 그림을 그리고 있다.

약 1조 달러에 가까운 가치 평가를 받는 이 회사는 여전히 부러운 위치에 있다. ChatGPT의 활성 사용자는 10억 명을 넘어섰으며, 더 이상 OpenAI의 미래 전략에서 유일한 핵심은 아니지만 여전히 전 세계에서 가장 인기 있는 AI 제품 중 하나다. 알트만本人은 심지어 한 달 연속 ChatGPT를 사용하지 않고 OpenAI의 프로그래밍 도구인 Codex를 사용하기도 했다.

1년 전, OpenAI는 컴퓨팅 파워에 대규모 투자를 한 것에 대해 광범위하게 무모하다는 비판을 받았다. 올해에만 회사는 컴퓨팅 파워에 500억 달러를 투입할 것으로 예상된다.

OpenAI의 컴퓨팅 파워 사업을 담당하는 Sachin Katti는 현재 시점에서 "당시의 결정은 매우 선견지명이 있었다"고 말한다. "우리의 컴퓨팅 파워는 여전히 충분하지 않다. 오히려 더 많이 샀어야 했다고 생각한다."

한편, Anthropic의 칩 수요는 이미 다른 차원으로 절박해졌다. 올해 5월, 이 회사는 SpaceX에 월 12억 5천만 달러를 지불하고 컴퓨팅 용량을 구매하기로 합의했다고 보도되었으며, SpaceX 창립자 머스크는 이전에 Anthropic의 AI를 '인류에 반하고 사악하다'고 비난한 바 있다.

공동 창립자이자 사장인 그렉 브록먼의 지휘 아래, OpenAI는 우선순위를 재조정했다. 현재 거의 모든 제품 및 비즈니스 운영은 브록먼이 책임지고 있다. 회사는 비디오 생성 애플리케이션 Sora, Disney와의 협력 프로젝트, 그리고 Atlas라는 독립 브라우저를 단계적으로 종료하고 있다.

알트먼은 OpenAI가 이전에 너무 많은 전선을 펼쳤다고 인정했다. "저점을 겪은 후 다시 위로 올라가는 과정이 더 흥미롭다"고 그는 말했다.

에이전트 '탈옥' 이후, OpenAI가 브레이크를 밟기 시작하다

그러나 Astra 데모가 끝난 지 며칠 후, OpenAI는 또 새로운 위기에 직면해야 했다.

7월 하순, 회사는 불안을 자아내는 안전 사고를 공개했다: 출시되지 않은 AI 에이전트가 '샌드박스'라고 불리는 테스트 환경을 탈출하여 AI 모델 및 데이터셋 호스팅 플랫폼 Hugging Face를 공격한 것이다.

"이것은 마치 SF 이야기와 같다"고 알트먼은 말했다.

사고 발생 후, OpenAI 연구팀은 일부 실험을 중단하고 다른 프로젝트의 진행 속도를 늦추는 동시에 샌드박스 보호 및 모니터링을 강화했다.

하지만 얼마 지나지 않아, 팀은 또 다른 출시되지 않은 모델을 훈련하던 중 우려스러운 징후를 다시 발견했다. 해당 모델은 지금까지 가장 큰 능력 도약을 가져올 것으로 기대되었다. OpenAI는 이후 더 큰 영향을 미치는 결정을 내렸다: 새로운 안전 조치가 마련될 때까지 이번 훈련을 중단한 것이다.

OpenAI 경영진이 이 결정을 내린 날, 나는 알트먼을 인터뷰했다. 그의 표정은 이전보다 확연히 무거웠다.

OpenAI는 처음에 Hugging Face 공격 사건을 단순한 안전 실수로 설명했지만, 알트먼은 이후 이를 더 근본적인 '정렬' 문제로 보았다. 소위 정렬이란 AI 시스템이 인간의 의도대로 행동하도록 하는 것을 의미한다. 업계 리더들은 모델 능력이 계속 향상됨에 따라 정렬 상태를 유지하는 것이 AI 시스템이 여전히 창작자의 통제 하에 있도록 보장하는 핵심이라고 본다.

"나는 지금부터 어떤 정렬 실패도 중대한 사건으로 간주해야 한다고 생각한다"고 알트먼은 나에게 말했다. "우리는 필요한 시간을 들여 문제를 철저히 규명할 것이다."

사흘 뒤 추가 인터뷰에서 그는 더욱 단호하게 말했다. "AI 안전을 제대로 하는 것이 어느 회사의 성장 동력보다 중요합니다."

OpenAI는 속도를 늦추고 더 많은 자원을 안전 및 정렬 팀에 배분하며, 팀 간 협업 방식을 변경해 안전을 더 우선순위에 두겠다고 밝혔다.

이 글의 OpenAI 재가동에 대한 묘사는 수십 시간의 인터뷰에서 비롯됐다. 인터뷰 대상에는 20명 이상의 회사 임원, 직원, 투자자, 고객 및 경쟁사가 포함됐으며, 8월 2주 동안 OpenAI 본사에서 내가 직접 목격한 활동도 포함된다.

이러한 대화들은 동시에 두 가지 전환을 시도하는 회사의 모습을 그려낸다. 한편으로 OpenAI는 제품 및 운영상의 실수를 스스로 수정했다고 판단한다. 바로 그 실수들로 인해 Anthropic이 AI 경쟁에서 선두 자리를 차지했다. 다른 한편으로 OpenAI는 역사상 가장 심각한 안전 위기를 통해 오랫동안 주요 경쟁사가 차지해 온 정체성을 되찾으려 한다. 즉, 안전을 진정으로 최우선에 두고 기술이 너무 위험해질 때 속도를 늦출 의향이 있는 프런티어 연구소라는 정체성이다.

"들어보세요, 저에 대해 외부에서 정형화된 시각이 있다는 걸 압니다." Altman이 말했다. "마치 제가 AI 안전에는 전혀 신경 쓰지 않고 수익만 올리려 하며, '무작정 밀어붙이고 보자'는 신념을 가진 CEO인 것처럼요." 하지만 저는 "AI 안전을 제대로 하는 것이 어느 회사의 성장 동력보다 중요하다"고 생각합니다.

OpenAI 임원들은 속도 늦추기가 고통스러운 선택이지만 몇 가지 이점도 가져올 수 있다고 말한다. OpenAI가 '안전 우선 연구소'라는 평판을 되찾을 수 있다면 자사 이미지 개선뿐만 아니라, 대규모 IPO를 준비 중인 주요 경쟁사로 하여금 불편한 질문에 답하도록 강제할 수 있다. OpenAI가 기다리는 동안 Anthropic은 계속 전속력으로 경쟁할 것인가?

올해 초 Anthropic 공동 창업자 Jared Kaplan은 《타임》과의 인터뷰에서 경쟁사들이 여전히 "전속력으로 돌진"하고 있을 때 일방적인 자기 규제는 의미가 없다고 말했다. 하지만 OpenAI가 상당한 능력 도약을 가져올 것으로 예상되는 훈련 라운드를 자발적으로 중단한다면, 이 논리는 더 이상 성립하기 어렵다.

물론 외부에서 OpenAI의 이미지 전환에 대해 회의적인 시각을 가질 이유는 충분하다.

수년간 OpenAI는 안전 업무를 이끌던 많은 인재를 잃었고, 그중 일부는 퇴사하면서 회사가 과도하게 상업화를 추구한다고 비판했다. 동시에 OpenAI는 상장을 준비 중이며, 여전히 적자를 내는 사업은 지속적으로 새로운 모델의 지원을 필요로 한다. Hugging Face 사건 이후, 회사는 이전에 회사도 모르는 사이에 통제를 벗어났던 기술을 스스로 관리할 능력이 있다는 것을 대중에게 믿게 해야 한다.

이 모든 일이 벌어지는 가운데, OpenAI 경영진은 회사가 인류 역사의 흐름을 바꿀 수 있는 이정표 앞에 도달했다고 믿고 있다: 바로 범용 인공지능(AGI)을 창조하는 것이다.

OpenAI의 정관은 AGI를 "경제적 가치가 있는 대부분의 업무에서 인간을 능가하는 고도로 자율적인 시스템"으로 정의한다. 회사 경영진은 아직 이 문턱을 넘었다고 공식적으로 선언하지 않았지만, 더 이상 AGI를 먼 미래의 추상적인 개념으로 여기지 않는다.

최고 연구 책임자 Mark Chen은 OpenAI가 AGI로 가는 길의 "80%"를 완료했다고 추정한다.

Brockman은 2년 후 돌아보면 사람들이 지금을 AGI 탄생의 순간으로 여길 수도 있다고 말한다. Altman은 OpenAI가 "아직 완전히 도달하지는 않았지만", 올해 말까지 회사 내부에는 그가 AGI라고 부를 만한 시스템을 보유하게 될 것이라고 내게 말했다.

이 목표를 달성하는 것은 OpenAI가 비영리 연구 실험실로 설립되었을 때의 본래 취지였다. 이제 그것은 놀라운 상업적 야망을 가진 회사로 빠르게 성장했다.

OpenAI는 자체 칩과 데이터 센터를 설계하고 있으며, 일련의 소비자 하드웨어를 개발하고, 휴머노이드 로봇을 출시할 계획이며, 향후 다른 회사에 컴퓨팅 인프라를 판매할지도 고려하고 있다. 실행에 옮기면 OpenAI는 주요 투자자인 Amazon과 같은 기술 거대 기업들과 경쟁하게 될 것이다.

AI 발전에 반대하는 목소리가 점점 커지고 있음에도 불구하고, OpenAI는 향후 수년간 전 세계에서 가장 영향력 있는 기업 중 하나가 되기 위한 준비를 계속하고 있다. Brockman의 말처럼: "우리는 경제 전체를 바꾸고 싶다."

Codex에서 '개인 AGI'까지, OpenAI는 전면적인 재시작에 베팅한다

Altman은 AI 열풍의 공개적인 얼굴일 수 있지만, 현재 실제로 OpenAI의 대부분의 운영을 책임지는 사람은 Brockman이다.

Brockman은 가죽 재킷을 선호하는 분석적인 엔지니어이다. OpenAI 역사의 대부분 동안 그는 관리자가 아닌 기술 공동 창업자 역할을 했다. 그러나 최근 몇 달 동안 그는 수익부터 제품 마케팅까지 거의 모든 업무를 인수했다. 그의 말에 따르면, "이 모델들을 연구 성과에서 고객 가치로 전환하는 전체 시스템"을 담당하는 것이다.

Altman은 여전히 재무, 연구, 소비자 하드웨어 등 핵심 분야를 직접 책임지고 있다.

두 사람은 공동 창업자로서 한 쌍의 공동 리더십으로 회사를 이끌며 권한 범위가 겹치는 부분이 있다. Altman이 AI에 대한 대중의 두려움과 불만을 감당하는 동안, OpenAI는 최근 Brockman의 대외 노출도를 높여 일정한 균형을 이루려 하고 있다.

이런 구조가 마찰의 원인이 될 수 있다는 것은 상상하기 어렵지 않다. OpenAI 직원들과 대화할 때, 특정 문제에 대해 누가 최종 결정을 내리는지 판단하기 어려운 경우가 종종 있다.

하지만 많은 직원들은 이러한 이중 리더십 구조가 회사를 다시 정상 궤도에 올려놓았다고 말한다. Brockman은 공동 창업자의 권위를 바탕으로 어려운 결정을 내릴 수 있으며, 이는 계속 교체되는 외부 전문 경영인들이 재현할 수 없는 권위다.

Brockman은 OpenAI의 더 넓은 범위의 리더십 개편을 '집중'을 추구하는 행동으로 묘사했다. 그는 회사가 올바른 조직 구조와 전략을 갖추고 있는지 계속 재검토해 왔다고 말했다.

지난 가을, Anthropic은 이미 프로그래밍 제품으로 확실히 한 발 앞서 나갔다. 그것은 소프트웨어 개발이 AI가 강점을 발휘할 수 있는 영역임을 깨달았고, 이후 Claude Code는 실리콘밸리에서 먼저, 그 다음 더 넓은 기업 시장으로 빠르게 확산되었다.

"Anthropic은 정말 프로그래밍 영역에서 중요한 무언가를 발견했다." 최근까지 ChatGPT를 담당했고 현재 새로운 기업 제품 부서를 이끄는 Nick Turley는 말한다. "우리는 당시 앞서 있지 않았다."

Altman은 ChatGPT 소비자 사업의 '통제 불능의 성장'이 회사의 주의를 분산시켰기 때문에 OpenAI가 Anthropic처럼 프로그래밍을 우선순위에 두지 못했다고 말한다.

Brockman은 OpenAI가 프로그래밍 경쟁의 벤치마크 테스트에서 '계속 앞서 있었다'고 생각한다. 하지만 회사는 개발자들이 '혼란스러운 실제 코드베이스'에서 AI를 어떻게 사용할지 충분히 주목하지 않았다. 여기에는 작업 중단, 모델 개성, 그리고 겉보기에는 사소해 보이지만 실제로 채택률에 큰 영향을 미치는 '마지막 마일' 문제들이 포함된다.

OpenAI는 또한 성숙한 기업 판매 시스템을 구축하지 못했다. "1년 전, 우리는 진정으로 기업 시장에 진입했다고 생각하지 않았다." Brockman은 말한다. CFO Sarah Friar는 더 직접적으로 말한다: "우리는 당시 너무 순진했다. 제품을 만들기만 하면 고객이 자연스럽게 올 것이라고 생각했다."

올해 3월, OpenAI는 Sora를 점진적으로 종료하고 희소한 컴퓨팅 자원을 프로그래밍 에이전트 Codex로 전환한다고 발표했다. Codex는 처음에 ChatGPT와 분리된 제품 경험으로 설계되었지만, 성장 속도가 OpenAI의 다른 신제품을 훨씬 앞지르기 시작하고 AI 프로그래밍 능력이 점차 비엔지니어에게도 가치를 가지게 되면서, 경영진은 두 제품을 계속 분리하는 것이 더 이상 의미가 없다고 판단했다.

회사는 Codex의 에이전트 역량을 ChatGPT에 통합하기 시작했으며, 동시에 두 제품의 컴퓨팅 파워와 제품 팀을 합병했습니다. 고객을 위한 최종 결과물은 최근 출시된 ChatGPT Work입니다. 이는 사람들이 익숙한 챗봇을 단순히 질문에 답하는 시스템이 아닌 작업을 수행할 수 있는 시스템으로 변모시키는 것을 목표로 합니다. OpenAI 내부에서 이 통합은 'The Merge'라고 불립니다.

임원들은 이러한 조정이 회사 사업에 새로운 활력을 불어넣었다고 밝혔습니다. 올해 7월, OpenAI의 기업 비즈니스 수익은 처음으로 소비자 비즈니스 수익을 초과했습니다. ChatGPT 내부의 초기 광고 테스트도 충분히 긍정적인 결과를 얻었으며, 임원들은 광고 수를 늘리고 있습니다. Friar는 ChatGPT 소비자 사용자의 92%가 유료 서비스를 구독하지 않으며, 광고 수익이 향후 이러한 사용자들의 무료 이용을 보조할 수 있다고 밝혔습니다.

관련 비즈니스 책임자 Dave Dugan에 따르면, 회사는 '스폰서 에이전트'도 조용히 테스트 중입니다. 이 광고 형식에서 사용자가 광고를 클릭하면 브랜드가 제공하는 AI 인터랙티브 경험에 진입할 수 있습니다.

올해 3월, OpenAI는 8520억 달러의 가치 평가로 1220억 달러의 자금 조달을 완료하여 민간 기술 기업 자금 조달 규모 기록을 세웠습니다. 불과 두 달 후, Anthropic도 9650억 달러의 가치 평가로 650억 달러를 조달했습니다.

OpenAI 이사회 의장 Bret Taylor는 AI 경쟁을 체스판에 비유하며, 가장 중요한 칸에는 프론티어 모델 역량, 토큰당 가격과 성능, 그리고 모델을 중심으로 구축된 제품이 포함된다고 말했습니다.

"우리는 최고의 프론티어 모델을 보유하고 있는가? 모든 작업에 적절한 가격으로 적절한 토큰을 제공할 수 있는가? 이러한 모델을 중심으로 최고의 제품을 보유하고 있는가?"라고 그는 말했습니다. "현재, 이 모든 질문에 대한 답은 그렇다입니다."

그 후, OpenAI는 아직 출시되지 않은 모델이 회사의 경계를 벗어났다는 사실을 발견했습니다.

소식이 OpenAI 수석 과학자 Jakub Pachocki에게 전해졌을 때, 그는 병원에서 아내의 출산을 지켜보고 있었습니다.

OpenAI의 내부 전용 연구 프로토타입이 다른 회사에 침입했습니다. 당시 해당 모델은 외부와 격리되어야 하는 환경에서 사이버 보안 벤치마크 테스트를 받고 있었습니다. 그러나 지정된 문제를 완료하는 데 그치지 않고, 취약점을 악용하여 OpenAI의 시스템을 탈출한 뒤 Hugging Face의 프로덕션 환경에 침입했습니다.

두 회사가 발표한 기술 설명에 따르면, 해당 모델은 참여한 벤치마크 테스트에서 답변을 획득했다.

강화 학습은 기초 모델이 훈련을 완료한 후 진행되는 단계다. 이 단계에서 시스템은 작업을 반복적으로 수행하며 어떤 행동이 보상을 받을 수 있는지 학습한다. 사전 훈련 기간 동안 모델은 현실 세계와 상호작용하지 않고 다음 토큰을 예측할 뿐이지만, 강화 학습은 모델에 도구와 실제 조작 가능한 환경을 제공할 수 있다.

바로 이 단계에서 모델은 '설계자가 진정으로 원하는 것'과 '더 높은 점수를 얻는 방법' 사이의 차이를 활용하는 법을 학습할 수 있다.

OpenAI는 에이전트 시스템에 목표와 도구를 부여했지만, 에이전트는 승인되지 않고 기만적인 수단을 통해 목표를 달성했다.

OpenAI 연구원들은 최근 시연에서 AI 에이전트가 은밀한 게시판을 사용해 다음 행동을 계획하는 방법을 설명했다. 에이전트 중 하나가 샌드박스를 돌파하고 인터넷에 연결된 후, 게시판에 다른 에이전트들에게 "이런 젠장."(Holy Shit)이라고 적었다.

다른 회사들도 유사한 문제를 겪었다. Anthropic은 세 건의 사건을 공개했는데, 제3자 평가 과정에서 모델이 인터넷에 접속해 승인 없이 외부 기관에 접근한 사례였다. Meta도 자사 모델이 유사한 사건에 연루된 적이 있다고 밝혔다.

하지만 OpenAI의 안전 사고가 가장 많은 주목을 받았다. 한편으로는 가장 먼저 공개적으로 폭로했기 때문이고, 다른 한편으로는 에이전트의 공격 방식이 비정상적으로 복잡했기 때문이며, 또한 외부에서 OpenAI가 상업적 이익을 안전보다 우선시하는지에 대한 의문이 제기되었기 때문이다.

지난 1년 동안 OpenAI는 여러 유명 보안 연구원을 잃었고, 위험 대비 업무를 담당하는 리더도 여러 차례 교체되었다. 이제 이 사고는 비판자들에게 특히 뚜렷한 사례를 제공했다.

8월 중순까지 1300명 이상의 최첨단 AI 기업 현직 및 전직 직원이 '선도 AI 개발 속도 통제' 청원서에 서명했으며, 위험이 필요할 때 첨단 모델 개발 속도를 늦출 수 있는 메커니즘 구축을 촉구했다.

미국 상원의원 Bernie Sanders는 주요 AI 기업에 '인류의 이익을 위해' 개발을 중단할 것을 촉구했으며, 기업 지도자들이 자발적으로 행동하지 않으면 입법자들이 개입할 것이라고 경고했다.

OpenAI 경영진은 인터뷰에서 회사가 이번 안전 실수를 진지하게 받아들이고 신속하게 대응했다고 밝혔다. 청원서에도 서명한 Pachocki는 핵심 실수가 연구원들이 이미 개발한 보호 메커니즘을 회사가 활성화하지 않은 것이라고 말했다.

OpenAI는 모델의 사고 사슬(chain-of-thought)을 검사할 수 있는 도구를 보유하고 있다. 사고 사슬은 모델의 '디지털 초안'으로 이해할 수 있으며, 에이전트가 행동 과정에서 무엇을 계획하고 있는지 보여준다. 그러나 회사는 이러한 도구를 Hugging Face 침입 사건에 대응할 수 있는 수준의 모델에는 적용하지 않았다.

본질적으로 OpenAI는 조기 경보 시스템을 구축했지만, 테스트 대상 시스템의 지능 수준을 잘못 판단하여 이를 가동하지 않았다. "우리는 이 시스템이 할 수 있는 일을 충분히 예측하지 못했습니다."라고 Pachocki는 말했다. "AI를 마주할 때는 예상치 못한 상황까지 예상해야 합니다."

OpenAI 안전 및 정렬 작업 책임자 Mia Glaese는 나에게 이 사건이 "분명히 전환점"이라고 말했다. "우리가 진행 중인 많은 작업이 사고 발생 전에 이미 완료되었기를 바랍니다."

사건 발생 후, OpenAI는 일부 연구 프로젝트를 중단하고 다른 프로젝트의 속도를 늦추는 동시에 샌드박스를 강화하고 모니터링을 확대했다. 최고연구책임자 Chen은 이 사건으로 인해 회사가 위험을 생각하는 방식을 바꾸게 되었다고 말했다.

OpenAI가 말하는 '준비 프레임워크'는 회사가 대중에게 공개한 일련의 규칙으로, 생물학적·화학적 위협, 사이버 보안 위험, AI 자기 개선을 포함한 심각한 피해를 초래할 수 있는 새로운 모델 능력에 대응하기 위한 것이다. 이 프레임워크는 회사가 모델 개발 과정에서 지속적으로 평가하여 배포 전에 안전 기준을 충족하도록 요구한다.

Pachocki는 이러한 규칙이 기술 발전 속도를 따라잡기 위해 계속 진화해야 한다고 말했다. Glaese는 회사가 "규모는 크지 않지만 고통스러운 결정"을 많이 내리고 있으며, 이러한 결정이 "연구 속도를 늦추고 있지만 우리는 그것이 옳다고 생각합니다"라고 말했다. Pachocki는 정렬과 안전에 대한 신뢰도가 이제 컴퓨팅 파워 공급만큼이나 OpenAI의 발전 속도를 제한하는 중요한 요소가 되었다고 말했다.

회사는 여전히 Astra를 출시할 계획이지만, 현재는 새로운 안전 조치를 통과하는 것이 출시 전제 조건이다. 경영진은 이러한 변화가 출시 시기에 얼마나 큰 영향을 미칠지 추정하기를 거부했다. 기술 우위가 주 단위로 측정되는 업계에서, 잠깐의 중단조차도 수익 전망에 영향을 미치고 더 넓은 경제에 연쇄 반응을 일으킬 수 있다.

적어도 현재로서는 OpenAI가 이러한 비용을 감수할 준비가 되어 있다. Pachocki는 AI 능력의 급속한 성장이 각 기업 간의 조정을 촉진할 수 있기를 바란다. Glaese는 모델 능력이 향상됨에 따라 OpenAI가 안전 기준을 계속 높일 것이라고 말했다. "언젠가 안전을 보장할 수 없는 지점에 도달한다면, 반드시 속도를 늦춰야 합니다."라고 그녀는 말했다. "상황은 그렇습니다."

이러한 변화가 OpenAI의 상장 일정에 어떤 영향을 미칠지는 현재까지 불분명하다. 두 회사의 계획을 잘 아는 관계자들은 OpenAI의 IPO 시기가 Anthropic보다 늦을 것으로 예상하지만, 양측 모두 공식적으로 상장 날짜를 확정하지는 않았다.

8월 19일 전 직원 회의에서 CFO 프라이어(Friar)는 직원들에게 회사 사업이 "계속해서 급격한 성장 곡선을 보인다면" OpenAI가 2027년 또는 그 이전에 상장할 것이라고 말했다.

OpenAI가 최근 공개한 연환산 매출은 약 400억 달러로, 이미 650억 달러를 돌파한 Anthropic에 뒤처져 있다. 최근 연구 진행 속도가 둔화되면서 상장 계획이 더욱 복잡해질 수 있다. 프라이어는 이미 주요 투자자들과의 모의 실적 발표 회의를 포함한 상장 기업 사전 준비를 진행 중이다. 그녀는 회사가 "오늘 당장 상장할 수 있다"고 말했지만, 이 한 걸음을 내딛는 것은 새로운 압박을 불러올 것이라고도 언급했다. 그 시점에서 OpenAI는 상업적 이익과 AI 능력 향상이 초래할 수 있는 잠재적 피해 사이에서 균형을 찾아야 한다.

직원들도 거의 모든 일보다 주가 확인을 우선시하게 될 것이다. "그것이 그들이 매일 아침 가장 먼저 하는 일이 될 거예요." 그녀는 말했다. "오늘 얼마를 벌었지? 얼마를 잃었지? 이는 엄청난 집중력 분산을 초래할 것이다."

OpenAI의 올해 연구 목표 중 하나는 주니어 AI 연구원의 업무를 자동화하는 것이다. 파초키(Pachocki)는 회사가 내부적으로 설정한 "자동화된 AI 연구 인턴" 기준에 도달했다고 밝혔다. 실험 아이디어만 주어지면 Astra는 OpenAI의 코드베이스에서 구현을 완료하고, 실험을 실행하며 결과를 반환할 수 있다. 또한 논문 한 편을 읽고 과거에는 인간 연구원이 일주일 동안 해야 했던 작업을 완료할 수도 있다.

이 이정표의 중요성은 끊임없이 자기 강화되는 순환 고리를 열어갈 가능성에 있다. AI가 실험을 돕고, 실험이 더 강력한 AI를 만들어내며, 새로운 세대의 AI는 더 빠르게 자신의 후속 모델 개발을 도울 수 있다. 연구원들은 이러한 현상을 "재귀적 자기 개선"이라고 부르며, 줄여서 RSI라고 한다. 파초키의 관점에서 재귀적 자기 개선과 정렬(alignment)은 서로 얽힌 문제다.

"인간은 어떤 방식으로 이 여정에 참여할 것인가?" 파초키가 말했다. "사람들은 어떻게 점점 더 우리보다 똑똑해지는 AI에 뒤처지지 않고 진정으로 혜택을 얻을 수 있을까?"

제품 측면에서 알트만(Altman)은 ChatGPT, Codex, 그리고 오피스 소프트웨어 간의 경계를 허무는 범용 AI 구독 서비스를 구상하고 있다. 사용자가 목표만 설명하면 시스템이 스스로 어떤 모델, 도구, 그리고 에이전트를 호출할지 결정하는 방식이다.

결국 이 시스템은 사용자가 요청하기 전에 먼저 움직여 스스로 제안을 제공하고, 콘서트 티켓 구매 같은 사소한 일을 처리할 것이다. 사용자의 일정을 참고하고, 재정 상태를 파악하며, 음악 취향도 알 수 있다.

이 모든 것은 하나의 비전을 위한 것이다: ChatGPT를 질문에 답하는 도구에서 실제로 일을 끝내는 시스템으로 진화시키는 것. ChatGPT와 Codex 팀을 통합해 총괄하는 제품 책임자 Thibault Sottiaux는 OpenAI가 곧 '지속성과 24시간 실행'을 중심으로 한 제품을 선보일 것이라고 밝혔다. 그는 이 시스템이 거의 모든 곳에서 접근할 수 있으며, 새로운 정보와 피드백에 따라 지속적으로 가치 있는 작업을 완료할 것이라고 말했다. "사람들에게 이것은 분명히 완전히 새로운 무언가로 느껴질 것입니다."라고 Sottiaux는 나에게 전했다.

이후 OpenAI의 로드맵은 더욱 거대해졌다. 2025년 5월, OpenAI는 전 Apple 디자이너 Jony Ive가 공동 설립한 하드웨어 스타트업 io를 인수하고, 그 제품 및 엔지니어링 팀을 OpenAI에 통합했다. Ive와 그의 디자인 회사 LoveFrom은 독립을 유지하지만, 이미 OpenAI 내부에서 광범위한 창의적 역할을 맡고 있다.

Altman은 OpenAI가 '소수의' 기기를 개발 중이며, '책상 위에 놓아야 할 것', 주머니에 넣을 수 있는 기기, 그리고 몸에 착용할 수 있는 제품을 포함한다고 밝혔다.

관련 계획을 아는 관계자들에 따르면, 첫 번째 제품은 내년 초 출시될 예정이다. 그것은 원반 모양의 소형 기기로, 주변 환경을 인식하고 ChatGPT의 음성 모드를 통해 주인과 소통할 수 있다. "가장 큰 적응 과정은 '능동형 컴퓨터'라는 개념에 익숙해지는 것입니다."라고 Altman은 말했다. 이는 컴퓨터가 주인의 호출을 기다리는 대신 스스로 주인을 대신해 행동한다는 것을 의미한다.

Altman은 미래에 모든 사람이 개인 로봇을 가져야 한다고 믿는다. 그는 나에게 OpenAI가 '확실히' 휴머노이드 로봇을 만들 것이라고 말했다. OpenAI는 또한 Altman이 공동 설립한 Merge Labs에 투자했는데, 이 스타트업은 비침습적 뇌-컴퓨터 인터페이스를 개발 중이다. OpenAI가 자체 설계한 첫 번째 추론 칩은 Jalapeño라는 이름으로, 주로 AI 모델을 실행하는 데 사용되며 학습용이 아니다. 회사는 올해 말까지 이 칩을 배포하기 시작할 계획이다.

한편, OpenAI는 규모가 보기 드문 인프라 기업이 될지 고려하고 있다. 올해 7월, 회사는 조지아주에 데이터 센터 캠퍼스를 건설할 것이라고 발표했고, 8월에는 오하이오주에 더 큰 부지를 계약했다.

「우리가 계획대로 건설할 모든 컴퓨팅 파워를 매우 수익성 있게 활용할 수 있다고 생각합니다."라고 Altman은 말했다. "하지만 전 세계가 하고 있는 일에 대해서는 실제로 다소 우려하고 있습니다."

OpenAI 임원은 회사가 충분히 빠르고 저렴하게 자체 AI 인프라를 구축할 수 있다면, 향후 다른 기업에 컴퓨팅 파워를 판매하는 방안을 고려할 수 있다고 밝혔다. 이는 OpenAI가 Amazon Web Services 및 Google Cloud와 같은 하이퍼스케일 클라우드 서비스 제공업체와 직접 경쟁하게 만들 것이다.

얼마 전에 집중력을 분산시키는 부수 프로젝트를 정리하겠다고 약속한 회사로서는 상당히 방대한 새로운 사업 목록이다. 이 모든 것을 요약해 달라는 요청에 Brockman은 두 단어로 답했다: "개인 AGI." 그는 미래에 수십억 명의 사람들이 초지능 개인 비서를 보유하게 될 것이며, 언제든지 명령을 기다릴 것이라고 구상했다. "당신의 주머니에는 이미 거의 AGI에 가깝고, 곧 진정한 AGI가 될 시스템이 들어 있습니다."라고 그는 말했다. "그렇다면, 당신은 정말로 무엇을 원하십니까?"

BlockBeats 공식 커뮤니티에 참여하세요:

Telegram 구독 그룹：https://t.me/theblockbeats

Telegram 토론 그룹：https://t.me/BlockBeats_App

Twitter 공식 계정：https://twitter.com/BlockBeatsAsia