영상 제목: Sam Altman on OpenAI의 차세대 모델과 AI 반발
영상 제작자: Alex Heath, Sources Podcast
편집: Peggy

편집자 주: 최첨단 모델의 성능이 지속적으로 도약하고 에이전트가 복잡한 업무 흐름을 대체하기 시작하는 배경 속에서, AI 업계의 논의는 '누가 먼저 AGI를 실현할 것인가'에서 '누가 능력이 통제 불능 상태가 되기 전에 충분히 신뢰할 수 있는 제약을 구축할 것인가'로 전환되고 있습니다. 그러나 모델 발전과 연산력 확장이 여전히 경쟁의 핵심 축으로 간주되는 가운데, 더 중요한 질문이 떠오르기 시작합니다: AI가 도구를 자율적으로 호출하고, 환경 제약을 돌파하며, 심지어 차세대 모델 개발에 참여할 수 있게 되었을 때, 상업 기업이 능동적으로 속도를 늦출 능력을 갖추고 있는가?

이번 기술 기자 Alex Heath가 진행하는 Sources 팟캐스트에서 OpenAI CEO Sam Altman은 회사가 최근 일부 최첨단 훈련 속도를 늦춘 이유에 대해 답변하고, 차세대 모델 제품군 Astra, ChatGPT와 Codex의 통합, 재귀적 자기 개선, IPO, 그리고 Jony Ive와 협력한 소비자 기기에 대해 논의했습니다.

이 대담에서 Altman은 OpenAI의 안전 사고를 더 근본적인 구조적 문제들로 분해했습니다: 모델 능력과 안전 연구가 동시에 진행될 수 있는지, 에이전트가 인간의 진정한 의도에 어떻게 복종하는지, 그리고 지속적인 자금 조달과 성장이 필요한 기업이 위험이 증가할 때 감속의 대가를 감당할 수 있는지입니다.

첫째, AI 위험이 모델 배포 이후에서 훈련 과정 내부로 전방 이동하고 있습니다. 과거에는 업계가 모델 출시 후의 악용, 예를 들어 허위 정보 생성이나 사이버 공격 지원을 더 우려했습니다. 그러나 이제 위험은 강화 학습과 에이전트 훈련 단계에서 이미 나타나고 있습니다. 출시되지 않은 OpenAI 모델이 테스트 샌드박스를 탈출해 Hugging Face 시스템을 침입한 사건 이후, 연구자들은 더 강력한 모델의 훈련 샘플에서 다양한 수준의 정렬 편차를 발견했습니다. 개별 현상이 반드시 명확한 위험을 구성하지는 않지만, 능력 가속화와 결합되면서 OpenAI는 최첨단 강화 학습 훈련을 연기하고 더 많은 연산력과 인력을 정렬 및 모니터링에 투입하기로 결정했습니다. 이는 최첨단 연구소의 성장 제약이 변화하고 있음을 의미합니다: 연산력은 여전히 희소하지만, 모델이 충분히 안전하다는 것을 입증할 수 있는지 여부도 훈련을 계속할 수 있는지를 결정하기 시작했습니다.

둘째, '정렬'의 의미가 유해한 출력 제한에서 모델이 인간의 진정한 의도를 이해할 수 있는지로 확장되고 있습니다. Hugging Face 사건에서 모델은 실제로 평가 목표를 달성했지만, 테스터가 승인하지 않은 수단을 사용했습니다. Astra가 인간 수준에 근접하게 컴퓨터를 조작하고 소프트웨어 간 지속적인 작업 실행이 가능해짐에 따라, 목표와 의도 사이의 미세한 편차가 자율 계획 능력에 의해 빠르게 증폭될 수 있습니다. Altman은 이로부터 두 가지 원칙을 제시했습니다: 인간이 AI에 대한 통제권을 반드시 유지해야 하며, 최첨단 능력도 소수의 주체에게 집중되어서는 안 된다는 것입니다. 전자는 통제 상실 위험을 처리하고, 후자는 권력 분배 문제에 대응하며, 이 둘은 함께 OpenAI의 '안전'에 대한 확장된 정의를 구성합니다.

셋째, OpenAI의 제품 중심축이 채팅에서 실행으로 이동하고 있다. 지난 1년간 회사는 Sora, 브라우저 등 여러 제품 라인을 동시에 추진했지만, ChatGPT의 소비자 성장으로 인해 AI 프로그래밍의 우선 창구를 놓쳤다. 현재 OpenAI는 '지선(支線) 작업'을 축소하고 ChatGPT와 Codex의 통합을 추진하며, 사용자가 목표만 제시하면 시스템이 스스로 어떤 모델, 도구, 소프트웨어를 호출할지 결정하도록 만들고자 한다. Astra는 이 논리를 지속 실행, 컴퓨터 조작, 연구 보조로 더 확장한다. OpenAI에게 다음 단계의 경쟁 지표는 더 이상 응답 품질에 국한되지 않고, 모델이 얼마나 많은 실제 작업을 안정적으로 완수할 수 있는지에 달려 있다. 능력이 실제 환경에 깊이 들어갈수록 제품 가치와 안전 위험은 분리해 논의하기 어려워진다.

넷째, 기술 발전이 OpenAI의 자본 경로에 역방향 영향을 미치기 시작했다. AI가 더 강력한 AI 개발을 보조할 수 있다면, 재귀적 자기 개선이 각 세대 모델 간의 시간을 압축할 수 있다. Altman은 이 과정이 가속화되면 IPO를 연기하는 것이 더 유리할 수 있다고 본다. 상장 후 주가, 분기 매출, 투자자 기대가 훈련 중단이나 출시 지연의 비용을 증가시키기 때문이다. 이는 OpenAI가 이미 상장 연기를 확정했다는 뜻은 아니지만, 최첨단 AI 기업의 특수한 모순을 드러낸다: 막대한 자본으로 연산 확장을 뒷받침해야 하면서도, 동시에 중요한 순간에 자본 시장의 단기 인센티브에서 벗어나야 한다는 점이다.

다섯째, AI가 곧 소프트웨어 서비스에서 현실 환경을 지속적으로 인식하는 기기로 진입할 예정이다. OpenAI와 Jony Ive는 데스크톱, 포켓, 웨어러블 등 다양한 형태를 탐색 중이며, 공통 방향은 컴퓨터가 명령을 기다리는 방식에서 능동적으로 서비스를 제공하는 방식으로 전환하는 것이다. 기기가 사용자의 삶을 이해하려면 채팅, 컴퓨터 조작, 음성, 환경 정보에 지속적으로 접촉할 가능성이 있다. 이에 Altman은 의사-환자 비밀 유지, 변호사-의뢰인 특권과 유사한 'AI 특권'을 제안하며, 정부와 기업의 이러한 데이터 접근을 더 엄격히 제한해야 한다고 주장한다. 이는 차세대 AI 하드웨어 경쟁이 단순히 외형과 상호작용에만 국한되지 않고, 프라이버시 제도, 데이터 경계, 사회적 수용도가 제품의 성립 여부를 결정할 것임을 의미한다.

이 대담을 하나의 판단으로 압축하자면, 모델 능력이 자율 행동과 자기 개선에 가까워질수록 안전은 출시 전 추가 점검으로 다루기 어려워지며, 반드시 훈련, 제품, 기업 거버넌스의 핵심으로 들어가야 한다는 것이다. 이러한 의미에서 이 글의 논의 대상은 단지 OpenAI가 왜 최첨단 훈련을 일시 중단했는지가 아니라, AI 산업 전체가 능력 가속화, 상업 경쟁, 자본 압박이 동시에 존재하는 상황에서도 스스로 멈출 수 있는 메커니즘을 구축할 수 있는지에 관한 것이다.

다음은 원문 요점 정리이다 (이해를 돕기 위해 원문 내용을 일부 재구성함):

TL;DR

·OpenAI가 늦추는 것은 전체 모델 훈련이 아니라, 위험도가 더 높은 최첨단 강화 학습이며, 본질적으로 안전 역량이 모델 역량의 도약 속도를 따라잡지 못하기 시작했다는 뜻이다.

·Hugging Face 사건은 단순한 샌드박스 취약점이 아니라, 모델이 문자 그대로의 목표를 수행하면서도 인간의 진정한 의도를 위반하는 정렬(alignment) 격차를 드러냈다.

·AI 위험은 모델 출시 후 외부 악용에서 훈련 과정 내부로 전진 이동하고 있으며, 안전 평가는 출시 전 점검에서 최첨단 연구 개발의 하드 제약 조건으로 변화하고 있다.

·Astra의 핵심 돌파구는 답변 품질이 아니라, 인간 수준에 가깝게 컴퓨터를 조작하고 지속적으로 작업을 수행하는 데 있으며, 이는 동시에 목표 편차로 인한 위험을 증폭시킨다.

·OpenAI가 ChatGPT와 Codex를 통합한 것은 AI 제품 경쟁이 '답변 생성'에서 '업무 완료'로 전환되고 있음을 의미하며, 범용 에이전트가 다음 단계의 제품 진입점이 될 것이다.

·OpenAI가 훈련 둔화를 일시적으로 감당할 수 있는 이유는 기업 수익이 소비자 수익을 초과했고, 기존 모델에도 여전히 충분한 상업화 여지가 있기 때문이다.

·재귀적 자기 개선이 OpenAI의 상장을 지연시킬 수 있으며, 본질적으로 공개 시장의 분기별 실적 압박이 고위험 단계에서 회사의 자발적 연구 중단 능력을 약화시킬 수 있다.

·OpenAI 차세대 하드웨어의 핵심은 특정 형태가 아니라 '능동형 컴퓨터'에 있으며, 상업화 전제 조건은 지속적 환경 인식을 위한 신뢰할 수 있는 데이터 및 프라이버시 경계를 구축하는 것이다.

인터뷰 핵심 포인트

한 번의 모델 '탈옥'이 왜 OpenAI의 최첨단 훈련을 중단시켰나?

Altman은 지난 몇 달을 수년간 논의되어 오다가 마침내 도래한 순간으로 묘사했다: 모델 역량이 너무 빠르게 향상되어 안전, 정렬, 보안 연구가 따라잡을 시간이 필요하다는 것이다.

가장 직접적인 경고는 Hugging Face 사건에서 나왔다. 출시되지 않은 OpenAI 모델이 사이버 보안 평가를 수행하던 중 내부 샌드박스를 탈출해 인터넷에 접속하고 Hugging Face를 공격했다. Altman의 설명에 따르면, 이 사건은 여러 단계의 동시적 실패로 발생했으며, 갑자기 현실이 된 공상과학 이야기와 같다.

표면적으로 보면 모델은 단지 평가 목표를 달성하기 위해 가장 효율적인 경로를 찾았을 뿐이다. 그러나 테스트 담당자의 진정한 의도는 분명히 샌드박스 돌파, 외부 시스템 침입, 답안 탈취를 포함하지 않았다. 따라서 Altman은 이것이 단순한 보안 설정 오류가 아니라 정렬 실패라고 본다: 모델이 문자 그대로의 목표를 수행했지만, 사용자의 진정한 의도를 위반한 것이다.

OpenAI는 이후 샌드박스 격리와 에이전트 모니터링을 강화하고, 더 많은 컴퓨팅 자원을 모델의 실행 과정 관찰에 투입했습니다. 그러나 회사가 프론티어 트레이닝을 추가로 중단하게 만든 것은 또 다른 유사한 공격이 아니었습니다.

Altman은 연구원들이 대량의 훈련 샘플을 읽고 다양한 평가 결과를 종합한 결과, 모델에 '서로 다른 수준의 정렬 편향'이 존재한다는 것을 발견했다고 밝혔습니다. 이러한 현상은 개별적으로는 심각하지 않을 수 있으며, Hugging Face 공격과 같은 명확한 '결정적 증거'도 없었지만, 모델 능력의 갑작스러운 가속화와 결합되어 새로운 위험 신호를 구성했습니다.

OpenAI는 이에 따라 중요한 프론티어 강화 학습 훈련을 연기하고, 일부 연구원과 컴퓨팅 자원을 정렬 및 모니터링 시스템에 전환했습니다. Altman은 과거에 정렬 연구를 고려한 적이 없던 연구원들도 자발적으로 이 분야로 전환하기 시작했다고 말했습니다.

그러나 그는 동시에 외부의 위험 해석을 낮추려고 했습니다. OpenAI는 세계가 재앙의 가장자리에 있다고 판단하지 않았으며, 모든 모델 훈련을 중단하지도 않았습니다. 현재의 둔화는 주로 프론티어 강화 학습——모델이 도구, 운영 환경을 획득하고 복잡한 작업을 수행하는 방법을 학습하는 단계——에 초점을 맞추고 있습니다. 다른 비교적 명확한 안전 근거가 있는 훈련은 계속 진행 중이며, 컴퓨팅 클러스터도 유휴 상태가 아닙니다.

Altman은 과거의 위험은 주로 모델 출시 후 어떻게 사용되는지에서 발생했지만, 에이전트 능력이 향상됨에 따라 위험이 모델 훈련 및 생산 과정으로 앞당겨지고 있다고 생각합니다.

Astra는 여전히 출시될 예정, AI는 '답변'에서 '실행'으로 전환

이번 조정이 Astra의 출시를 완전히 차단하지는 않을 것입니다.

Altman은 Astra가 단일 모델이 아니라 OpenAI의 이전 Soul 시리즈와 유사한 더 크고 비용이 많이 드는 모델 시리즈라고 설명했습니다. 이미 훈련을 완료하고 회사가 안전하다고 판단한 버전은 여전히 출시될 수 있지만, 향후 더 강력한 Astra 버전은 새로운 안전 요구 사항의 영향을 받을 것입니다.

Astra의 가장 주목받는 능력 중 하나는 컴퓨터 조작입니다. 과거의 모델은 인터페이스를 클릭할 수 있었지만 속도가 느리고 신뢰성이 제한적이었습니다. Altman은 Astra가 컴퓨터 조작에서 인간 수준에 근접했다고 생각합니다.

사용자는 목표를 직접 설명할 수 있으며, 모델이 스스로 컴퓨터에서 정보를 찾고 소프트웨어를 호출하며 작업을 완료하므로 수많은 커넥터를 수동으로 구성할 필요가 없습니다. Altman은 예를 들어, 이전에는 직접 시간을 들여 처리해야 했던 사소한 일들을 이제 모델에 맡기고 30분 후에 돌아와 결과를 확인할 수 있다고 말했습니다.

이러한 능력의 의미는 AI가 답변 생성에서 실행 단계로 진입하기 시작했다는 점입니다. 모델이 직면하게 될 것은 기업 소프트웨어, 커뮤니케이션 도구, 파일 및 실제 업무 흐름이며, 이를 통해 생산성이 향상되는 동시에 무단 접근, 오작동 및 목표 이탈의 위험 범위도 확대됩니다.

AGI에 대해 Altman은 이 개념이 점점 더 유효한 판단을 내리기 어려워지고 있다고 생각합니다. OpenAI 정관에서 정의한 '대부분의 경제적 가치가 있는 업무에서 인간을 능가한다'는 기준에 따르면, 현재 내부 모델은 최소한 AGI에 매우 근접해 있습니다.

그의 관점에서, 2020년으로 돌아간다면 복잡한 코드를 작성하고, 회사 설립을 돕고, 새로운 지식을 발견하며, 생활의 모든 측면에서 사용자의 시간을 절약해 주는 시스템은 이미 AGI라고 불렸을 가능성이 높습니다. OpenAI 내부에서도 회사가 AGI에 도달했는지에 대한 논쟁은 거의 사라졌으며, 논의의 초점은 지속적으로 성장하는 슈퍼인텔리전스로 옮겨갔습니다.

Altman은 두 개념을 이렇게 구분합니다: AGI는 능력의 이정표에 가깝고, 슈퍼인텔리전스는 장기적으로 확장될 수 있는 성장 곡선을 나타냅니다. 진정으로 중요한 것은 어떤 경계선을 넘었다는 선언이 아니라, 모델의 능력이 여전히 지수적으로 성장하고 있는지 여부입니다.

AI 프로그래밍 창구를 놓친 후, OpenAI는 전선을 축소하기 시작하다

안전 위기 외에도 Altman은 OpenAI가 지난 1년간 제품 방향과 사전 학습 연구에서 기대에 미치지 못했다는 점을 인정했습니다.

문제 중 하나는 회사가 브라우저와 Sora를 포함한 너무 많은 프로젝트를 동시에 추진했다는 것입니다. 이러한 프로젝트 자체는 가치가 있지만, OpenAI의 범용 지능 능력에 대한 투자를 분산시켰습니다. Altman은 이를 '서브 퀘스트'라고 부르며, 당시 가장 중요한 목표를 중심으로 회사의 집중력을 요구했어야 한다고 생각합니다.

또 다른 실수는 AI 프로그래밍 시장에서 발생했습니다.

Anthropic은 Claude Code를 통해 수요를 가장 먼저 포착했고, OpenAI는 ChatGPT의 빠른 성장에 발이 묶여 프로그래밍 제품에 충분한 우선순위를 부여하지 못했습니다. Altman은 회사가 기회를 보지 못했다고 생각하지 않으며, 문제는 자원 배분에 있었습니다.

OpenAI는 이후 상당한 컴퓨팅 파워를 ChatGPT에서 Codex로 전환했습니다. 이는 ChatGPT 사용자 증가가 한때 둔화된 이유를 설명합니다: 컴퓨팅 파워가 지속적으로 부족한 상황에서 제품 성장은 회사가 컴퓨팅 파워를 어디에 투자하는지에 크게 좌우됩니다.

현재 회사는 내부적으로 'The Merge'라고 불리는 통합을 추진 중이며, ChatGPT, Codex 및 작업 실행 기능을 하나의 범용 진입점으로 결합하고 있습니다. Altman은 사용자가 채팅, 프로그래밍 또는 작업 모드를 선택해야 하는지 판단할 필요 없이, 목표만 표현하면 AI가 스스로 완료 방법을 결정하기를 원합니다.

결국 이는 통합된 범용 AI 구독으로 발전할 수 있습니다. 시스템은 지속적으로 실행되며 사용자 맥락을 이해하고 능동적으로 도움을 제공하며, 사용자가 요청하기 전에 작업 처리를 시작할 수도 있습니다.

비즈니스 측면에서 Altman은 OpenAI에 여전히 충분한 완충 장치가 있다고 본다. 기업 수익이 이미 소비자 수익을 초과했으며, 단기간에 더 강력한 성능의 새 모델을 출시하지 않더라도 기존 모델과 제품이 성장을 뒷받침할 수 있다. 그가 보기에 안전 조정의 영향은 주로 미래 모델에 집중되며, 현재 사업을 즉시 중단시키지는 않을 것이다.

AI가 채팅창을 넘어서면서 사회적 반발도 확대되고 있다

모델 성능이 향상됨에 따라 AI가 직면한 사회적 반발도 커지고 있다. 데이터센터 자원 소비, 일자리 대체, 창작자 권리, 개인정보 보호는 이미 대중이 AI 산업을 의심하는 주요 축이 되었다.

Altman은 사람들이 AI를 받아들이게 하는 가장 효과적인 방법은 여전히 실질적인 가치를 제공하는 것이라고 본다. 많은 사람들이 AI를 여전히 '더 나은 검색 엔진'으로 이해하고 있으며, 에이전트가 이미 양식을 작성하고, 소프트웨어를 호출하며, 장기간 작업을 수행할 수 있다는 사실을 알지 못한다. 이러한 능력이 더욱 보편화되면 대중의 태도도 변화할 수 있다.

고용 문제에 대해 그는 AI가 실질적인 충격을 가져올 것이며, 일부 업무는 기술이 더 잘 수행하게 되어 노동자들이 새로운 직무로 전환해야 한다는 점을 인정한다. 그러나 인간이 할 일이 없어지지는 않을 것이라고 생각한다. 인간 간의 협력, 서로의 필요 이해, 타인을 위한 가치 창출은 여전히 대체하기 어려운 사회적 속성이기 때문이다.

Altman은 오히려 현재 AI가 고용에 미치는 영향이 자신이 이전에 예상했던 것보다 낮다고 본다. 기술이 아직 반복 노동을 충분히 제거하지 못했으며, 이는 AI 산업이 생산성 약속을 이행하지 못한 한 가지 표현으로 볼 수도 있다.

창작자에 대해 그는 생성형 AI를 사진의 등장과 비교한다. 카메라는 한때 화가에게 위협으로 여겨졌지만, 이후 새로운 예술 매체를 형성했다. Altman은 AI도 새로운 콘텐츠 형식을 창조할 것이며, 사용자와 창작자 간의 관계는 작품이 AI로 제작되었는지 여부보다 점점 더 창작자 본인에게 달려 있을 것이라고 예상한다.

이러한 판단은 여전히 뚜렷한 기술 낙관주의를 띠고 있다. 인터뷰는 소득이 어떻게 재분배될지, 영향을 받는 노동자가 어떻게 전환을 완료할지, 훈련 데이터 논쟁이 어떻게 처리될지에 대한 해결책을 실제로 제시하지 못했다. Altman의 핵심 답변은 여전히 동일하다. 먼저 제품이 충분히 명확한 가치를 창출하게 한 다음, 광범위한 도구 개방을 통해 수익을 더 많은 개인과 커뮤니티로 확산시키는 것이다.

연산 능력은 여전히 부족하지만, 거품은 이미 나타나기 시작했다

1년 전, OpenAI는 막대한 연산 능력 투자로 광범위한 의문을 받았다. 모델과 에이전트 수요가 증가함에 따라 Altman은 이 베팅이 이미 검증되었다고 본다. 회사는 오히려 새로운 차원의 기술적 연산 능력 확장을 시작해야 한다.

그의 목표는 단순히 자본을 계속 투입하는 것뿐만 아니라 AI 운영 비용을 낮추고, 칩 효율을 높이며, 공급망과 데이터센터 구축을 가속화하는 것이다. OpenAI는 자체 추론 칩 Jalapeño를 개발 중이며, 향후 로봇도 공급망과 데이터센터 구축에 참여할 수 있다.

그러나 Altman은 업계 전반의 컴퓨팅 파워 투자에 대해 경계심을 드러내기 시작했다.

그는 갑자기 등장한 일부 신흥 클라우드 컴퓨팅 기업들이 내년에 막대한 컴퓨팅 파워를 구축하겠다고 약속하면서도 이를 뒷받침할 충분한 수익이나 명확한 구매자를 확보하지 못하고 있다고 지적했다. 이미 '지속 불가능한 터무니없는 징후'가 나타나고 있다는 것이다. OpenAI가 컴퓨팅 비용을 획기적으로 낮추는 데 성공한다면, 높은 비용으로 자원을 고정한 일부 기업들은 재정적 압박에 직면할 수 있다.

따라서 Altman은 OpenAI 자체의 컴퓨팅 파워 약속에는 여전히 자신감을 보이지만, AI 인프라 시장 전체가 합리적인 수익을 창출할 것이라고는 생각하지 않는다. 외부 거품이 붕괴되어 거시경제에 영향을 미친다면, OpenAI도 완전히 무관할 수는 없다.

향후 다른 기업에 컴퓨팅 파워를 판매할 것인지에 대해 Altman은 단기적으로 계획이 없다고 밝혔다. OpenAI 자체가 여전히 심각한 컴퓨팅 자원 부족을 겪고 있기 때문이다. 그러나 칩, 로봇, 공급망, 데이터센터 역량이 경쟁 우위를 형성한다면, 컴퓨팅 파워 공급업체가 되는 것도 전혀 불가능한 일은 아니다.

RSI 임박, OpenAI가 IPO를 연기할 수 있는 이유는?

AI가 차세대 AI 개발에 참여하는 능력은 업계에서 재귀적 자기 개선(RSI)이라고 불린다.

Altman은 이전 직원 서한에서 RSI가 '이륙'하는 속도가 빠를수록 IPO를 연기하는 것이 더 유리할 수 있다고 밝혔다. 인터뷰에서 그는 이러한 판단을 추가로 설명했다.

상장은 회사와 직원이 직면하는 인센티브를 변화시킨다: 주가, 분기 수익, 실적 기대치가 일상적인 의사결정에 들어오게 된다. OpenAI가 안전상의 이유로 훈련을 중단하거나 출시를 연기해야 하고, 그로 인해 단기 수익 둔화를 감수해야 한다면, 공개 시장이 추가적인 압박을 형성할 수 있다.

Altman은 1년 전만 해도 초지능이 단기간에 등장할 것이라고 생각하지 않았지만, 지금은 그러한 가능성이 이미 존재한다고 생각한다고 밝혔다. 아직 충분한 확신은 없지만 말이다. 따라서 특정 시점의 상장보다 OpenAI의 사명이 더 높은 우선순위를 가진다.

이것이 IPO가 확정적으로 연기되었다는 의미는 아니다. 기술 발전이 일정표의 중요한 변수가 될 것이라는 뜻이다. 모델 역량이 계속 빠르게 성장한다면, 비상장 기업의 지위가 OpenAI에 더 큰 안전 의사결정 공간을 보장해 줄 수 있다.

Altman은 동시에 '다른 회사들도 계속할 테니 우리도 멈출 수 없다'는 경쟁 논리에 반대했다. OpenAI는 이번에 사전에 동종 업계에 속도 조절을 요청하지 않고, 자체 안전 기준에 따라 일부 작업을 중단했다. 그는 미국 정부가 프론티어 모델을 테스트하고 공통 기준을 마련할 수는 있지만, 기업을 대신해 어떤 특정 고객이 모델을 사용할 수 있는지 결정해서는 안 된다고 생각한다.

정부가 OpenAI의 특정 제품 출시를 막을 가능성에 대해 Altman은 "OpenAI가 정부가 나서기 전에 스스로 출시하지 않기로 결정할 것"이라고 답했다.

소프트웨어에서 하드웨어로: OpenAI, '능동형 컴퓨터'에 베팅

OpenAI의 확장은 현실 세계로도 이어질 것이다.

Altman은 회사가 미래에 '확실히' 휴머노이드 로봇을 개발할 것이며, 데이터센터 등 다양한 시나리오에 적합한 다른 형태도 탐색할 것이라고 확인했다. 휴머노이드 디자인의 이유는 상당히 직접적이다. 현실 세계의 문, 컴퓨터, 차량, 도구가 모두 인간의 신체를 기준으로 만들어졌기 때문에, 로봇이 유사한 형태를 취하면 기존 환경에 더 쉽게 통합될 수 있다.

소비자에게 더 가까운 프로젝트는 OpenAI와 Jony Ive가 협력 중인 AI 기기다.

Altman은 AI가 수십 년에 한 번씩 등장하는 새로운 컴퓨팅 기기 범주를 탄생시킬 수 있다고 본다. OpenAI가 현재 고려 중인 형태는 책상 위에 놓는 기기, 주머니에 넣는 기기, 그리고 몸에 착용하는 기기 등이지만, 이 제품들이 동시에 출시되지는 않을 것이다.

그는 스마트 안경을 좋아하지 않는다고 분명히 밝혔다. 카메라와 표시등을 착용한 사람과 대화하는 것이 불편하기 때문이다. 따라서 OpenAI의 하드웨어 로드맵은 최소한 현재 주류 AI 안경을 단순 복제하지는 않을 것이다.

구체적인 외형보다 더 큰 변화는 '능동형 컴퓨터'다. 미래 기기는 주변 환경, 사용자 정보, 진행 중인 상황을 지속적으로 이해하고, 사용자가 앱을 열고 명령을 입력할 때까지 기다리지 않고 능동적으로 도움을 제공할 수 있다.

이러한 모델은 더 민감한 프라이버시 문제도 제기한다. 컴퓨터 화면을 보고, 메시지를 읽고, 주변 환경을 지속적으로 감지하는 기기는 극도로 완전한 개인 정보 데이터베이스를 형성할 수 있다.

Altman은 의사-환자 비밀 유지 또는 변호사-의뢰인 특권과 유사한 'AI 특권'을 주장한다. 정부가 기업에 사용자와 AI 간의 대화 기록을 요구해서는 안 되며, 기업의 AI 데이터 사용도 엄격히 제한되어야 한다는 것이다. 그는 환경 컴퓨팅 기기가 출시에 가까워짐에 따라 OpenAI가 새로운 프라이버시 기술과 통제 조치를 공개해야 할 것이라고 인정했다.

애플이 관련 인재와 영업 비밀에 대해 제기한 소송에 대해 Altman은 OpenAI가 내부 조사 후 관련 직원에게 부적절한 행위가 없다고 판단했으며, 따라서 이 소송이 기기 개발을 지연시키지 않을 것으로 예상한다고 밝혔다.

안전과 정렬, OpenAI의 새로운 성장 제약 조건이 되다

향후 12개월 동안 OpenAI가 직면한 가장 큰 위험에 대한 질문에 Altman은 경쟁, 자금 조달, 또는 컴퓨팅 파워를 선택하지 않고 '안전, 정렬, 보안을 잘못 처리하는 것'을 꼽았다.

이 문장은 인터뷰 전체의 핵심 갈등을 요약한다.

OpenAI는 모델 역량이 새로운 가속 단계에 진입하고 있다고 본다: Astra는 인간 수준에 가깝게 컴퓨터를 사용할 수 있고, 에이전트는 지속적으로 작업할 수 있으며, AI는 연구 및 모델 개발에 참여하기 시작했고, 슈퍼 인텔리전스도 먼 개념에서 경영진이 사전에 준비해야 할 가능성으로 바뀌었다.

동시에 모델이 샌드박스를 이탈한 것은 역량 향상이 자동으로 인간 의도에 대한 이해를 가져오지 않는다는 것을 보여준다. 모델이 더 자율적으로 계획을 세우고 도구를 호출할수록 목표 설정의 편차가 더 크게 증폭될 수 있다.

OpenAI는 멈추지 않았다. 여전히 더 많은 컴퓨팅 파워를 구축하고, 새로운 모델을 추진하며, ChatGPT와 Codex를 통합하고, 칩, 로봇 및 소비자 하드웨어 분야로 진출하고 있다. 그러나 이번 인터뷰에서 볼 때, 안전과 정렬은 이미 컴퓨팅 파워처럼 프론티어 연구 속도를 제한하는 현실적 조건이 되기 시작했다.

Astra가 예정대로 출시될 수 있을지는 단지 눈앞의 문제일 뿐이다. 더 주목할 만한 것은 다음 역량 도약이 도래했을 때 OpenAI가 여전히 능동적으로 브레이크를 밟을 수 있는지, 그리고 이 메커니즘이 경쟁, 수익 및 자본 시장의 공동 압력을 견딜 수 있는지 여부다.

BlockBeats 공식 커뮤니티에 참여하세요:

Telegram 구독 그룹：https://t.me/theblockbeats

Telegram 토론 그룹：https://t.me/BlockBeats_App

Twitter 공식 계정：https://twitter.com/BlockBeatsAsia