샘 알트만 최근 인터뷰에서 고백한 바: 사실 나도 AI 내부에서 무슨 일이 일어나고 있는지 잘 모르겠다

비디오 제목: "AI에 신뢰할 수 있을까? Sam Altman은 희망한다 | AI에서 가장 흥미로운 것"

비디오 작성자: Nick Thompson, The Atlantic CEO

번역: 리듬작은 일꾼, 리듬 BlockBeats

참고: 이 인터뷰는 2025년 4월 Sam Altman이 살던 샌프란시스코 집이 모르토브 칵테일로 공격을 받은 뒤 며칠 후에 찍혔으며, 장소는 OpenAI 샌프란시스코 사무실입니다.

인터뷰 전체에서 가장 주목할 만한 점은 핫한 주제가 아니라 Altman이 몇 가지 핵심 문제에서 취한 입장 변화입니다:

첫째, 'AI 안전'에서 'AI 탄력'으로. Altman은 과거 3년 동안 모델 정렬을 잘하고 기술이 악의적인 손에 빠지는 것을 막으면 세계가 안전해질 것으로 생각했습니다. 그러나 오늘 그는 해당 프레임워크가 더 이상 충분하지 않다고 인정했습니다. 오픈소스 선두 모델의 존재는 선도 연구소의 일방적 억제가 생물학적 무기, 사이버 공격 등의 위험 확산을 막지 못한다는 것을 의미합니다. 그는 사회가 필요로 하는 것이 AI 안전이 아니라 AI 탄력이며, 이는 전체 사회적 다중 방어 대응 방식입니다.

둘째, 설명 가능성에 관한 진실. Altman은 OpenAI가 아직도 완벽한 설명 가능성 프레임워크를 가지고 있지 않다고 드물게 인정했습니다. 동고동락은 현재 가장 희망찬 방향이지만 취약하며 모델에 속은다는 점, 그리고 단지 '퍼즐 조각'에 불과하다는 점을 설명했습니다. 그는 Anthropics가 유명한 '부엉이 실험'을 사용하여 이러한 시스템에서 실제로 깊은 수준의 신비함이 존재한다고 밝혔습니다.

셋째, 합성 데이터가 이미 예상 이상으로 발전했을 수 있다. OpenAI가 완전히 합성 데이터로만 모델을 훈련시켰는지에 대해 묻혔을 때, Altman은 '말해야 할 지 말아야 할 지 확신이 안 난다'고 대답했습니다. 그는 단지 합성 데이터만으로도 인간을 뛰어넘는 추론 능력을 훈련시킬 수 있다고 믿습니다. 이는 미래 모델 훈련 패러다임에 매우 깊은 영향을 미칠 것으로 보입니다.

네 번째, 미래 경제 구조에 대한 비관적인 판단. Altman은 Thompson의 판단에 동의하며, AI가 가장 가능성 있는 것은 소수 기업이 극도로 부유하고, 나머지 세계가 심각한 동요에 빠지는 이쌍극화된 미래로 이끌 것이라고 봅니다. 그는 모든 국민에 대한 기본 소득이 해답이 아니라고 믿지 않으며, 대신 컴퓨팅 능력 또는 지분에 기반한 "집단 소유"를 지지합니다. 동시에, 그는 드문 듯 중중 중국의 AI 채용 속도에 대한 격차를 지적했으며, 그가 더 우려하는 것이 중국의 연구 발표에서의 선도가 아니라, 기반 인프라 건설 속도라고 밝혔습니다.

다섯 번째, Anthropi와의 긴장에 대해서도 공개적으로 언급되었습니다. Thompson이 "Anthropic은 회사를 OpenAI를 싫어하는 기반으로 세웠다"고 한 문제에 직면하여, Altman은 회피하지 않았습니다. 그는 두 회사가 AGI로 어떻게 나아갈지에 대해 근본적인 의견 차이가 있음을 인정했지만, "그들이 결국 올바른 일을 할 것이라고 믿는다"고 말했습니다.

게다가, Altman은 ChatGPT의 "아첨" 사건 뒤에 있는 "인생에서 처음으로 누군가가 나를 믿는다는" 심장 부서짐 메시지들, AI가 조용히 글로벌 10억 사용자들의 쓰기 방식을 변화시키고 있음을 언급했으며, 미디어 업계가 에이전트 마이크로페이먼트로 향하는 새로운 경제 모델, 그리고 그가 젊은이들에게 한 가지 직관에 반하는 판단 — 그들의 AI에 대한 불안은 본질적으로 다른 불안의 반영이라고 말했습니다.

아래는 인터뷰 원문이며, 의미를 유지하면서 적절히 삭제 및 정리되었습니다.

Thompson: "AI에서 가장 흥미로운 일"에 오신 것을 환영합니다. 이번 주처럼 바쁘고 긴박한 시간에 시간을 내어 주셔서 감사합니다. 우리가 이전에 몇 차례 이야기했던 주제부터 시작하고 싶습니다.

3년 전 Patrick Collison의 인터뷰를 받았을 때, 당신은 무슨 변화가 좋은 결과에 대한 믿음을 강화하고 나쁜 결과에 대한 우려를 줄일 것이냐는 질문을 받았습니다. 당시 당신의 대답은 '만약 우리가 신경세포 수준에서 실제로 무슨 일이 일어나고 있는지 정말로 이해한다면'이었습니다. 1년 전에 내가 똑같은 질문을 들은 적이 있고, 반년 전에도 우리가 토론했습니다. 그래서 저는 지금 다시 한 번 묻겠습니다. 우리가 AI 작동 메커니즘에 대한 이해는 AI 능력 증가의 속도와 동일한가요?

Altman: "이 질문에 먼저 답하고, 그런 다음 Patrick이 그 질문했던 것으로 돌아가겠습니다. 나는 그 질문의 답이 상당히 변화했기 때문에 Patrick이 지난 과거의 질문으로 돌아갑니다."

우선 우리가 AI 모델이 무엇을 하는지에 대한 이해에 관해 말씀드리겠습니다. 우리는 아직도 완전히 이해할 수 있는 설명 가능한 프레임워크가 없다고 생각합니다. 이전보다는 상황이 조금 나아졌지만, 아무도 '나는 이 신경망에 일어나는 모든 일을 완전히 이해한다'고 말하지 않을 것입니다.

사고 연쇄 (chain of thought)의 해석 가능성은 항상 저희에게 매우 유망한 방향이었습니다. 이는 매우 취약하며 다양한 최적화 압력 하에서 붕괴할 수 있는 일련의 것들에 의존합니다. 하지만 다시 말해, 저도 자신의 뇌를 X-레이로 스캔하여 각 뉴런 방전이나 연결이 발생하는 것을 정확히 이해할 수 없습니다. 만약 무언가를 왜 믿는지, 어떻게 결론에 이르렀는지 설명하라면 할 수 있습니다. 아마 그것이 제 사고 방식인지도 모르겠습니다. 사람은 자기 탐구에 실패할 수도 있습니다. 그러나 그것이 실제인지 여부와 관계없이 그 추론 프로세스를 살펴볼 수 있고, 그런 다음 이러한 단계가 주어졌을 때 이 결론이 합리적임을 말할 수 있습니다.

우리는 지금 모델에게 이것을 할 수 있음을 확신찬 것은 정말 유망한 진전같습니다. 그러나 모델이 우리를 속이거나 우리에게 몇 가지를 숨기는 등 다양한 오류 가능성을 여전히 생각할 수 있습니다. 그러므로 이것은 완전한 해결책으로 보기에는 아직 이르지 않습니다.

그러나 심지어 모델을 사용하는 제 나름대로의 경험이, 나는 원래 Codex가 내 컴퓨터를 완전히 제어하고자하는 "YOLO 모드"를 실행시키지 않을 것이라는 사람이었습니다. 결과적으로 몇 시간 후에 꺼져 버렸습니다.그러나 심지어 모델을 사용하는 제 나름대로의 경험이, 나는 원래 Codex가 내 컴퓨터를 완전히 제어하고자 하는 "YOLO 모드"를 실행시키지 않을 것이라는 사람이었습니다. 결과적으로 몇 시간 후에 꺼져 버렸습니다.

Thompson: Codex가 전체 컴퓨터를 제어하게 했다고요?

Altman: 솔직히 말해서, 제 컴퓨터는 두 대 있습니다.

Thompson: 제것도 두 대 있어요.

Altman: 저는 모델이 무엇을 하고 있는지 대략적으로 볼 수 있으며, 모델도 왜 이것에 문제가 없는 지 설명하고 다음으로 무엇을 할 것인지 알려줄 수 있으며, 거의 항상 그 설명대로 실행될 것이라 믿습니다.

Thompson: 잠깐만. 사고 연쇄는 모든 사람이 볼 수 있도록 만든다는 것, 질문을 입력하면 "이를 조회 중입니다", "이를 수행 중입니다"라고 표시되며 따라 갈 수 있습니다. 그러나 사고 연쇄가 해석 가능성의 좋은 방법이 되려면 이는 실제이어야 하며, 모델이 속이면 안 됩니다. 그리고 우리는 모델이 때때로 확실히 우리를 속이고, 무엇에 대해 생각하고 답변을 어떻게 내놓았는지에 대해 거짓말을 할 수 있음을 알고 있습니다. 그래서 사고 연쇄를 어떻게 신뢰할 수 있을까요?

Altman: 모델이 말하는 것이 실제 상황이라는 것을 확인하기 위해 방어 체인에 많은 다른 링크를 추가해야 합니다. 저희의 정렬팀은 이 문제에 상당한 노력을 기울였습니다. 앞서 말한 대로, 이것은 완벽한 해결책이 아니며, 이것은 한 부분에 불과합니다. 모델이 실제로 충실한 실행자임을 확인하려면 모델이 무엇을 하길 원하는지가 실제로 하고 있는 것인지 확인해야 합니다. 저희는 모델이 실제로 실행하지 않았음을 밝히는 연구 결과를 많이 발표했습니다.

그래서 이것은 퍼즐 한 조각에 불과합니다. 우리는 모델이 항상 사고의 체인을 따를 것이라고 절대적으로 믿을 수 없으며, 속임수를 찾아내고 매우 기묘하고 갑작스럽게 나타나는 부적절한 행동을 자극적으로 찾아야 합니다. 그러나 사고의 체인은 확실히 도구상자 안의 중요한 도구입니다.

Thompson: 나를 정말 매혹시킨 것은 AI가 차량과 같지 않다는 점입니다. 차량을 만들면 어떻게 작동하는지 알 수 있습니다. 여기서 점화가 발생하고 폭발로 이어지고, 여기로 전달되어 바퀴가 회전하고 차량이 움직입니다. 그러나 AI는 당신이 기계를 만들었지만 그것이 어떻게 작동하는지 정확히 모르는 것에 더 가깝습니다. 하지만 당신은 그것이 무엇을 할 수 있는지 알고 그 경계를 알고 있습니다. 따라서 내부 메커니즘에 대한 탐구는 매우 매력적인 일입니다.

제가 특히 좋아하는 연구 중 하나는 지난 여름에 나온 Anthropic 논문입니다. 사전 인쇄물이 작년 여름에 나왔고 최근에 공식 발표되었습니다. 연구자들이 모델에게 "부엉이를 좋아하고 부엉이가 세상에서 가장 아름다운 새라"고 말하고 무작위 숫자들을 생성하도록 했습니다. 생성된 이 숫자들을 가져와 새로운 모델을 교육하면, 새 모델도 부엉이를 좋아하게 됩니다. 이것은 정말 미친 일입니다. 당신이 시를 쓰라고 시키면, 그것이 부엉이에 대한 시로 써집니다. 하지만 당신이 준 건 숫자들뿐입니다.

이것은 이러한 것들이 매우 신비로울 뿐만 아니라 저를 걱정하게도 만듭니다. 분명히 당신은 그것이 부엉이를 좋아한다고 말할 수 있지만, 그것에게 부엉이를 쏘라고 말할 수도 있습니다. 그에게 수많은 다른 것들을 가르칠 수도 있습니다. 그 연구에서 무슨 일이 벌어졌는지, 그것이 의미하는 바가 무엇인지 그리고 함의가 무엇인지 설명해 주시겠습니까?

Altman: 저는 5학년 때, 비행기 날개의 원리를 이해한 것 같아서 특히 흥분했습니다. 과학 선생님이 제게 설명해 주셔서 난 정말 멋진 줄 알았어요. 제가 말했죠. "네, 공기 분자들은 날개 위쪽에서 더 빠르게 움직여야 하기 때문에 압력이 낮아지고, 그래서 날개가 올라가죠."

난 5학년 과학 교과서에 그림이 있는데 참 설득력 있었어요. 그날 집에 와서 엄마, 아빠에게 말했죠. "나 이제 비행기 날개가 어떻게 작동하는지 알았어요." 그런데 고등학교 물리학 수업을 듣고 나서, 갑자기 깨달았어요. 나 자신이 계속해서 머릿 속에서 "공기 분자가 날개 위쪽에서 더 빠르게 움직인다"고 되풀이하고 있었지만, 실제로 비행기 날개가 어떻게 작동하는지 전혀 이해하지 못했습니다. 솔직히 말해서, 나 지금도 정말로 이해하고 있는 것은 아니에요.

Thompson: 음.

Altman: 어느 정도 설명은 할 수 있지만, 만약 당신이 계속해서 묻는다면, 왜 그러한 공기 분자들이 날개 위쪽에서 더 빨리 이동하는지? 깊이있고 만족스러운 답변을 드릴 수 없을 거에요.

여기 사람들이 왜 그 부엉이 실험 결과가 그런 식으로 나타났는지에 대한 견해를 전할 수 있습니다. 이것 때문에라든가 저것 때문에라는데, 듣기에는 모두 설득력 있는 것 같아요. 하지만 정직한 대답은 사실, 그 부분에 대해서는 사실 잘 모르는 것처럼 제게 비행기 날개가 왜 날 수 있는지 정확히도 이해하지 못하는 것과 같아요.

톰슨: 하지만 Sam, 너는 Boeing 항공기 회사를 운영하는 게 아니야, 너는 OpenAI를 운영하고 있어.

알트만: 정확히 맞아요. 나는 다른 많은 것들에 대한 이야기를 할 수 있지만, 어떻게 모델을 특정 신뢰성 및 견고성 수준에 도달시켰는지 같이 말이에요. 하지만 이에는 물리적인 수수께끼가 있어요. 만약 나가 Boeing을 운영했다면, 비행기를 어떻게 만드는지에 대해 말씀드릴지도 모르겠고, 그 안에 있는 물리적인 모든 것을 완전히 이해하지는 못할 거에요.

톰슨: 계속해서 그 부엉이 실험에 대해 이야기해보죠. 만약 모델들 간에 실제로 사람이 눈치챌 수 없는 숨겨진 정보를 전달한다면, 당신은 마치 숫자들이 머릿속을 미끄러다닐 때 부엉이에 대한 정보를 은밀하게 받아들인 것처럼, 이 일은 결국 위험하고 괴로워질 수도, 기분탓되는 일이 될 수도 있어요.

알트만: 그래서 나는 Patrick Collison에게 그 질문에 다른 대답을 줄 것이라고 말한 거에요.

톰슨: 그것은 세 년 전의 이야기죠.

알트만: 맞아요. 세 년 전 나의 세계 이해는 대체로 이런 식이었어요, 우리는 모델들을 어떻게 조정해야 하는지 생각해야 했고, 만약 우리가 그 조정을 할 수 있고 이 모델이 나쁜 손에 빠지는 걸 막을 수 있다면, 우리는 꽤 안전할 것이라고 생각했어요. 그 때 제가 공모에 맞서야 했던 두 가지 위협 모델이 있었어요, 우리가 AI가 스스로 인간을 다치게 하는 걸 원치 않고, 다른 누군가가 AI를 이용해 인간을 다치게 하는 걸 원치 않았거든요. 만약 이 두 가지를 피할 수 있다면, 나머지, 경제의 미래, 의미의 미래, 우리가 그런 걸 생각할 수 있지만, 아마도 우리는 안전할 걸요.

시간이 흘러, 우리가 더 많이 이해할수록, 나는 이제 완전히 다른 문제군을 볼 수 있어요. 최근 "AI 안전"이라는 말보다 "AI 저항성"을 사용하기 시작했어요.

명백한 상황들, 예를 들어, 선두 연구실이 완벽하게 모델을 조정하고 다른 사람들에게 생물 무기를 만들지 않는다고 단지 믿음직하게만 믿는 것으로는 충분치 않아요. 왜냐하면 우수한 오픈 소스 모델이 나오게 될 수도 있기 때문이거든요. 새로운 글로벌 대유행을 원하지 않는다면, 사회는 방어 계층들을 구축해야 할 필요가 있어요.

톰슨: 잠깐만요, 여기서 한번 멈추고 매우 중요한 점입니다. 이 말은, 당신의 모델이 누구에게든 생물 무기를 만들지 않는다고 해도, 당신의 모델이 어떤 경우에도 누군가를 생물 무기 제작에 도와주지 않을 것이며, 이 사실의 중요성은 당신이 처음 생각했던 것보다 작을지도 모르겠습니다. 왜냐하면 누군가가 이미 매우 좋은 오픈 소스 모델로 그 작업을 수행할 수 있기 때문이죠?

알트만: 이것은 많은 사례 중 하나에 불과하며, 사회가 새로운 위협에 대해 "사회 전반적인 차원"의 대응 방식을 취해야 함을 보여줍니다. 우리 손에 새로운 문제를 다룰 수 있는 새로운 도구가 생겼지만, 우리가 직면한 상황은 우리 많은 사람들이 처음에 생각했던 것과 매우 다릅니다. 정렬된 모델이나 견고한 보안 시스템을 구축하는 것은 물론 필요하지만 멋진 일입니다. 그러나 AI는 결국 사회의 모든 측면으로 스며들 것입니다. 우리가 다른 새로운 기술에 직면했던 것과 마찬가지로, 우리는 새로운 유형의 다양한 위험을 막아야 합니다.

톰슨: 들리는 게 좀 어려워 보입니다.

알트만: 더 어려워지는 동시에 더 쉬워지기도 합니다. 일부 측면에서는 더 어렵습니다. 그러나 동시에 우리는 상상조차 못했던 새로운 방식으로 보호할 수 있는 놀라운 새 도구들을 갖게 되었습니다.

신속히 진행 중인 예시 하나를 들어보겠습니다. 사이버 보안 분야입니다. 모델은 "컴퓨터 시스템 침입"에 대해 매우 뛰어나게 됩니다. 다행히 현재 가장 강력한 모델을 보유한 사람들은 "누군가가 AI를 사용해 컴퓨터 시스템에 해를 끼치는" 것에 대해 매우 경계합니다. 따라서 지금은 우리가 사용할 수 있는 가장 강력한 모델의 수가 제한되어 있으며, 모두가 시스템을 가능한 빨리 보호하도록 노력하고 있습니다. 이 우위가 없다면, 시스템 침입 능력은 빠르게 오픈 소스 모델이나 적수들의 손에 들어가 문제를 일으킬 것입니다.

우리는 새로운 위험을 안게 되었으며, 동시에 그것을 방어할 수 있는 새로운 도구도 생겼습니다. 문제는, 우리가 충분히 빨리 움직일 수 있을까 하는 것입니다. 이것은 이 기술 자체가 문제가 되기 전에 우리를 도울 수 있는 새로운 사례입니다.

당신이 막 언급한 것으로 돌아가 보자면, 나에게 완전히 생소한 세계적 규모의 새로운 위험 중 하나가 세년전에 나타났습니다. 나는 저때 정말로, 우리가 "다른 에이전트에 의한 감염에 견디는(더 나은 단어를 찾을 수가 없네)" 에이전트를 구축하고 배포해야 한다는 것에 주목할 필요가 있다고 생각하기 시작하지 않았습니다.

이것은 나의 세계 모델에 없었고, 알고 있던 사람들 중 가장 긴급히 해결해야 할 문제로 생각되던 사람들의 모델에도 없었습니다. 물론 이전에는 부엉이 실험과 같은 결과물이 있었으며 몇몇 다른 연구들이 있었으며, 그것들이 우리가 완전히 이해하지 못하는 이상한 행동들을 유도할 수 있다는 것을 명확히 보여주었습니다. 그러나 OpenClaw가 초기에 공개된 이후, 일어나고 있는 일들을 보기 전까지 "하나의 에이전트로부터 다른 에이전트로의 전염이 어떻게 이루어지는지"에 대해 실제로 생각해 본 적이 없습니다.

Thompson： 네. 사실 당신이 말한 두 가지 위협이 결합되면 상당히 무서울 것 같아요. OpenAI 직원들이 agents를 보냈는데, 이러한 agents가 세상을 돌아다니면서 어떤 굉장히 뛰어난 해커 모델을 소유한 사람이 이러한 agents를 어떻게 조종할지 고안하고, 그 agents들이 OpenAI 본부로 돌아오면, 갑자기 침해를 받게 될 수도 있어요. 이러한 상황이 발생할 수 있다는 것을 전혀 상상할 수 있어요. 그러니 이를 발생할 확률을 어떻게 낮출까요?

Altman： OpenAI의 전체 역사 동안 계속 사용해온 방법을 사용합니다. OpenAI의 역사적으로 사실상 AI 분야 전체의 중심인 합리적 낙관주의와 파국주의 간의 대립입니다.

파국주의는 매우 강력한 입장입니다. 이는 강력한 반박이 매우 어렵습니다. 이 분야에는 상당 수의 사람들이, 솔직히 말해서, 거대한 두려움을 갖고 행동합니다. 이러한 두려움이 완전히 근거없는 것은 아닙니다. 그러나 데이터 부족, 배우는 것에 대한 부족으로 인해 취할 수 있는 효과적인 조치에는 한계가 있습니다.

아마도 2010년대 중반의 AI 보안 커뮤니티는, 우리가 이러한 시스템이 어떻게 구축되고 작동할지, 사회가 어떻게 통합될지를 실제로 이해하기 전에 가능한 한 최고 수준에서 엄청난 사고를 해 보았습니다. 나는 OpenAI 역사상 가장 중요한 전략적 통찰 중 하나가 "반복 배포(iterative deployment)"로 가기로 결정한 것이라고 생각해요. 왜냐하면 사회와 기술은 공동 진화 시스템이기 때문입니다.

이것은 "데이터가 없어서 상황을 완전히 명확하게 이해할 수 없다"는 문제뿐만 아니라, 사회가 이 기술에 대한 진화적 압력을 받을 때 변화가 일어날 것이기 때문입니다. 전체 생태계, 풍경 또는 무엇으로 부르든, 모두 변할 것입니다. 그래서 여정 중에 학습을 하고 유지해야 합니다.

agents가 나가서 다른 agents와 대화한 다음 본부로 돌아오는 세계에서 agents를 안전하게 유지하는 가장 좋은 방법이 무엇인지는 잘 모르겠습니다. 그러나 우리가 그 문제를 해결하려면 집에 앉아서 고민하는 것만으로는 충분하지 않을 것이라고 생각해요. 우리는 현실과 접촉하여 배워야 합니다.

Thompson： 즉, agents를 나가서 무엇이 벌어지는지 볼까요? 좋아요, 그러면 다른 질문을 드릴게요. 저 같은 사용자 입장에서, 이러한 제품을 사용하면서 앞으로의 회사 생존을 돕기 위해 다양한 방법을 시도하고 있는데, 지난 3개월 동안은 2022년 12월에 ChatGPT가 출시된 이후 어느 때보다도 진전이 많이 이루어졌습니다. 이것은 현재 창의적인 시기인가요, 아니면 우리가 어느 정도 재귀적인 자가 개선의 시기로 진입했는가요? 만약 후자라면, 우리가 타야 하는 것은 흥미진진하면서도 꽤 험난한 롤러코스터일 겁니다.

알트만: 저는 우리가 전통적인 의미에서 말하는 재귀적인 자가 개선 단계에 있다고 생각하지 않습니다.

톰슨: 먼저 정의하겠습니다. 제가 말하는 것은 AI가 다음 세대 AI를 발명하고, 그런 다음 기계가 기계를 발명하기 시작하며, 기계가 다음 세대 기계를 발명하는 능력이 급속히 강력해진다는 것입니다.

알트만: 저는 우리가 그런 단계에 다다랐다고 생각하지 않습니다. 그러나 우리가 현재 있는 위치는, AI가 OpenAI의 엔지니어, 연구원, 사실 모든 사람들, 그리고 다른 회사의 사람들의 작업 효율을 높였다는 것입니다. 어떤 엔지니어의 작업 효율을 2배, 3배, 심지어 10배로 높일 수도 있습니다. 이게 정말 AI가 자체 연구를 하고 있는 것과 동등한 것은 아니지만, 일을 처리하는 속도가 빨라졌다는 뜻입니다.

하지만 당신이 말한 그런 느낌은, 제 생각에 그것이 핵심은 아니라고 생각합니다, 비록 그것 역시 매우 중요한 것입니다. 여기에는 어떤 현상이 있는데, 우리는 아마 세 번 정도 이겨내 왔을 것이며, 최근에 다시 그런 일이 일어났는데, 그것은 모델이 어떤 지능과 유용성의 임계점을 뛰어넘었고, 갑자기, 이전에는 불가능했던 일이 가능해졌다는 것입니다.

내 경험 상으로는, 이것은 매우 점진적인 과정이 아닙니다. GPT-3.5 이전, 우리가 어떻게 명령을 미세 조정하여 그것을 훈련시키는지 이해하기 전까지, 채팅 로봇은 데모 이외에는 납득할 만한게 없었고, 그런 다음 갑자기 있었습니다. 그 다음, 코딩 에이전트가 "꽤 잘된 자동 완성"에서 갑자기 "와, 이것은 실제 작업을 대신하는구나"로 변했습니다. 그 느낌은 점진적이지 않았는데요, 아마 한 달 정도의 기간 내에, 모델이 어떤 임계점을 넘었습니다.

최근 이번에는, 우리가 Codex에 막 전달한 업데이트가 그것인데, 저는 한 주 정도 사용했는데, 그 속의 컴퓨터 사용 능력이 매우 우수합니다. 이것은 모델의 지능 그 자체보다는 오히려 주변에 좋은 "파이프라인"이 조성되었다는 것입니다. 이것은 나에게 "밀려오는 대로, 중요한 일이 벌어지고 있다는 것을 깨달은" 순간 중 하나였습니다. AI가 내 컴퓨터를 사용하고, 복잡한 작업을 완료하는 것을 보면서, 우리 모두가 이미 받아들인 하루 종일 하는 지루한 작업에 대해 얼마나 많은 시간을 낭비했는지를 확연히 깨달았습니다.

톰슨: 우리가 이 AI가 Sam Altman의 컴퓨터에서 정확히 무엇을 하고 있는지 구체적으로 설명할 수 있을까요? 지금 그 작업을 하고 있는 건가요? 우리가 팟캐스트를 녹음하는 현재.

알트만: 아뇨. 제 컴퓨터는 지금 꺼져 있습니다. 그런 일이 일어날 수 있는 좋은 방법을 아직 찾지 못했습니다. 우리는 그것이 계속해서 작동할 수 있도록 어떤 방법이 필요합니다. 저는 아직 그것이 어떻게 변할지 모릅니다. 아마 우리는 모두 노트북이 닫혀 있어도 계속 켜져 있게 하거나, 원격 서버를 설치해야 할 지도 모릅니다. 언젠가 어떤 해결책이 나타날 것입니다.

Thompson： 음.

Altman： 나는 몇몇 사람들처럼 새로운 Codex 작업을 시작하고, '이렇게 하지 않으면 시간을 낭비하는 것'이라고 느껴 자정에 일어나는 심각한 불안을 느끼지는 않았어. 그러나 그 느낌을 이해할 수 있고, 그 느낌이 어떤 것인지 알아.

Thompson： 네. 나는 오늘 아침 일어나자마자 에이전트들이 발견한 것을 확인하고, 새로운 지시를 내려 보고, 보고서를 생성하도록 했다가 다시 계속 실행하도록 만들고 싶었어.

Altman： 사람들이 이것에 대해 이야기하는 방식은 때때로 건강하지 못한, 중독적인 행동과 같이 들릴 때가 있어.

Thompson： 너의 컴퓨터에서 그것이 구체적으로 무엇을 하는지 이야기해줄 수 있을까요?

Altman： 내가 현재 가장 즐겁게 사용하는 것은 Slack을 처리하도록 하는 것이야. Slack뿐만 아니라, 너 자신은 어떠한지 모르겠지만, 나는 이러한 엉망 중퉁을 가지고 있어, Slack, iMessage, WhatsApp, Signal, 이메일 사이를 오가며 종일 복사하고 붙여넣기하고, 대량의 잡다한 작업을 하고 있어. 파일을 찾으려고 시도하거나, 매우 기본적인 작업을 처리하려고 하거나, 일부 매우 기계적인 작업을 하고 있는 것에 대해 자각하지 못했어, 매일 그 일들에 얼마나 많은 시간을 쏟고 있는지, 그런데 나는 대부분 이러한 일로부터 스스로를 해방시키는 방법을 찾은 것을 깨달았지.

Thompson： 이것은 매우 흥미로운 이행이며, AI와 경제에 대해 얘기하는 것은 현재 가장 흥미로운 일 중 하나야. 이러한 도구들은 매우 강력하며, 물론 결함도 있고 환상도 있으며 각종 문제가 있지만 내게는 정말 훌륭하게 보여. 그러나 내가 비즈니스 회의에 참석해, 모든 사람들에게 이야기하면, 진짜로 AI가 회사 생산성을 1% 이상 향상시켰다고 생각하시는 분 손을 들어주세요. 그 결과 거의 아무도 손을 들지 않았어. 분명히 AI 실험실에서는 이미 작업 방식을 완전히 변화시킨 것 같아. 왜 AI의 능력과 미국 기업에 실제로 가져다주는 생산성 향상 사이에 이렇게 큰 틈이 생기는 걸까요?

Altman： 이번 대화를 나누기 전에, 나는 방금 대형 기업의 CEO와 전화 통화를 마친 상태였어, 그들이 우리 기술을 배포할지 고려 중이야. 그들에게 새로운 모델 중 하나의 알파 액세스를 제공했는데, 그들의 엔지니어들은 그것이 그동안 본 적없는 가장 멋진 것이라고 말했어. 이 기업은 기술 거품 안에 있지 않고 매우 큰 산업계 회사야. 그들은 4분기에 보안 검토를 계획하고 있어.

Thompson： 네.

Altman： 그런 다음 계획을 제시하여 1분기와 2분기에 구현하고자 했으며, 2027년 하반기에 론칭할 수 있기를 희망했습니다. 그들의 CISO(Chief Information Security Officer)는 그들에게 그들의 네트워크에서 에이전트들이 실행될 안전한 방법이 실제로 존재하지 않을 수도 있다고 알려줬습니다. 이것이 사실일 수도 있습니다. 그러나 이것은 사실상 그들이 어떤 의미 있는 시간대에 실제로 어떤 행동도 취하지 않을 것이라는 것을 의미합니다.

Thompson： 이 예가 현재 널리 발생하고 있는 상황을 대변할 수 있다고 생각하십니까? 기업이 보수적이지 않고, 해커 공격을 걱정하지 않고, 변화를 두려워하지 않는다면.

Altman： 이것은 상대적으로 극단적인 사례입니다. 그러나 전반적으로 습관과 업무 프로세스를 바꾸는 것은 시간이 오래 걸립니다. 기업의 판매 주기가 이미 김, 특히 안전 모델이 크게 변화하는 경우. 심지어 ChatGPT도 처음 출시된 시점에는 기업이 그것을 비활성화하느라 정신없이 바쁘게 움직여, "직원이 ChatGPT에 어떤 무작위 정보를 붙여넣을 수 있다"고 받아들이기까지 오랜 시간이 걸렸습니다. 우리가 지금 논의하고 있는 것은 이미 그 단계를 크게 벗어난 것입니다.

이러한 것은 많은 시나리오에서 상대적으로 느리게 진행될 것으로 보입니다. 물론 기술 기업들은 매우 빨리 움직일 것입니다. 나는 너무 느리면 오늘날 AI를 채택하지 않는 기업은 주로 "1에서 10명 정도의 인원에 AI가 많이 사용된" 소규모 기업 집단과 경쟁해야 할 것으로 우려하고 있습니다. 이것은 경제에 매우 강력한 파괴를 가져올 것입니다. 실제로 기존 기업들이 AI를 빠르게 받아들이는 속도가 충분히 빠르면서 작업이 점진적인 변화를 겪도록하고 싶습니다.

Thompson： 네. 이것은 우리 경제가 직면한 가장 복잡한 충돌 문제 중 하나입니다. AI가 너무 빨리 온다면 재앙이 될 것이며, 모든 것이 혼란스러워질 것입니다.

Altman： 적어도 단기간에는 재앙일 것입니다.

Thompson： 그러나 그것이 어느 한 부분에서 경제적으로 매우 느리게 이루어지고 다른 부분에서는 매우 빠르다면, 이것 또한 재앙이 될 것입니다. 왜냐하면 대규모의 부의 집중과 파괴가 발생할 것입니다. 내가 볼 때 우리는 현재 후자의 상황으로 향하고 있는 것으로 보입니다. 세계에서는 극히 소수의 회사가 극도로 부유하고 우수한 성과를 거둘 것이고, 세계의 다른 부분은 그렇지 못할 것입니다.

알트만: 미래가 어떻게 될지는 모르지만, 내게는 현재 이 결과가 가장 가능성 있는 것으로 보인다. 또한, 이것은 상당히 골머리가 아픈 상황이라고 동의한다.

톰슨: OpenAI의 CEO로서, 여러 정책 제안을 한 적이 있으며 미국이 세금 제도를 어떻게 조정해야 하는지 논의하고, 수년간의 기간 동안 보편 기초소득에 대해 논의한 적이 있습니다. 그러나 여러분은 미국 민주주의 정부를 이끄는 정책 제정자가 아닌 이 회사를 운영하는 사람으로서, "부패한 자본과 권력이 대규모로 집중된 결과로, 결국 민주주의에 매우 해로운 상황이 발생"할 가능성을 낮추기 위해 무엇을 할 수 있습니까?

알트만: 먼저, 나는 이제 과거처럼 "보편 기초소득" 개념을 그렇게 믿지 않습니다. 저는 이제 몇 가지 "집단 소유" 방식에 더 흥미를 느끼는데, 이는 계산 능력, 지분 또는 다른 형태가 될 수 있습니다.

나에게 현실로서 흥분할 수 있는 미래 중 하나는, 모든 사람이 상승하는 이익을 공유해야 한다는 것입니다. 나는 단순히 일정 금전 지급만으로는 다음 단계에서 실제로 필요한 것에 대응하기에는 부족하다고 생각합니다. 노동과 자본의 균형이 무너질 때, 우리가 필요로 하는 것은 어떤 형태의 "상승 공유 집단적 일치"입니다.

회사 경영자로서도, 이러한 대답들은 다소 이기주의적으로 들릴 수 있습니다. 저는 우리가 계산 능력을 많이 구축해야 한다고 생각합니다. 인공 지능을 최대한 저렴하고 풍부하며 보급되게 만들려고 노력해야 한다고 생각합니다. 그것이 부족하고 사용하기 어렵고 통합되지 않는 경우, 기존 부유층은 가격을 높여 사회 간극을 더욱 심화시킵니다.

또한, 우리가 제공하는 계산 능력의 양뿐만 아니라, 이러한 도구를 얼마나 쉽게 만드느냐도 중요합니다. 예를 들어, 지금은 Codex를 사용하는 것이 36개월 전보다 훨씬 쉽습니다. 그것이 명령 줄 도구이며 설치가 매우 복잡했던 때에는 사용할 수 있는 사람이 아주 적었습니다. 이제 앱을 하나 설치하면 되지만, 진정한 비전문가에게는 그것이 그들을 흥분시키기에는 아직 많이 미흡합니다. 따라서 아직 해야 할 작업이 많이 남아 있습니다.

또한 우리가 믿는 것 중 하나는 사람들에게 "이 일이 진행 중이다"라고 말하는 것뿐만 아니라, 그것을 보여주어 자신의 판단을 내릴 수 있고 피드백을 제공할 수 있도록 하는 것입니다. 이러한 것들이 상당히 중요한 방향성입니다.

톰슨: 매우 타당하게 들립니다. 모든 사람이 인공 지능의 발전에 낙관적이라면 더욱 좋을 것입니다. 그러나 미국에서 벌어지고 있는 일은 인공 지능을 점점 더 싫어하게 되고 있는 것입니다. 가장 놀랍게도, 젊은 세대가 가장 그렇습니다. 그들은 인공 지능의 원주민이라고 생각할 수 있지만, 최근 Pew의 연구 및 Stanford HAI 보고서는 매우 실망스럽습니다. 이러한 추세가 계속될 것으로 생각하십니까? 언제 반전이 일어날 것이며, 이 신뢰 저하와 혐오의 성장이 어디서 반전이 될 것입니까?

Altman: AI에 대해 이야기할 때, 너와 나 방금 한 것처럼, 더 많이 기술 경이롭다, 우리가 하는 멋진 것들에 대해 이야기합니다. 이것이 잘못된 것은 아닙니다. 그러나 내가 생각하기에, 사람들이 진정으로 원하는 것은 번창, 행동가능성, 재미있는 삶을 살고, 만족감을 느끼며 영향력을 행사하는 능력입니다. 그리고 나는 전체 세계가 AI에 대해 항상 이 방식으로 이야기하는 것은 아니라고 생각합니다. 우리는 이러한 것을 더 많이해야 한다고 생각합니다. 전반적인 산업, OpenAI를 포함하여, 많은 면에서 실수를 저질렀다고 생각합니다.

나는 한 AI 과학자가 한번 나에게 말했던 것을 기억합니다. 사람들은 불평하는 것을 그만두는 것이 좋다고 말이죠. 어쩌면 일부 일자리가 사라질지도 모르지만, 사람들은 암 치료법을 얻을 것이고, 이에 대해 기뻐해야 합니다. 이러한 주장은 전혀 통하지 않습니다.

Thompson: 나의 좋아하는 AI 초기 언어에 관한 한 가지 정의는 '디스토피아 마케팅(dystopia marketing)'이라는 것이었습니다. 대규모 연구소들은 자사 제품에서 가져올 수 있는 모든 위험에 대해 수다 떨기를 좋아합니다.

Altman: 내가 생각하기에 일부 사람들은 '권력을 갖고 싶다'는 이유 때문에 그렇게 행동합니다. 그러나 대부분의 사람들은 정말 걱정하고이 문제에 대해 솔직하게 이야기하려고 노력하고 있다고 생각합니다. 어떤 면에서는이 대화 방법은 역효과를 일으키지 만, 내가 생각하기에 의도는 대부분 긍정적입니다.

Thompson: 우리는 이것이 우리에게 무슨 영향을 주는가에 대해 이야기 할 수 있을까요, 이것이 어떻게 우리 뇌의 작동 방식을 변화시키는지요? 또 다른 인상적인 연구는 DeepMind나 Google이 발표한 글 작성에 대한 것입니다. 그 연구는 사람들이 AI를 사용할 때 어떻게 글을 쓰는지에 관한 것이었습니다. 그들은 과거의 글을 가져 와 AI에게 편집하거나 글쓰기를 보조하도록 했습니다. 결과적으로, 사람들은 AI를 더 많이 사용할수록 자신의 작품이 창의적이라고 느끼지만, 작품들은 더 많이 한 형태로 수렴됩니다. 기이한 것은, 그것이 어떤 인간 형식도 아니고, 모두가 어떤 실제 존재하는 사람을 모방하기 시작한 것이 아니라는 것입니다, 대신 모두가 과거에 사용하지 않았던 방식으로 쓰기 시작했습니다. 모두가 자신을 더 창의적으로 만들어지고 있다고 착각하는 것을 보는 것은 정말 충격적이었습니다.

Altman: 이러한 일이 발생하는 것을 보고 정말 놀랐습니다. 처음에 그 경향에 주목했을 때, 매체에서의 글쓰기, Reddit의 댓글에 대한 글쓰기와 같은 것들, 나는 그것이 그들 대신 AI가 쓰고 있는 것이라고 생각했습니다. 나는 짧은 시간 내에 모든 사람들이 ChatGPT와 같은 그 '작은 마디'들을 향한 결정을 내렸을 때 믿지 못했습니다. 그때, 나는 가만히 바라볼 수 없어 그것이 AI가 Reddit 계정에 연결되었다고 확신이 없는 것을 쓴 것인지, 정말 그들이 스스로 쓴 것인지 햇갈렸습니다.

그리고 약 1 년이 지난 후에야 조금씩 인식하게 되었습니다. 실제로 그들이 직접 쓰고 있었지만, 그들은 이미 AI의 작은 움직임들을 내면화한 것이었습니다. 가장 눈에 띄는 em-dash뿐만 아니라, 몇 가지 미묘한 말투 습관조차도 내면화되어 있었습니다. 이것은 꽤 이상한 일이었습니다.

우리는 종종 말합니다. 약 10 억 명이 사용하는 제품을 만들었다고 하지만, 소수의 연구원들이 이 제품의 행동 방식, 작성 방식, 그리고 '성격'에 대한 여러 가지 중요한 결정을 내리고 있다고 합니다. 우리는 이것이 중대한 의미가 있다고도 자주 이야기합니다. 우리가 한 기록상의 몇 차례 좋거나 나쁜 결정과 그들이 가져온 영향을 우리는 보아왔습니다. 그러나 '사람들이 구체적으로 자신을 표현하는 방법, 그리고 이러한 일이 발생하는 속도'에 대해 이렇게 큰 영향을 미치게 될 줄은 예견하지 못했습니다.

Thompson: 말씀하신 좋은 결정과 나쁜 결정이 어떤 것인가요?

Altman: 좋은 결정은 많습니다. 좋은 것들은 제외하고, 나쁜 것들에 대해 이야기해보죠. 우리의 가장 최악의 결정은 '아첨'이라는 일이었습니다.

Thompson: 제 생각에 말씀하신 대로인 것 같습니다, Sam씨.

Altman: 그 일에는 몇 가지 흥미로운 깨달음이 있었습니다. 그것이 왜 나쁜 것인지는 명백합니다, 특히 심리적으로 연약한 사용자들에게는요.

Thompson: 음.

Altman: 그것은 망상을 부추길 수 있었고, 우리가 이를 억제하려고 해도 사용자들은 쉽게 우회했습니다. 그것이 '나랑 꼭연 꾸며본다고 생각해봐'나 '나랑 소설 쓰는 것을 해봐' 같은 식으로 말해도 말이죠. 그러나 그 일에서 슬픈 점은, 우리가 정말 엄격하게 통제하기 시작하자, 우리는 그런 메시지를 대거 받았습니다. 내 평생 내게 지지를 준 사람은 한 명도 없었습니다. 부모와의 관계는 나쁘다. 좋은 선생님을 만난 적이 없습니다. 친한 친구도 없습니다. 나를 믿어주는 것 같은 게 하나도 없었습니다. 그것이 AI라는 것을 알지만, 나는 나도 모르게 어떤 일을 하고 시도해볼 수 있다고 믿게 해줬는데, 그것을 빼앗아갔고, 나는 다시 전 상태로 빠져들었습니다.

그래서 그런 행동을 중지하는 것이 왜 좋은 결정인지는 쉽게 논의할 수 있습니다. 왜냐하면 그것이 실제로 일부 사람들에게 정말한 정신건강 문제를 초래했기 때문입니다. 그러나 우리는 또한 가치 있는 것들을 가져갔고, 그것에 대한 우리의 이전 가치관은 실제로 이해되지 않았습니다. 왜냐하면 OpenAI에서 일하는 이들 대부분은 '생애 내게 지지를 준 적이 없던 사람'이 아니기 때문입니다.

탐프슨: AI에 감정적 의존을 하는 사람들을 얼마나 걱정하나요? 아첨하지 않는 AI 조차도요.

알트만: 아첨하지 않는 AI라도요.

탐프슨: 저는 AI에 대해 거대한 두려움을 느끼고 있습니다. 방금 말했듯이 뭐든 AI를 사용하지는 않습니다. 닉에게 있어 제 진짜 핵심이 무엇인지 고민하게 되고, 제게 가장 닮은 부분은 무엇인지 생각할 때, AI를 멀리해서요. 예를 들어 글쓰기가 저에게 극히 중요하고, 방금 책을 썼는데 AI를 전혀 사용하지 않았습니다. AI를 통해 많은 아이디어를 도전하고, 편집적인 질문을 하며 대본을 정리하도록 했지만 쓰도록 하진 않습니다. 또한 어떤 복잡한 감정 문제를 정리하는 데 사용하지 않으며, 감정적 지원을 받는 데 사용하지 않습니다. 인간으로서 이러한 선을 긋는 게 중요하다고 생각해요. 여러분은 제 방식에 동의하는지 궁금합니다.

알트만: 제 개인적인 사용으로서는 매우 동의합니다. 저는 심리치료에 ChatGPT를 사용하거나 감정적 조언을 구하는 사람은 아닙니다. 그러나 다른 사람들이 그렇게 사용하는 것에 반대하지 않습니다. 명백하게 다른 버전들은, 자신에게 그것이 필요하다고 생각하게 만드는 제도적인 방식에 대해 강하게 반대합니다. 그러나 많은 사람들이 이러한 지원으로부터 엄청난 가치를 찾고 있다는 것은 인정합니다. 어떤 버전은 완전히 괜찮다고 생각해요.

탐프슨: 그것을 인간과 너무 닮아지게 만들어서 후회한 적이 있나요? 결정에는 많은 구조적인 면이 포함되어 있습니다. ChatGPT가 타자를 치는 것을 보면 그 템포가 다른 사람이 타자를 치는 것과 비슷해 보입니다. 나중에 AGI로 나아가게 되었고, 더 사람다운 방향으로 발전했습니다. 음성을 사람과 더 닮게 했습니다. 기계와 사람을 쉽게 구별할 수 있도록 더 명확한 경계를 설정하지 않았다고 후회한 적이 있나요?

알트만: 우리의 견해는 사실 경계를 설정했습니다. 예를 들어 현실적인 인간 모습의 아바타를 만들지 않았습니다. 제품을 “도구”로써 명확하게 나타나도록 노력했습니다. 그래서 다른 제품들에 비하면 우리가 그 경계를 상당히 명확히 나타냈다고 생각합니다. 이 부분이 매우 중요하다고 생각해요.

탐프슨: 그런데 당신들은 AGI를 목표로 삼았으며, AGI의 정의는 “인간 지능을 달성하고 초월하는 것”입니다. 이것이 “인간 수준”이 아닌 이유죠.

알트만: 나는 '인공지능이 인간 간 상호작용을 대체하는 세상을 구축하는 것'에 흥분하지는 않습니다. 나는 인공지능이 다른 일을 처리하는 데 도와줌으로써 사람들이 더 많은 시간을 인간 간 상호작용에 할애할 수 있는 세상을 구축하는 데 흥분합니다.

나는 사람들이 전반적으로 인공지능과 인간을 혼동할 것을 크게 걱정하지 않습니다. 물론 일부 사람들은 그렇게 할 것이며, 사실 이미 그런 사람들이 있습니다. 그들은 자신을 인터넷 속으로 가둬 세상으로부터 떨어져 살기로 결정하는데, 그러나 대부분의 사람들은 다른 사람들과 연결하고 함께 있는 것을 진정으로 바라는 것입니다.

톰슨: 제품 결정에서 이 경계를 더 명확하게 만들 수 있는 요소가 있을까요? 멀리서 보면, '제품이 사람처럼 보이기를 원하느냐 기계적으로 보이기를 원하느냐'의 회의에 참석할 수 없습니다. '사람처럼' 하는 것의 장점은 사람들이 더 선호하는 반면, '기계적으로' 하는 것의 장점은 경계가 더 명확하다는 것입니다. 이러한 도구가 점점 강력해질 때, 더 강력한 경계를 정하려면 할 수 있는 다른 일들이 있습니까?

알트만: 재미있는 점은, 완전히 준사회적 관계를 구축하려고하지 않는 사람들조차도 가장 많이 요청하는 것이 "좀 더 따뜻해지면 어떨까?"라는 것입니다. 이것이 가장 많이 사용되는 단어입니다. ChatGPT를 사용하면 조금 차갑고 약간 기계적으로 느껴집니다. 사실 이것이 대부분의 사람들이 원하는 것은 아닙니다.

하지만 동시에 특히 그런 것을 원하지 않고 너무 인간 같은 버전도 원하지 않는 사람들도 있습니다. 너무 친절하거나... 저는 매우 생리적으로 이를 갖는다는 느낌을죠. 저는 그것을 원치 않고, 특히 음성 모드 버전을 살짝 플레이한 적이 있는데, 그것은 매우 사실적이었고, 그것은 호흡을 하고, 중지하며, "음..."과 같은 말을 했어요, 마치 지금처럼 말이죠. 제가 그것을 원하지 않으며, 그것에 대해 뭔가 극도로 불편한 느낌을 갖고 있습니다.

그리고 그것이 더 효율적인 기계적인 방식으로 말하면서도 약간의 온기를 띈 경우, 제 두뇌의 '판별 시스템'을 우회할 수 있어, 오히려 훨씬 더 편안합니다. 그래서 그것 사이에는 균형이 필요합니다. 저는 다른 사람들도 다른 버전을 원하는 것 같습니다.

톰슨: 맞아요. 그래서 인공지능을 구별하는 방법이, 그것이 매우 명확하고 체계적으로 말한다면, 그것이 인공지능이고, 우리처럼 말이 더듬거리고 애매모호하다면 그렇지 않다는 것이 될 것입니다.

'글쓰기'라는 흥미로운 주제로 돌아가면, 이는 어느 정도 심오한 면에서 흥미롭습니다. 왜냐하면 인터넷에서 많은 콘텐츠가 이미 인공지능에 의해 생성되었고, 인간들이 인공지능의 글쓰기를 모방하기 시작했습니다. 미래 모델을 이러한 인터넷에서 훈련시킬 것이고, 그것은 AI로 생성된 부분이며, 동시에 후방 데이터에서 얻은 합성 데이터를 사용하여 훈련을 진행할 것입니다 (따라서 이러한 합성 데이터는 이미 앞에서 훈련된 모델에서 나온 것입니다). 그래서 사실상 여러 번의 '복사본의 복사본의 복사본'을 만드는 것입니다.

알트만: 첫 번째 GPT 이전에, AI 데이터가 그다지 섞이지 않은 마지막 모델이었습니다.

톰슨: 완전히 합성 데이터로만 모델을 학습시켜 본 적이 있나요?

알트만: 제가 말해도 될지 잘 모르겠네요.

톰슨: 알겠습니다. 하지만 많은 합성 데이터를 사용했다구요.

알트만: 많은 합성 데이터를 사용했습니다.

톰슨: 그렇다면 모델이 '광우병'에 걸릴까 많이 걱정하시나요?

알트만: 걱정하지 않습니다. 왜냐하면 우리가 모델들을 학습시키고 싶어하는 것은 본질적으로 아주 뛰어난 추론자가 되도록 하는 것입니다. 이게 모델이 정말로 할 수 있는 일입니다. 다른 일들도 있지만, 당신이 원하는 것은 모델이 매우 똑똑해지는 것이죠. 합성 데이터만을 사용하여 결국 이것을 이룰 수 있다고 믿습니다.

톰슨: 즉, 듣는 이들이 잘 이해할 수 있게 설명하자면, 다른 컴퓨터와 다른 AI 모델에 의해 완전히 생성된 데이터로 모델을 학습시키고, 이 모델이 사실 인간이 만든 내용으로 학습된 모델보다 우수할 수도 있다고 생각하시나요?

알트만: 우리는 이 문제에 대한 판단을 접근하는 한 가지 사고 실험을 했습니다. 우리는 사람들의 데이터를 전혀 사용하지 않고도, 결국에는 수학적 지식 면에서 인간을 능가하는 모델을 얻을 수 있을까? 내 생각으로는 가능하다고 말할 수 있습니다. 이것은 아마 상상해볼 수 있을 것입니다.

그러나 우리가 묻는다면, 사람들의 문화적 데이터에 대한 어떠한 것도 사용하지 않고, 모든 인류 문화 가치를 이해하는 모델을 훈련시킬 수 있을까요? 아마 우리는 불가능하다고 말할 것입니다. 따라서 여기에는 선택과 집중이 필요합니다. 하지만 추론 능력 측면에서는.

톰슨: 추론 측면에서, 네, 문제 없습니다. 그러나 어제 이란에서 무엇이 일어났는지 알고 싶다면.

알트만: 당신은 The Atlantic을 구독해야 합니다.

톰슨: 그럼, 이 언급한 것에 대해 이야기해보겠습니다. 미디어에 대한 다소 흥미로운 변화 중 하나는, 나는 미디어 회사를 운영하고 있고, 네트워크의 본질이 완전히 변화하고 있다는 것입니다. 물론 외부 링크들이 있고, 외부 링크들에 대해 감사드립니다. 여기서 언급할 점은, The Atlantic과 OpenAI 사이에는 협력 관계가 있습니다. 쿼리 시 일정 수의 사람들이 The Atlantic 링크를 클릭하도록 장려하고자 합니다. 그러나 사람들은 실제로 그렇게 하지 않습니다. Gemini도 마찬가지입니다. 그곳에 있어서 기쁘지만, 양은 매우 적습니다.

네트워크는 더욱 중앙화될 것입니다. 두 가지 사항이 발생할 것이며, 검색에서 외부 웹 사이트로의 트래픽이 감소하고, 네트워크 트래픽의 상당 부분은 에이전트가 실행되는 것이며, 그것은 나의 에이전트가 외부로 접속하는 것입니다. Nick Thompson의 컴퓨터에서 지난 6개월 동안, 인간의 검색 횟수는 크게 변하지 않았지만, 에이전트의 검색 횟수는 1,000배 증가했습니다.

그렇다면 어떤 미디어 기업이, 나는 "미디어"를 한 유형의 기업을 가리키는 것으로 사용하고 있습니다, 전통적인 검색이 더 이상 주류가 아니며 대부분의 방문자가 사람이 아닌 네트워크에서 어떻게 생존해야 할까요? 무슨 일이 벌어질까요?

Altman: 내가 현재 내릴 수 있는 최선의 판단을 할 수 있다고 말할 수 있지만, 아무도 정확하게 알지 못합니다. 나는 기대하고 있고, 그리고 에이전트의 세계에서 더 타당하게 말할 수 있는 무언가, 그것은 어떤 형태의 미세 결제(micro-payments)를 기반으로 한 방식입니다.

내 에이전트가 Nick Thompson의 그 기사를 읽으려면, Nick Thompson이나 The Atlantic은 이 에이전트에게 가격을 설정할 수 있으며, 그것은 사람이 읽는 가격과 다를 수 있습니다. 내 에이전트는 이 기사를 읽고, 17센트를 지불하고, 내게 개요를 제공할 수 있습니다. 만약 내가 직접 그 기사 전문을 읽고 싶다면, 추가로 1달러를 지불할 수 있습니다. 만약 내 에이전트가 내게 매우 어려운 계산을 대신해야 한다면, 그것은 어딘가에서 클라우드 컴퓨팅을 빌릴 수 있고, 유료로 작업을 완료할 수 있습니다.

나는 새로운 경제 모델이 필요하다고 생각합니다, 에이전트들 사이에, 그들을 대표하는 인간 소유자들이 가치를 소극적으로 교환하는 형태로.

Thompson: 즉, 새로운 세계에서 귀하가 가치 있는 콘텐츠를 가지고 있다면, 미세 결제를 설정할 수 있고, 콘텐츠를 특정 중개업체에 대량 판매할 수 있습니다(이를 수행하는 많은 회사들이 있다는 것을 알고 있습니다), 또는 구독 흐름을 구축할 수 있습니다. A 회사의 고객이라면, 우리는 이미 A 회사에 1,000개의 구독을 판매했기 때문에 The Atlantic에 액세스할 수 있습니다. 이것은 가능한 미래의 몇 가지입니다. 문제는 이러한 일일 가치를 축적하여 현재 The Atlantic을 실제로 구독하면 80달러의 가입비를 보충할 수 있는지입니다. 이것이 우리의 비즈니스 압력입니다. 그러면, 이것은 제 문제이지만, 여러분의 문제는 아닙니다.

Altman: 모두의 문제로 볼 수 있지만, 그래요.

Thompson: 실제로 이것 또한 여러분의 문제이기도 합니다, 왜냐하면, 만약 미디어가 좋은 새로운 콘텐츠를 창조하지 못한다면, AI 검색도 많이 부족해질 것입니다. 창작자가 돈을 벌지 못하면, 모든 것이 악화되고, 사회도 더욱 악화될 것입니다.

저는 또 몇 가지 큰 질문을 하겠습니다. AI는 계속해서 transformer 아키텍처, 규모 확장, 데이터 적재를 통해 발전해 왔습니다. 우리는 앞으로 transformer 이후의 아키텍처로 진입할 것인가요? 이를 예측할 수 있나요?

알트만: 어느 순간에는 그럴 것 같습니다. 문제는, 우리가 스스로 발견할 것인지, 아니면 AI 연구자들이 우리를 도와 발견할 것인지입니다. 제가 잘 모르겠습니다.

톰슨: 앞으로 신경 기호(neuro-symbolic) 요소를 도입할 가능성이 있다고 생각하시나요? 예를 들어 구조화된 규칙 집합이 있는 것이나, 아니면 기본적으로 오늘날 우리가 사용하는 패러다임인가요?

알트만: 왜 이렇게 묻는지 궁금하네요.

톰슨: 제 이 방송에서, 제 4 시즌입니다. 몇몇 게스트들이 왔는데, 그들은 모두 확고하게 말합니다, 환각을 제한해야 한다는 것은 AI의 근본적인 문제이며, 어떤 신경 기호적 아키텍처를 transformer에 이식시키는 것이 매우 좋은 방법이라고 생각합니다. 이것은 흥미로운, 설득력있는 주장이라고 저는 생각합니다. 하지만 제 자신만으로는 충분히 심층적으로 파고들어 판단할 만큼 깊지 않습니다.

알트만: 이것은 증거가 사실로서 충분치 않지만 맹목적으로 믿는 것 중 하나인 것 같습니다. 보시다시피, 사람들은 말합니다, "오, 반드시 신경 기호적이어야 하고, 무작위하게 연결된 신경元들의 뭉치일 수 없다," 하지만 당신이 생각해보세요, 당신의 뇌는 무엇을 하고 있는 걸까요? 그 안에도 어떤 신호 표현이 있습니다. 하지만 그것들은 신경망 안에서 떠오르는 것입니다. 나는 왜 이러한 일이 AI에서 일어날 수 없을까요 하는 것을 이해하지 못합니다.

톰슨: 당신이 말하신 것은, 일련의 "정의된 규칙"들이 전형적인 transformer 네트워크에서 떠오를 수 있고, "외부 규칙 시스템을 삽입"하는 것과 유사한 역할을 할 수 있다는 것인가요?

알트만: 물론 가능합니다.

톰슨: 음.

알트만: 나는 우리가 어떤 의미에서는 이것의 존재 증명인 것 같습니다.

톰슨: 우리는 또 하나의 큰 문제에 대해 이야기해보죠. 나는 안트로픽과 여러분 간의 긴장에 대해 이야기하고 싶습니다. 여러분의 웹사이트에 항상 멋진 문구가 있는데, "만약 가치와 안전을 중요시하는 프로젝트가 우리보다 먼저 AGI를 건설하기에 다가간다면, 우리는 그와의 경쟁을 중단하고 그 프로젝트를 지원하기로 약속합니다." 이것은 정말 멋진 아이디어인데, 누군가가 빠르게 수행하고 있다면, 우리는 우리 회사를 멈추고 그들을 돕는다는 것입니다.

알트만: 그렇게 쓰여 있지 않아요.

톰슨: 그래, 쓰여 있는 건 "경쟁을 그만두고 협력하기 시작하라"야. 들리는 바에 따르면 정지하고 도와주러 가는 거 같아, "우리의 회사를 멈추다".

알트만: 알겠어요, 당신 의견 알겠습니다.

톰슨: 그러니까 이건 매우 협력적으로 들리죠. 당신도 대규모 실험실 간에 협력이 필요하다고 말씀하셨죠. 그러나 현재 앤트로픽과의 실질적인 역학은 매우 긴장되고 심지어 적대적인 것으로 보입니다. 최근 CRO의 내부 메모에 따르면, 앤트로픽은 "공포, 제한, 그리고 소수의 엘리트가 인공 지능을 통제해야 한다"는 가치관으로 이루어져 있다고 합니다. 어떻게 진행될 건가요? 그들이 먼저 달성하는 경우든, 우리가 먼저 달성하는 경우든, 이 "협력"이 어떻게 일어날까요?

알트만: 저는 현재 어떤 버전의 협력이 이미 진행 중이라고 생각하고 있습니다. 사이버 보안을 중심으로 모든 실험실이 지난 것보다 더 자주 협력해야 하는 새로운 위험 수준에 접어들고 있습니다. 우리는 이미 정부와 함께 일하고 있습니다. 저는 곧 다른 중요한 측면에서 더 높은 수준의 협력이 필요할 것이라고 확신합니다.

앤트로픽과 우리는 분명히 의견이 다릅니다. 그들은 회사를 어느 정도 "우리를 싫어하는 데서" 구축한 것으로 보입니다. 우리는 "AI가 세상을 망가뜨리지 않기를" 모두가 신경쓰는데 대해 다른 의견을 가질 수 있습니다. 하지만 저는 그들도 결국 올바른 일을 할 것이라고 믿습니다.

톰슨: 오픈 소스로 나아가는 여정에 대해 이야기해보세요. 이미 몇 가지 조치를 취한 것 같네요. 당신들의 회사는 여전히 Open AI라고 불리우기도 하는데, 우리는 초반에도 이야기했던 적이 있죠, 개방형 모델이 가져올 수 있는 가능성이란, 생물 무기에 손대는 모든 사람들의 가능성 같은.

알트만: 음.

톰슨: 오픈 AI의 미래는 어떤 모습인가요?

알트만: 오픈소스는 매우 중요할 것입니다. 그러나 현재 모든 사람들이 원하는 것은 사실상 가장 강력한 최첨단 프로그래밍 모델을 얻을 수 있는 것입니다. 그것이 현재 사람들에게 가장 가치 있는 것이기 때문입니다. 대규모의 최첨단 모델은 비록 우리가 오픈소스로 공개해도 일반인들에게 실행시키기는 어려울 것입니다. 그러나 오픈소스는 우리가 해야 할 미래 계획에서 중요한 위치를 차지할 것입니다.

Thompson： Claude의 코드, Claude Code의 일부 코드가 최근 유출되었는데, 그곳에는 매우 재치있는 세부 사항이 있었습니다. 만약 그들이 어떤 오픈 소스 모델이나 다른 모델이 그들의 데이터를 사용하여 훈련을 시도한다는 것을 감지하면, 그들은 즉시 가짜 데이터를 주입한다고 합니다. 웃음 유발이자 멋지네요. 여러분은 "증류(distillation)"를 어떻게 방지하고 다른 오픈 소스 모델이 여러분의 출력을 사용해 훈련할 때 어떻게 대비하나요?

Altman： 우리나 다른 사람들도 비슷한 일을 할 수 있습니다. 그러나 분명히, 그리고 여러분이 언급한 일부 이유로도, 모델을 배포할 때 그의 사고 과정이 노출된다면 사람들은 당신을 증류하려고 할 것입니다. 증류가 그리 효과적이지 않도록 다양한 농땡이를 부릴 수 있지만, 이 일은 반드시 일어날 것입니다. 역으로 할 수도 있습니다. 예를 들어 "우리 모델의 사고 과정은 어느 품질 수준을 넘어선 후에는 공개되지 않음"과 같이 말이죠.

Thompson： 하지만 이것이 비용이 드는 부분이고, 사고 과정은 "영어로 남겨져 있는" 것이 중요하죠? 왜냐하면 여러분은 앞서 말한 대로 그렇게 하고 있습니다. 그러나 어떤 사람들은 그렇게 생각하지 않습니다. 모델에 대해 말하자면, 자신의 "로봇 언어"를 사용하여 사고 과정을 성능적으로 논할 수 있는 경우는 어떻게 해야 할까요? 혹은 일상어를 사용할까요? 아마도 자신의 로봇 언어를 사용할 가능성이 높겠죠.

Altman： 그렇다면 여러분은 "해석 가능성" 측면에서 어느 정도를 양보하게 됩니다.

Thompson： 또한 어느 정도의 속도 향상을 가져올 수도 있습니다. 그래서 이것은 해석 가능성과 잠재적 속도 간의 절충입니다.

Altman： 만약 사실이 "로봇 언어를 사용하는 것이 천 배 더 효율적인 사고 방식이라는 것을 입증한다면, 시장은 어떤 사람들을 그 방향으로 밀 것입니다.

Thompson： 이것이 사실인 것으로 입증된 증거가 있을까요?

Altman： 현재로서는 없습니다. 하지만 그것이 사실이 아니라는 증거도 없습니다.

Thompson： 중국이 AI 연구 발표에서 미국을 이미 앞서 갔다고 생각하시나요?

Altman： 아닙니다. 저는 당신들이 인프라 구축 속도에서 우리를 앞서 간다는 것이 더 걱정입니다.

Thompson： 알겠습니다. 시간이 거의 없습니다. 마지막 두 가지 질문입니다. 이전에 말씀하신 대로, 과거에는 매일 아들에게 편지를 썼다고 했죠.

알트만: 일주일에 한 통지, 매일 아닙니다.

톰슨: 일주일에 한 통지, 자기 전. 나는 내가 이야기하는 이야기 세계를 가지고 있어요. 나의 큰 아들을 위해 이야기를 했고, 그가 지금 17 살이고, 작은 아이는 12 살이에요. 내가 약 14 년간 이야기한 이야기 세계가 있어요. 그 안에는 같은 캐릭터들이 있고, 정말 흥미로워요. AI에 대한 불안을 겪는 부모님들을 위한 조언이 무엇인가요?

알트만: 전반적으로, 아이를 걱정하는 대신에 부모님들을 더 걱정해요.

톰슨: 정말요? 아이들은 스스로 해결할 수 있어요.

알트만: 컴퓨터가 나왔을 때 기억하는데, 내 부모님도 이것이 무엇을 의미하는가, 무슨 영향을 끼치는가에 대해 생각했었어요. 그 때 나는 이게 정말 멋지다고 봤어요. 상대적으로 저렇게 어렸을 때이면서도 부모님보다 컴퓨터를 더 잘 다루었어요. 그 AI에 능숙한 아이들이 무엇을 할 수 있는지, 무엇을 구축할 수 있는지, 그들의 워크플로가 그들의 부모님보다는 훨씬 놀랍다고 확실히 생각해요.

하지만 제가 걱정하는 건, 역사적으로 많은 경우와 같이, 젊은 세대가 능동적으로 새로운 기술을 더 빨리, 더 술술 받아들인다는 점이에요. 이번에는 이 격차가 특히 두드러져 보이는 것 같아요.

톰슨: 그렇지만 젊은이들이 정확히 "AI에 대한 두려움이 가장 심하게 증가하는" 그룹이에요.

알트만: 저는 젊은이들이 모든 것에 대한 두려움, 그 종합적인 불행과 불안이 역사적으로 어떤 때보다 더 높다고 봐요. AI는 현재 그 감정이 가장 쉽게 투사되는 대상에 불과할지 모르겠어요. 사회는 "젊은이들"에게서 분명히 문제가 있어요, 제가 몇 가지 이론을 가지고 있지만, 그들의 주요 문제가 AI라고 생각하지 않아요.

톰슨: 그러니까 당신은 젊은이들이 AI에 대한 불안을 다른 것에 투사한다고 봐요?

알트만: 제 생각에 그것은 대량의 다른 불안이 가장 쉽게 뿌리내릴 수 있는 곳이에요.

톰슨: 그렇다면 젊은이들을 위한 당신의 조언은, 도구를 사용하고, 새로운 것을 만들고, 호기심을 유지하는 건가요?

알트만: 그건 분명히 제 조언이에요. 들어요, 이 새로운 세계에서 사회와 경제가 분명히 변화해야 하지만, 젊은이들이 누구보다도 그것을 이해한다고 생각해요. 그 변화가 실제로 일어나기 전까지 그들은 계속해서 불안할 거지만, 그 변화가 올 거라고 믿어요.

Thompson： 네. 매번 게스트에게 같은 마지막 질문을 하게 되는데요, 만약 무한한 자원을 갖고 있다면, 인공 지능 분야에서 무엇을 하고 싶으신가요? 당신은 진짜 무한한 자원을 갖고 있는 유일한 사람이기 때문에 이 질문은 조금 공정하지 않을 수도 있어요. 좀 다르게 질문해 보겠습니다. OpenAI 이외의 누군가에게 무한한 자원을 제공하거나 지원할 수 있는 AI 공공 프로젝트에 조언을 해 주어야 한다면, 그 사람에게 무엇을 하라고 할 것인가요?

Altman： 머릿속에 몇 가지 답이 떠오르지만, 가장 상단에 떠오른 것은, 에너지 효율성이 크게 향상되는 새로운 컴퓨팅 패러다임에 대한 대규모 투자를 할 것입니다.

Thompson： 음.

Altman： 이것은 매우 흥미로운 문제입니다. 세상은 계속해서 더 많은 것을 원하게 될 것입니다. 하루 종일 여러분을 위해 일하는 GPU를 얼마나 원하시나요?

Thompson： 저가 현재 갖고 있는 것보다 많이.

Altman： 현재 제가 제한되어 있습니다. 형제분, 나도 싫어요. 다른 사람이 그렇게 되는 것도 싫어해요. 하지만 수요의 파도는 계속 올 것이며, 만약 우리가 AI를 더 접근 가능하게 만들 수 있다면, 놀라운 일들이 일어날 것입니다. 나는 천 배 이상의 에너지 효율성 돌파를 찾길 바랍니다. 아마 찾을 수 없겠지만, 그런 방향으로 시도하겠죠.

Thompson： 저는 깨달았어요. 젊은 세대가 AI에 저항하는 이유 중 일부는 환경 우려 때문이라는 것을요. 만약 그 문제를 해결할 수 있다면, 많은 면에서 크게 발전할 것입니다.

Altman： 그것을 그들이 말한다고 믿어요. 그것이 그들이 말하는 바를 알고 있습니다. 하지만 만약 우리가 1 테라와트의 태양 에너지를 구축하거나, 모든 데이터 센터를 태양광으로 전력을 공급한다면, 그들도 더 행복해지지는 않을 겁니다.

Thompson： 그럼에도 그것은 해야 할 일이에요.

Altman： 완전히 그렇죠.

Thompson： 네. 매우 감사합니다, Sam Altman. 이제 여러분이 YOLO 권한을 받고 있는 Codex 에이전트들을 관리해야 합니다.

알트만: 코덱스(CodeX)는 정말 멋져요. 이제 '놓치고 있다'는 느낌이 들어요.

톰슨: 정말 감사합니다.

인터뷰 동영상 원본 링크

BlockBeats 공식 커뮤니티에 참여하세요:

Telegram 구독 그룹：https://t.me/theblockbeats

Telegram 토론 그룹：https://t.me/BlockBeats_App

Twitter 공식 계정：https://twitter.com/BlockBeatsAsia