简体中文

繁體中文

English

Tiếng Việt

한국어

日本語

ภาษาไทย

Türkçe

Partnered With:

DeepMind 창립자 인터뷰: AGI 아키텍처, 에이전트 현황 및 다음 십 년의 과학적 돌파구

이 글을 읽으려면 59 분

「지속적인 학습, 장기 추론, 그리고 일부 기억 측면 문제는 아직 해결되지 않았으며, AGI는 이러한 모든 것을 해결해야 합니다.」

원본 비디오 제목: Demis Hassabis: 에이전트, AGI 및 다음 대형 과학적 발전

원본 비디오 출처: Y Combinator
원문 번역: 심해 기술 테크플로우

편집자 소개

Google DeepMind CEO이자 노벨 화학상 수상자 인 Demis Hassabis가 Y Combinator에 방문하여 AGI로 향하는 핵심 발전 및 선도 유지에 대한 창업가들에 대한 조언, 그리고 다음 대형 과학적 투명성이 어디에서 나타날 수 있는지에 대해 이야기했습니다.

딥마인드(DeepMind)에서 분리된 인공 지능 제약 회사인 Isomorphic Labs가 곧 중요한 소식을 공개할 것이라고 그는 밝혔습니다.

중요 발언

AGI 도로맵과 타임라인

· "현재의 이러한 기술 구성 요소는 거의 확실히 AGI 최종 아키텍처의 일부가 될 것입니다."

· "지속적인 학습, 장거리 추론, 일부 기억 측면에 대한 문제는 아직 해결되지 않았으며, AGI는 모두 처리해야 합니다."

· "당신의 AGI 타임라인이 내 것과 같이 2030년경이라면, 그리고 오늘 당신이 딥테크 프로젝트를 시작했다면, 당신은 AGI가 도중에 나타날 것이라는 사실을 고려해야 합니다."

기억과 문맥 창

· "컨텍스트 창은 대략 작업 기억에 해당됩니다. 인간의 작업 기억은 평균적으로 일곱 개의 숫자에 불과하며, 우리는 수백만 또는 수천만의 토큰이 있는 컨텍스트 창을 갖고 있습니다. 그러나 문제는 우리가 모든 것을 그 안에 집어넣고, 중요하지 않거나 잘못된 정보를 포함시키는 점으로, 현재 이 접근 방식은 상당히 거칠다."

· "실시간 비디오 스트리밍을 처리하고 모든 토큰을 저장해야 한다면, 백만 개의 토큰은 약 20분 정도밖에 충분하지 않습니다."

추론의 결함

· "나는 Gemini로 체스를 하는 것을 좋아합니다. 때때로 그것은 이 수가 잘못된 수라는 것을 깨닫지만, 더 나은 수를 찾지 못하고 결국 그 잘못된 수를 두곤 했습니다. 그러나 정확한 추론 시스템은 이러한 상황을 겪어서는 안 됩니다."

· "한편으로는 IMO 골드 수준 문제를 해결할 수 있지만, 다른 방식으로 질문을 바꾸면 초등학교 수학 실수를 범하는 것 같습니다. 자체 사고 과정을 내성화하는 데 뭔가 부족한 것 같습니다."

에이전트와 창의력

· "AGI를 달성하려면 문제를 해결할 수 있는 시스템이 자동으로 있어야합니다. 에이전트가 그 길이며, 우리는 막 시작한 것 같습니다."

· "아직까지 누군가가 바이브 코딩(vibe coding)을 사용하여 앱 스토어 랭킹 3A 게임을 만든 것을 보지 못했습니다. 현재 투입된 노력으로는 가능해야하지만 아직 발생하지 않았습니다. 도구나 프로세스 측면에서 뭔가 부족한 것 같습니다."

증류와 소형 모델

· "우리의 가정은, 선두 프로 모델이 출시된 후 6개월에서 1년 후에, 그 능력이 매우 작고 엣지 기기에서 실행할 수 있는 모델로 압축될 수 있다는 것입니다. 현재는 이론적 정보 밀도 한계에 도달하지 않았습니다."

과학적 발견과 '아인슈타인 테스트'

· "가끔 '아인슈타인 테스트'라고 부르는데, 즉 1901년의 지식으로 시스템을 훈련시킬 수 있는지, 그런 다음 그것이 독립적으로 이를 도출할 수 있는지, 포함하여 1905년에 아인슈타인이 한 일련의 업적, 특히 좁은 상대성이론을 말합니다. 한번 가능하면 이러한 시스템들은 실제로 새로운 것을 만들기까지 멀지 않을 것입니다."

· "천년 가지고 문제를 해결하는 것은 대단한 일이지만, 이보다 더 어려운 것은, 새로운 천년 가지고 문제 세트를 제시할 수 있는지, 그리고 그것이 최고 수학자들이 깊이 연구할 가치가 있다고 생각하는 문제 세트를 제시할 수 있는지입니다."

딥테크 창업 권고

· "어려운 문제와 쉬운 문제를 추구하는 것은 사실 거의 같습니다. 삶은 짧으니까, 아무도 하지 않으면 정말 아무도 하지 않을 일에 에너지를 쏟는 것이 좋습니다."

AGI 실현 경로

Gary Tan: 당신이 AGI에 대해 고민한 시간은 거의 모든 사람보다 더 깁니다. 현재 패러다임을 보면, 당신은 우리가 이미 얼마나 많은 AGI 최종 아키텍처를 보유하고 있는지 생각하십니까? 지금 본질적으로 누락된 것은 무엇인가요?

Demis Hassabis: 대규모 사전 학습, RLHF, 인지 체인 등, 나는 그것들이 AGI 최종 아키텍처의 일부가 될 것이라고 확신합니다. 이러한 기술은 오늘날까지 너무 많은 것을 증명해 왔습니다. 나는 2년 후에 이것이 막다른 길이라고 발견할 수 있다는 것을 상상하기 힘듭니다. 하지만 이미 있는 것 위에, 아마도 하나 또는 두 가지가 더 필요할지도 모릅니다. 지속적인 학습(continual learning), 장기 추론(long-term reasoning), 일부 기억 측면, 아직 해결되지 않은 문제가 있습니다.

AGI를 완전히 이해해야 합니다. 현재 기술에 몇 가지 점진적 혁신을 더하는 것만으로 그 수준까지 확장할 수 있지만, 아직 극복해야 할 중대한 관건이 하나 또는 두 개 남아 있을 수도 있습니다. 저는 두 개 이상일 것 같지 않다고 보고 있습니다. 개인적으로 그런 미해결 관건이 있는지 여부에 대한 확률은 대략 50:50일 것으로 보입니다. 따라서 Google DeepMind에서는 두 가지 방향 모두를 추진하고 있습니다.

Gary Tan: Agent 시스템과 많이 상호 작용하면서 가장 놀란 것은, 근본적으로는 같은 가중치 집합을 계속 다루고 있다는 것입니다. 그래서 지속적인 학습이라는 개념을 이해하고 있는 것은 특히 흥미롭습니다. 현재 우리가 하는 것은 대략적으로 급속한 아이디어로 치트키를 사용하는 것과 같은데, 예컨대 '수면 몽상 주기'와 같은 것들이죠.

Demis Hassabis: 맞아, 그 몽상 주기들 정말 멋져요. 과거에 우리는 상황 기억 통합에 대해 이 문제를 고민했었습니다. 제 박사 연구는 해마(Hippocampus)가 어떻게 새로운 지식을 기존 지식 구조에 우아하게 통합하는지에 대해였습니다. 뇌는 이 부분에서 정말 잘하죠.

이 과정은 수면 중에 이루어지며, 특히 REM 수면 중에 중요한 경험들을 다시 재현함으로써 학습합니다. 우리의 초기 Atari 프로그램 DQN(2013년 Google DeepMind이 Atari 게임에서 인간 수준에 도달한 첫 번째 깊은 강화 학습 알고리즘)이 Atari 게임을 마스터할 수 있었던 것 중 하나는 경험 재생(experience replay)이었습니다.

이것은 신경과학에서 배운 것으로, 성공적인 경로를 반복해서 재생합니다. 그것이 2013년의 일이었고, AI 분야에서는 고대 시대로 여겨지지만, 그 당시에는 그것이 매우 중요했습니다.

당신이 말한 것에 동의합니다. 현재로서 우리는 실제로 치트키를 사용하고 있습니다. 모든 것을 맥락 창에 넣는 것입니다. 이상하게 느껴집니다. 우리가 하는 일이 생물학적인 뇌가 아닌 기계인 경우라도, 이론적으로 수백만, 심지어 수천만 단계의 맥락 창이 가능하고 기억은 완벽할 수 있지만, 검색 및 추출 비용은 여전히 존재합니다. 현재의 의사 결정 순간에 진정으로 관련 있는 정보를 찾는 것은 간단하지 않으며, 모든 것을 기록할 수 있다 해도 실제로 관련된 정보를 찾는 것은 어렵습니다. 따라서 저는 기억 분야에는 아직 큰 혁신의 공간이 있다고 생각합니다.

Gary Tan: 솔직히 말해서, 백만 토큰의 맥락 창이 제 예상보다 훨씬 크며, 많은 일을 할 수 있습니다.

Demis Hassabis: 대부분의 시나리오에 대해서는 충분히 큽니다. 그러나 상상해보십시오, 맥락 창은 대략적으로 작업 기억에 해당합니다. 인간의 작업 기억은 평균적으로 7개 숫자에 불과합니다. 우리는 수백만 또는 수천만 단계의 맥락 창을 가지고 있습니다. 문제는 우리가 중요하지 않거나 잘못된 정보도 모두 집어넣고 있다는 것이며, 현재 이 방법은 다소 조잡합니다. 그리고 현재 시스템이 실시간 비디오 스트림을 다룰 경우, 모든 토큰을 다 기록하려고 하면 100만 토큰은 사실상 20분 정도밖에 되지 않습니다. 하지만 한 두 달 동안의 생활 상황을 시스템이 이해하길 원한다면, 그건 아직 충분하지 않을 겁니다.

Gary Tan：DeepMind은 항상 강화 학습과 탐색에 깊게 집중해 왔습니다. 현재 Gemini를 구축하는 과정에서 이 철학이 얼마나 깊게 내재화되었나요? 강화 학습은 아직도 과소평가되고 있나요?

Demis Hassabis：아마도 실제로 과소평가되었을 수도 있습니다. 이 영역에 대한 관심은 달랐습니다. DeepMind가 설립된 첫 날부터 우리는 에이전트 시스템을 개발해 왔습니다. 모든 Atari 및 AlphaGo 작업은 본질적으로 강화 학습 에이전트에 속합니다. 목표를 자율적으로 달성하고 결정을 내리며 계획을 세울 수 있는 시스템입니다. 물론 그 당시에는 게임 분야를 선택했기 때문에 게임의 복잡성을 제어할 수 있었고, 후에 AlphaGo 이후에 AlphaStar와 같이 더 복잡한 게임을 점차 다뤘습니다. 사실 우리는 할 수 있는 모든 게임을 다 했습니다.

다음 문제는 이러한 모델을 세계 모델이나 언어 모델로 일반화할 수 있는지 여부이며, 게임 모델 뿐만 아니라 일반 모델로 확장할 수 있을까하는 문제였습니다. 지난 몇 년 동안 우리는 이 작업을 진행해 왔습니다. 오늘날 선도 모델의 모든 사고 모델 및 사고 체인 추론은 본질적으로 AlphaGo가 개척했던 것의 재현입니다.

우리가 옛날에 한 많은 작업들이 오늘날 매우 관련성이 있다고 생각합니다. 우리는 이전에 고안한 아이디어들을 더 큰 규모로, 더 일반적인 방식으로 다시 살펴보고 있습니다. 몬테카를로 트리 탐색(Monte Carlo tree search)을 포함한 각종 강화 학습 방법을 사용합니다. AlphaGo 및 AlphaZero의 아이디어는 오늘날의 기본 모델과 극도로 관련이 있으며, 나는 앞으로 몇 년 동안의 발전 대부분이 여기서 비롯될 것으로 판단합니다.

모델 압축과 적은 모델

Gary Tan：지금은 더 똑똑해지려면 더 큰 모델이 필요하지만, 동시에 압축 기술도 발전하고 있어 작은 모델도 상당히 빠를 수 있습니다. 당신의 Flash 모델은 매우 강력하며, 기본적으로 최첨단 모델의 95% 성능에 도달할 수 있지만 가격은 10분의 1입니다. 맞나요?

Demis Hassabis：제 생각에 이것이 저희의 핵심 우위 중 하나입니다. 최첨단 능력을 얻으려면 먼저 최대 모델을 구축해야 합니다. 우리의 가장 큰 장점 중 하나는 이러한 능력을 빠르게 증류하고 점차 더 작고 작은 모델에 압축할 수 있다는 점입니다. 이 증류 방법론은 우리가 개발한 것이며, 여전히 세계 최고 수준에 있습니다. 또한 우리는 이것을 수행하기 위한 강력한 비즈니스 동기가 있습니다. 우리는 아마도 세계에서 가장 큰 AI 응용 프로그램 플랫폼 중 하나입니다.

AI Overviews와 AI Mode, 그리고 Gemini를 보유하고 있으며, Google의 모든 제품인 지도, YouTube 등은 모두 Gemini 또는 관련 기술을 통합하고 있습니다. 이는 수십억 명의 사용자 및 수십 억 명 이상의 제품에 영향을 미치며, 이들은 매우 빠르고 효율적이며 저렴하며 지연 시간이 극히 낮아야 합니다. 이는 우리에게 Flash 및 Flash-Lite와 같은 더 작고 효율적인 모델을 극한으로 가는 큰 동력을 제공하며, 나는 이것이 최종적으로 사용자의 모든 작업을 잘 수행할 수 있기를 바랍니다.

Gary Tan: 나는 이러한 소형 모델이 얼마나 똑똑해질 수 있는지 궁금합니다. 교사 신호 전달에는 한계가 있을까요? 50B 또는 400B 모델은 오늘의 가장 큰 최첨단 모델만큼 똑똑해질 수 있을까요?

Demis Hassabis: 저는 정보 이론적 한계에 다다렸다고 생각하진 않아요, 적어도 현재는 아무도 그 한계를 안 친다는 걸 아는 사람은 없어요. 어쩌면 언젠가 정보 밀도의 천장에 부딪힐지 모르지만, 우리의 가정은, 선두 Pro 모델이 출시된 후 6개월에서 1년 안에 그 능력을 매우 작고 거의 엣지 장치에서 실행할 수 있는 모델로 압축할 수 있다는 거에요.

이것을 Gemma 모델에서도 볼 수 있어요, 우리의 Gemma 4 모델은 동일한 용량에서 매우 강력한 성능을 보여줘요. 이 모두 대규모 교사 신호 및 소형 모델 효율화 기술을 사용했기 때문이에요. 그래서 저는 실제로 어떠한 이론적 한계도 보지 못했고, 그 한계에는 아직 멀은 것 같아요.

Gary Tan: 현재 매우 터무니없는 현상이 있습니다. 즉, 엔지니어가 할 수 있는 일의 양은 대략 6개월 전 Google 엔지니어의 500배에서 1000배입니다. 이 방에서 어떤 사람들은 2000년대 구글 엔지니어의 1000배를 하는 작업을 하고 있을 겁니다. Steve Yegge가 그에 대해 언급했습니다.

Demis Hassabis: 제가 정말 흥분합니다. 소형 모델에는 많은 장점이 있어요. 하나는 저렴하고 빠르다는 것인데, 이 또한 이득을 가져올 겁니다. 코드 작성이나 다른 작업에서 빠르게 반복할 수 있으며, 특히 시스템과 협업할 때 그렇죠. 빠른 시스템은 최첨단이 아니더라도, 90%에서 95% 수준의 선두라면 충분하고, 그 10%에서 얻는 반복 속도는 그 수준을 크게 상회할 거에요.

또 다른 큰 방향은 이러한 모델을 엣지 장치에서 실행하는 것인데, 이는 효율성 뿐만 아니라 프라이버시와 보안을 위한 것이기도 합니다. 매우 개인 정보를 처리하는 다양한 장치들이 있고, 로봇들도 그렇죠. 가정용 로봇을 상상해보세요, 로컬에서 실행할 때 효율적이고 강력한 모델을 원할 겁니다. 클라우드 기반 대규모 모델에 특정 시나리오에서의 작업을 위임하는 경우가 거의 없다면서요. 개인 데이터를 로컬에서 처리하고, 지역에 데이터를 남겨두는 것은 매우 좋은 최종 상태가 될 것이라고 생각해요.

기억과 추론

Gary Tan: 컨텍스트와 기억으로 돌아가보죠. 현재 모델은 상태가 없습니다. 지속적인 학습 능력이 있다면, 개발자의 경험은 어떨까요? 어떻게 이러한 모델을 가이드하나요?

데미스 하사비스：이 문제는 매우 흥미로운 문제입니다. 지속적인 학습 부족이 현재 에이전트가 전체적인 임무를 수행하는 데 실패하는 핵심 병목 현상 중 하나입니다. 현재의 에이전트는 임무의 지역적 활동에 대해 유용하지만 이러한 지역적 활동을 함께 조합하여 특정 환경 내에서 잘 적응할 수 없습니다. 이것이 그들이 아직 «발사 후 할 일 뚜렷»하지 못하는 이유이며, 그들은 당신의 특정 상황을 학습할 수 있어야 합니다. 완전히 범용적인 지능을 달성하려면 이 문제를 해결해야 합니다.

게리 탄：추론 측면에서 어디까지 왔나요? 현재 모델의 사고 체인은 매우 강력하지만 어떤 영리한 학부생조차 저지르지 않을 실수에 여전히 실패합니다. 구체적으로 무엇을 개선해야 하나요? 추론 측면에서 어떤 발전이 예상되나요?

데미스 하사비스：사고 패러다임에서는 여전히 많은 혁신 공간이 있습니다. 우리가 하는 일은 여전히 상당히 거칠고 상당히 폭력적입니다. 많은 개선 방향이 있을 수 있습니다. 예를 들어 사고 체인의 과정을 모니터링하고 사고 중에 개입하는 것과 같은 방식입니다. 종종 우리의 시스템이나 경쟁 상대의 시스템이 어느 정도 지나치게 과고하다고 생각됩니다.

가끔저는 젤리니 바둑을 관찰하는 것을 좋아합니다. 모든 선도적인 기본 모델은 사실 바둑에서 꽤 별로입니다. 이것이 매우 흥미로운 점입니다.

그들의 사고 트랙을 보는 것은 매우 가치 있는 경험입니다. 왜냐하면 바둑은 충분히 이해된 분야이기 때문에 빠르게 그것이 어디로 향하는지, 추론이 효과적인지를 판단할 수 있습니다. 우리가 본 상황은 때로 한 수를 고려하고, 그것이 악수였다는 것을 깨달았지만 더 나은 수를 찾지 못해 계속해서 그 못된 수를 두었다는 것입니다. 정확한 추론 시스템은 이러한 상황을 겪지 않아야 합니다.

이러한 큰 격차는 여전히 존재하지만 그것을 수정하는 데는 아마도 한두 가지 조정만 필요할 수 있습니다. 그것이 왜 여러분이 수많은 사람이 경험한 바로 그 추리지능(jagged intelligence)을 볼 수 있는 이유입니다 - 한 쪽에서는 IMO 금메달급 문제를 해결할 수 있지만, 질문을 살짝 바꾸면 초등학생의 수학 문제를 잘못 푸는 것입니다. 자신의 사고 과정에 대한 내성에는 아직 무언가 부족한 것 같습니다.

에이전트의 실제 능력

게리 탄：에이전트는 거창한 주제입니다. 어떤 사람들은 이것이 업풍이라고 말합니다. 제 개인적인 견해로는 아직 막 시작한 것 같습니다. DeepMind 내부 연구에서 에이전트 능력에 대한 실제 평가는 무엇이며, 외부 홍보와의 차이는 얼마나 큽니까?

데미스 하사비스：당신이 말씀하신 것에 동의합니다. 우리는 아직 막 시작했습니다. AGI에 도달하려면 문제를 해결해주는 능동적인 시스템이 있어야 합니다. 이것은 우리에겐 항상 분명했습니다. 에이전트가 그 길이고, 저는 우리가 아직 막 시작했다고 생각합니다.

모든 사람들이 에이전트를 더 잘 활용하는 방법을 모색하고 있습니다. 우리는 개인 실험을 통해 많은 발견을 했고, 여러분 중 많은 분들도 그럴 것으로 생각됩니다. 에이전트를 업무 흐름에 통합시키는 방법, 그것이 그저 수습하는 게 아니라 본질적인 일을 하는 것이어야 합니다. 현재 우리는 아직 실험 단계에 있습니다. 아마도 최근 2~3개월 사이에서야 특히 가치 있는 시나리오를 찾은 것 같습니다. 기술이 거의 그 정도에 이르렀고, 이제 더 이상 장난감 시연이 아니라 여러분의 시간과 효율성에 실질적인 가치를 제공하고 있습니다.

자주 보게 되는 것은 몇십 개의 에이전트를 활성화하여 몇십 시간을 실행시키는 것인데, 그 투입 대비 성과가 여전히 확실하지 않습니다.

아직까지는 누군가 vibe 코딩을 사용하여 앱 스토어 랭킹 3위의 AAA 게임을 만든 것을 보지 못했습니다. 저도 직접 해보았고, 여러분 중 많은 분들도 꽤 괜찮은 소규모 데모를 만들어 보셨을 것입니다. 저는 이제 반 시간만에 '테마 파크'의 프로토 타입을 만들 수 있습니다. 저의 17세 때 6개월이 걸렸던 일인데요.

하루종일 그것을 하면 정말 놀라운 것을 만들어낼 수 있다는 느낌이 듭니다. 그러나 그것은 여전히 기술과 인간의 정신, 취향이 필요하며, 여러분이 구축한 제품에 그런 것들을 반드시 반영해야 합니다. 사실 현재 아이가 1000만 개 이상 판매한 히트 게임을 만든 적이 없습니다. 현재의 도구 투자로는 가능해야 할 일인데 말이죠. 그러니 무엇이 부족한 걸까요, 프로세스나 도구 관련 문제일 수도 있고요. 저는 앞으로 6개월에서 1년 이내에 그런 결과를 볼 것으로 예상합니다.

Gary Tan: 그것이 얼마나 자동화될 것인가요? 제 생각에는 처음에는 완전히 자동화되지는 않을 것입니다. 더 가능성이 있는 길은 우리 모두가 먼저 1000배의 효율성을 달성한 뒤, 누군가가 그 도구를 사용하여 베스트셀러 앱이나 게임을 만들고, 그 다음에야 보다 많은 부분이 자동화될 것입니다.

Demis Hassabis: 네, 그것이 먼저 보여야 할 부분입니다.

Gary Tan: 또 다른 이유 중 일부는 사람들 중 일부가 실제로 그렇게 하고 있지만, 그들은 에이전트가 얼마나 도움이 되었는지 공개적으로 말하고 싶어하지 않는다는 것입니다.

Demis Hassabis: 아마 그렇겠군요. 그러나 창의성에 관해 이야기해보고 싶습니다. 저는 종종 알파고의 예를 듭니다. 모두가 2국 37수를 알고 있는 사례 말이죠. 제게 있어서는 그런 순간이 나타날 때까지 기다렸다가, 그때 그순간이 찾아오면 알파폴드와 같은 과학 프로젝트를 시작했습니다. 우리는 처음 대회에서 돌아온 다음날부터 알파폴드를 만들기 시작했는데, 그때가 10년 전이었습니다. 저는 이번 한국 방문이 알파고 10주년을 축하하는 시간입니다.

그러나 Move 37만으로는 충분하지 않습니다. 그것은 멋지고 유용합니다. 그러나 이 시스템이 바둑 자체를 발명할 수 있을까요? 예를 들어 "규칙을 5분 만에 배울 수 있지만 평생을 들여다봐도 완전히 숙달하기 어려운, 미학적으로 매우 우아하며 한 오후에 한 판을 끝낼 수 있는 게임"과 같은 고수준 설명을 제공하면 시스템이 바둑이라는 결과를 반환할까요. 오늘날의 시스템은 이를 이룰 수 없습니다. 그 이유는 무엇일까요?

Gary Tan: 여기 계신 분들 중 누군가는 그것을 할 수 있을 것입니다.

Demis Hassabis: 누군가가 그것을 이룬다면, 그 해답은 시스템이 무언가를 놓친 것이 아니라, 우리가 시스템을 활용하는 방식에 문제가 있다는 것일 것입니다. 아마도 이것이 정답일지도 모릅니다. 아마 오늘날의 시스템은 이미 이 능력을 갖추었지만, 그것을 주도할 충분히 대단한 창조자가 필요하며, 해당 프로젝트에 영혼을 부여할 수 있는 사람이어야 하며, 동시에 그 사람은 도구와 긴밀하게 통합되어 있어야 합니다. 만약 당신이 이 도구에 밤낮으로 녹아들고 깊은 창의력을 갖추고 있다면, 상상을 초월하는 것을 이룰 수도 있습니다.

오픈 소스 및 멀티모달 모델

Gary Tan: 이야기를 오픈 소스로 바꿔봅시다. 최근 Gemma의 출시로 강력한 모델이 로컬에서 실행될 수 있게 되었습니다. 어떻게 생각하시나요? AI가 사용자가 직접 소유하는 것이 되어, 주로 클라우드에 남겨지지 않을까요? 이것이 제품을 구축하는 데 어떻게 변화할까요?

Demis Hassabis: 우리는 오픈 소스와 오픈 사이언스를 단호히 지지합니다. 예를 들어 AlphaFold는 전부 무료로 공개되었습니다. 저희의 과학 작업은 아직도 최고의 저널에 실려 있습니다. Gemma 에 대해선, 우리는 동등한 크기의 선도 모델을 만들기 원합니다. 현재 Gemma의 다운로드 수는 약 4000만 회에 이르며, 출시된 지 2주 반이 채 되지 않았습니다.

우리는 오픈 소스 분야에서 서양의 기술 스택이 중요하다고 생각합니다. 중국의 오픈 소스 모델은 매우 우수하며 현재 오픈 소스 분야에서 선두에 있지만, 우리는 Gemma가 동일한 크기에서 매우 경쟁력이 있다고 믿습니다.

저희에게는 리소스 문제도 있습니다. 누구도 두 개의 전면적인 정규 모델을 만들기에 충분한 컴퓨팅 리소스를 가지고 있지 않습니다. 그래서 저희의 현재 결정은: Android, 안경, 로봇 등에 사용되는 엣지 모델은 오픈 모델로 만드는 것이 가장 좋습니다. 디바이스로 배포되면 자체적으로 노출되기 때문에 직접 완전히 오픈하는 것이 더 나을 것입니다. 우리는 나노 수준에서 오픈 전략을 통합하고, 전략적으로도 타당한 결정이라고 생각합니다.

Gary Tan: 무대에 오르기 전에 제가 만든 AI 운영 체제를 보여드렸는데, 직접 Gemini와 음성 대화를 할 수 있습니다. 보여주는 것에 긴장을 많이 했는데, 놀랍게도 진행되었습니다. Gemini는 처음부터 다중 모달로 구축되었습니다. 많은 모델을 사용해봤지만, 직접 음성으로 모델과 상호작용하고 도구를 호출하는 기능의 깊이와 문맥 이해는 현재 Gemini와 비교할 수 있는 모델이 없습니다.

Demis Hassabis：네. Gemini 시리즈의 한 미처 충분히 인식되지 않은 이점은 우리가 처음부터 멀티모달로 구축했다는 것입니다. 이로 인해 초기에는 텍스트만 다루는 것보다 시작하기가 더 어려웠지만, 우리는 장기적으로 혜택을 받을 것으로 믿고 있으며, 현재는 이미 이득을 보고 있습니다.

예를 들어 월드 모델 측면에서, 우리는 Gemini 위에 Genie(DeepMind가 개발한 생성적 상호작용 환경 모델)를 구축했습니다. 로봇 분야도 마찬가지로 Gemini Robotics는 멀티모달 기본 모델에 구축될 것이며, 우리의 멀티모달 이점은 경쟁 울타리가 될 것입니다. Waymo(알파벳 자율주행 자동차 회사)에서도 Gemini을 점점 더 많이 사용하고 있습니다.

실제 세계로 따라가는 디지털 비서를 상상해보세요. 아마도 당신의 휴대폰이나 안경에 있을 것이며, 그것은 주변의 물리적 세계와 환경을 이해해야 할 것입니다. 우리의 시스템은 이 측면에서 극도로 강력합니다. 우리는 이 방향으로 계속 투자할 것이며, 이러한 문제에서의 우리의 선도적인 이점은 상당합니다.

Gary Tan: 추론 비용이 급속히 하락하고 있습니다. 추론이 거의 무료가 될 때 어떤 일이 가능해질까요? 귀하의 팀의 최적화 방향은 이에 따라 변경되나요?

Demis Hassabis：저는 추론이 실제로 무료가 될지 확신하지 못합니다. 제번스 역설(Jevons' Paradox, 효율성 향상이 총 소비량 증가로 이어지는 현상)이 있습니다. 제 생각에는 결국 모든 사람이 이용 가능한 컴퓨터 자원을 모두 사용하게 될 것입니다.

수백만 개의 에이전트로 구성된 집단이 협력하여 작동하거나, 여러 방향으로 동시에 사고하고 통합하는 소수의 에이전트 그룹이 상상됩니다. 우리는 이러한 방향을 실험 중이며, 이러한 모든 것들이 사용 가능한 추론 자원을 소비할 것입니다.

에너지 측면에서, 제어 가능한 핵융합, 상온 초전도, 최적 전지 등의 문제가 해결된다면, 나는 재료 과학을 통해 우리가 할 수 있다고 생각합니다. 이러한 경우 에너지 비용은 거의 제로에 가까워질 것입니다. 하지만 칩의 물리적 제조 등 여러 단계에는 여전히 병목 현상이 존재하며, 적어도 다음 몇십 년 동안은 그럴 것입니다. 따라서 추론 단은 여전히 할당량 제한이 있으며 효율적으로 사용해야 합니다.

다음 과학적 발견

Gary Tan: 작은 모델들은 점점 더 똑똑해지고 있습니다. 자리에는 많은 생물학 및 생물공학 분야의 창업자들이 계십니다. AlphaFold 3은 이미 단백질을 뛰어넘어 더 다양한 생물 분자로 확장되었습니다. 우리가 전체 세포 시스템을 모델링하기까지 아직 얼마나 멀었나요? 이것은 완전히 다른 난이도 수준의 문제인가요?

Demis Hassabis：이소모픽 랩스의 진행 상황이 매우 좋습니다. AlphaFold는 약물 발견 과정 중 하나에 불과하며, 우리는 인접한 생화학 연구를 하고 있고, 올바른 특성을 갖는 화합물을 설계하는 등 곧 중요한 발표가 있을 것입니다.

우리의 궁극적인 목표는 완전한 가상 세포를 만드는 것입니다. 당신이 간섭을 줄 수 있는 기능적인 전체 세포 시뮬레이터로, 그 출력이 실험 결과에 충분히 가깝고 현실적인 용도가 있는 것입니다. 당신은 많은 탐색 단계를 건너뛸 수 있고, 다른 모델을 훈련하기 위해 대량의 합성 데이터를 생성할 수 있습니다. 그들이 실제 세포의 행동을 예측하도록 합니다.

전체 가상 세포까지의 시간은 약 10년 정도로 추정됩니다. 우리는 DeepMind 과학 부문에서 가상 세포 핵부터 시작하고 있습니다. 핵은 상대적으로 독립적인 시스템이기 때문에 이유가 있습니다. 이러한 유형의 문제에서 핵심은 적절한 복잡성의 슬라이스를 잘라낼 수 있는지 여부이며, 그것이 충분히 자기 포함적이며 입력과 출력을 합리적으로 근사할 수 있어서 이 하위 시스템에 집중할 수 있는지 입니다. 핵은 이 관점에서 적합합니다.

다른 문제는 데이터가 부족하다는 것입니다. 나는 전문적인 전자 현미경 및 다른 이미징 기술을 하는 최고 과학자들과 대화한 적이 있습니다. 세포를 죽이지 않고 활성 세포를 이미징할 수 있다면 혁신적일 것입니다. 왜냐하면 그러면 시각적 문제로 변환할 수 있기 때문에 우리는 어떻게 해결해야 할지 알고 있습니다.

하지만 내가 알기로는 현재 활동적인 동적 세포를 나노미터 수준의 해상도로 이미징하고 파괴하지 않는 기술은 아직 없습니다. 당신은 그 해상도의 정적 이미지를 촬영할 수 있고, 그것은 이미 매우 정교합니다. 이것은 매우 흥분되는 것이지만 그것을 직접 시각 문제로 전환하기에는 부족합니다.

그래서 두 가지 접근 방식이 있습니다. 하나는 하드웨어 기반, 데이터 기반의 방법이고, 또 다른 하나는 이러한 동력학적 시스템을 시뮬레이션하기 위한 더 나은 학습 가능한 시뮬레이터를 구축하는 것입니다.

Gary Tan：당신은 생물학만 보지 않습니다. 재료 과학, 약물 발견, 기후 모델링, 수학, 만약 순서를 매겨야 한다면, 다음 5년 동안 어떤 과학 분야가 가장 철저하게 변형될 것이라고 생각하십니까?

Demis Hassabis：각 분야가 흥미로운 것이며, 이것이 계속해서 내가 가장 큰 열정을 가지고 있는 이유이기도 합니다. 또한 30년 넘게 AI를 연구하게 된 이유기도 합니다. 나는 AI가 과학의 궁극적인 도구가 될 것이라고 항상 생각해왔습니다. 이것은 과학적 이해, 과학적 발견, 의학 및 우리가 우주에 대한 이해에 사용될 것입니다.

우리가 처음에 미션을 설명한 방식은 두 단계였습니다. 첫 번째는 지능적인 문제 해결, 즉 AGI를 구축하는 것이었고; 두 번째는 그것을 사용하여 다른 모든 문제를 해결하는 것이었습니다. 그러나 나중에 우리는 언어를 조정해야 했습니다. 왜냐하면 누군가 "정말로 모든 문제를 해결하시겠다는 건가요"라고 물어올 것이기 때문입니다.

우리는 정말 이것이 의미하는바를 알게 된 것 같아요. 구체적으로 말하자면, 나는 "루트 노드 문제"로 지칭하는 그 분야를 해결하는 것을 말합니다. 이 분야는 극복되면 새로운 발견 분야가 개방된다고 생각합니다. AlphaFold는 우리가 하려는 것의 프로토 타입입니다.

전 세계 3백만 이상의 연구자 중 거의 모든 생물학 연구자가 현재 AlphaFold를 사용하고 있다고 합니다. 몇몇 제약회사 관계자 친구들로부터 들은 바로는 앞으로 발견될 대부분의 약물이 어느 시점에서든지 약물 발견 과정에서 AlphaFold를 사용하게 될 것이라고 합니다. 우리는 이에 대해 자랑스럽게 생각하며, 이것이 우리가 희망하는 AI가 가져다 줄 영향력입니다. 하지만 이것은 시작에 불과하다고 생각합니다.

저는 AI가 도움을 주지 못하는 과학이나 엔지니어링 분야를 떠올릴 수 없습니다. 당신이 언급한 그 분야들은 저는 거의 "AlphaFold 1 순간"에 있는 것으로 보고 있으며, 결과가 이미 희망적이지만 아직 그 분야의 주요 도전을 극복하지는 못한 상태입니다. 앞으로 두 년 동안 이러한 모든 분야에서 우리는 많은 발전을 이야기할 수 있을 것이며, 재료 과학부터 수학까지 다양한 분야에서 진전이 있을 것입니다.

Gary Tan: 말 그대로 프로메테우스의 선물처럼, 인류에게 새로운 능력을 부여하는 것 같아요.

Demis Hassabis: 그렇습니다. 물론 프로메테우스 이야기의 의미와 같이, 우리는 이 능력이 어디에 사용되고 어떻게 사용되는지, 그리고 같은 도구가 오용될 위험에 대해 신중히 대해야 합니다.

성공적 경험

Gary Tan: 여기 계신 많은 분들이 AI를 과학에 적용하려는 회사를 설립하려고 노력하고 있습니다. 여러분이 보기에, 선두를 나아가는 창업 기업과 기본 모델 위에 API 레이어를 덧씌워 "AI for Science"로 자신하는 창업 기업 사이의 차이는 무엇인가요?

Demis Hassabis: 만약 오늘 나가서 Y Combinator의 프로젝트들을 보게 된다면 어떻게 행동할지 고민하게 됩니다. 한 가지는 AI 기술의 미래를 예측해야 한다는 것인데, 이것이 그 자체로 어려운 문제입니다. 하지만 저는 AI의 발전 방향을 다른 깊은 과학 분야와 결합하는 것이 큰 기회를 제공한다고 생각합니다. 이 교차점은 재료, 의학 또는 다른 실제로 어려운 과학 분야, 특히 원자 수준에서의 분야들에서 다가올 미래에는 지름길이 없을 것입니다. 이러한 분야들은 다음 기본 모델 업데이트로 인해 무너뜨리지 않을 것입니다. 하지만 만약 방어적인 방향을 찾고 싶다면, 이것이 제가 추천할 방향입니다.

저는 개인적으로 항상 딥테크를 선호해 왔습니다. 진정으로 오래가고 가치 있는 것은 쉽지 않습니다. 저는 항상 딥테크에 매혹되어 왔습니다. 2010년에 시작했을 때 AI는 이미 딥테크였습니다—투자자들이 "우리는 이미 이것이 통하지 않는다는 것을 알고 있습니다"라고 말했고 학계도 90년대에 이미 시도해 실패한 낡은 분야로 여겼습니다.

하지만 여러분이 자신의 아이디어에 믿음을 갖고 있다면—왜 이번에 다르냐고요, 여러분의 배경에 어떤 독특한 조합이 있는지—이상적인 경우에는 여러분이 기계 학습 및 응용 분야에 모두 전문가이거나 이러한 창업팀을 구성할 수 있는 경우임을 인지해야 합니다—그렇다면 여기에는 엄청난 영향력과 가치를 창출할 수 있는 기회가 있습니다.

Gary Tan: 이 정보는 매우 중요합니다. 한 가지를 성취한 후에는 당연한 것처럼 보이지만, 성취하기 전에는 모든 사람들이 여러분을 반대할 것입니다.

Demis Hassabis: 물론, 그래서 여러분은 본인이 정말 열정적으로 하는 일을 해야 합니다. 제게 있어서 어떤 일이 벌어져도 나는 AI를 할 것입니다. 제가 어릴 적부터 결정한 것이기도 합니다. 이것이 제가 상상할 수 있는 영향력이 가장 클 것이라고 믿은 일입니다. 사실이 그렇음을 증명한 측면도 있지만, 반대로 그렇지 않을 수도 있으며, 아마 우리가 50년이나 앞서있을 수도 있습니다.

그리고 이것은 제가 상상할 수 있는 가장 흥미로운 일 중 하나입니다. 오늘날 우리가 여전히 창고에서 AI를 만들고 있고, 아직 만들어지지 않은 상황이라 하더라도, 저는 계속해서 진행하는 방법을 찾을 것입니다. 아마도 학계로 돌아갈지 모르지만 어떤 방식으로든 나아갈 것입니다.

Gary Tan: AlphaFold는 특정 분야를 추구한 후 올인한 예시입니다. 어떤 과학 분야가 AlphaFold와 같은 돌파구를 만들기 적합한지? 규칙이 있나요, 특정한 목적 함수와 같은?

Demis Hassabis: 저도 이것을 언젠가 적어봐야겠네요. AlphaGo와 AlphaFold를 비롯한 모든 Alpha 프로젝트에서 배운 것은, 현재 기술이 최적인 경우입니다.

첫째로, 문제가 엄청난 조합 탐색 공간을 가지고 있고, 그 크기가 클수록 좋으며, 어떤 무차별 탐색이나 특수한 알고리즘을 통해도 해결할 수 없는 정도여야 합니다. 바둑의 수의 조합 공간과 단백질의 형태 공간은 우주의 원자 수를 훨씬 초월합니다. 둘째로, 목적 함수를 명확하게 정의할 수 있어야 합니다. 예를 들어, 단백질의 자유 에너지 최소화 또는 바둑에서의 승리와 같이 시스템이 경사 상승을 할 수 있습니다. 셋째로, 충분한 데이터가 있거나 시뮬레이터가 대량의 합성 데이터를 생성할 수 있어야 합니다.

만약 이러한 세 가지 조건이 충족된다면, 현재 방법으로도 멀리 나아갈 수 있어서 당신이 필요로 하는 '믿음의 바늘을 찾아내는 것이 가능합니다. 약물 발견도 동일한 논리를 따릅니다: 어떤 화합물이 이 질병을 치료하며 부작용이 없다면 존재할 수 있으며, 물리 법칙이 그 존재를 허용한다면, 유일한 문제는 그것을 효과적이고 실현 가능하게 찾는 것입니다. AlphaFold는 이러한 종류의 시스템이 대규모 탐색 공간에서 이러한 바늘을 찾아낼 수 있는 능력을 처음으로 입증했다고 생각합니다.

Gary Tan：저는 한 단계 높이고 싶습니다. 우리는 이러한 방법으로 인간이 AlphaFold를 만들었다고 이야기하지만, 또 다른 메타수준이 있습니다. 인간은 AI를 사용하여 가설 공간을 탐색했습니다. AI 시스템이 실제 과학적 추론을 수행할 때까지 (데이터 패턴 일치가 아닌) 얼마나 멀리 떨어져 있습니까?

Demis Hassabis：저는 그것이 매우 가깝다고 생각합니다. 우리는 이러한 종합 시스템을 만들고 있습니다. AI 공동 과학자라는 시스템과 AlphaEvolve와 같은 알고리즘도 있습니다. 이러한 것들은 Gemini의 기반보다 더 많은 것들을 할 수 있습니다. 모든 선두 연구소는 이 방향을 탐구하고 있습니다.

그러나 지금까지 저는 개인적으로 이러한 시스템이 한 번의 진정한, 중대한 과학적 발견을 한 적이 없다고 보았습니다. 그러나 그것이 곧 다가올 것이라고 생각합니다. 아마도 우리가 이전에 논의한 창의력과 관련이 있을 것이고, 실제로 알려진 경계를 뛰어넘는 진정한 차원에 도달하면, 그것은 패턴 매칭이 아니라 어떤 패턴도 매칭할 수 없으므로 외삽이 아니라 어떤 유추하는지이고, 나는 이러한 시스템들이 아직 그런 능력을 갖추지 못했거나 우리가 그들을 올바른 방식으로 사용하지 못했다고 생각합니다.

전문 분야의 경우, 종종 제가 말하는 기준은 그것이 전문가들이 인정하는 정말 흥미로운 가설을 제시할 수 있는지이지, 단순히 검증만 하는 것이 아니라는 것입니다. 왜냐하면 가설을 확인하는 것 자체가 가끔 장엄한 일이 될 수 있지만, 다소 몇 년밖에 남지 않은 것일 수 있습니다, 예를 들어 림마 가설을 증명하거나 밀레니엄 상을 해결하는 것. 그러나 더 어렵고 복잡한 것은, 새로운 밀레니엄 상을 제시할 수 있는지, 그리고 최고 수학자들이 그것을 동일하게 깊고 조사할 가치가 있다고 여기게 하는 건 아니지요. 나는 이것이 한 층 어려울 것으로 생각하며, 우리는 아직 그것을 어떻게 달성할지 모르는 상태입니다. 그러나 그것이 마법인 것 같다고 생각하지는 않습니다, 나는 이러한 시스템이 최종적으로 그것을 어떻게 할 수 있는데, 아마도 하나 또는 두 가지 부분만 남아 있다고 믿습니다.

우리가 이러한 시스템을 검증하는 방법은, 종종 "아인슈타인 테스트"라고 부르며, 즉 1901년의 지식을 사용하여 시스템을 훈련시키고, 그 시스템이 독립적으로 1905년 아인슈타인이 한 그 해 논문을 포함하여 이룬 성과들을 유도할 수 있는지 봅니다. 나는 우리가 이 테스트를 실제로 실행하고, 반복해 시스템이 언제 그것을 실행할 수 있는지 확인해야 한다고 생각합니다. 한 번 그렇게 되면, 이러한 시스템은 참으로 새로운 것을 발명에서 거의 멀지 않을 것입니다.

창업 조언

Gary Tan：마지막 질문입니다. 이 자리에는 많은 기술적 전문 지식을 가진 사람들이 있으며, 당신은 세계 최대의 AI 연구 기관 중 하나입니다. AGI 연구의 최전선을 거쳐 오신 분들 중 25세 때 알았으면 하는 것이 무엇인가요?

Demis Hassabis：실제로 우리는 이미 그 일부에 대해 이야기했습니다. 당신은 어려운 문제와 쉬운 문제를 추구하는 것이 사실 그렇게 어렵지 않음을 발견할 것입니다. 단지 그 어려움의 형태가 다를 뿐입니다. 서로 다른 것들은 서로 다른 어려움을 갖습니다. 하지만 삶은 짧고 에너지는 제한되어 있으니, 꼭 누군가가 하지 않으면 안 될 일에 당신의 생명력을 낭비하는 편이 나을 수 있습니다. 이 기준을 사용하세요.

또 다른 점은, 나는 앞으로 몇 년 동안의 크로스-디시플린 조합이 더 일반적일 것으로 생각합니다. 인공지능(AI)는 크로스-디시플린을 더 쉽게 만들 것입니다.

마지막으로는 당신의 AGI(인공 일반 지능) 타임 라인에 달려 있습니다. 내 것은 대략 2030년쯤입니다. 오늘 깊은 기술 프로젝트를 시작한다면, 보통 10년 정도의 여정을 의미합니다. 그러면 중간에 AGI가 나타날 것이라는 사실을 계획에 반영해야 합니다. 이게 무슨 의미일까요? 반드시 나쁜 일은 아닐 수 있지만 고려해야 합니다. 당신의 프로젝트는 AGI를 활용할 수 있나요? AGI 시스템은 당신의 프로젝트와 어떻게 상호 작용하게 될까요?

이전에 언급한 AlphaFold와 일반 AI 시스템 간의 관계로 돌아가자면, 내가 예측할 수 있는 한 가지 시나리오는 Gemini, Claude 또는 유사한 일반 시스템이 AlphaFold 같은 전용 시스템을 도구로 호출하는 것입니다. 우리가 모든 것을 거대한 하나의 시스템에 넣을 것이라고 생각하지 않습니다.