원본 비디오 제목: Vitalik Buterin vs Beff Jezos: AI 가속 논쟁 (E/acc vs D/acc)

원본 비디오 출처: a16z crypto

번역: 심포 TechFlow

요점 요약

우리는 AI의 신속한 발전을 최대한 장려해야 하는가, 아니면 그 발전을 더 조심스럽게 대해야 하는가?

현재 AI 발전을 둘러싼 논쟁은 주로 두 가지 상반된 견해에 집중되어 있습니다:

· e/acc(유효 가속주의, effective accelerationism): 기술 발전을 최대한 빠르게 촉진해야 하며, 이는 인류가 전진하는 유일한 길이라고 말합니다.

· d/acc(방어적/분산화된 가속주의, defensive / decentralized acceleration): 발전을 지지하지만 조심스럽게 진행해야 하며, 그렇지 않으면 기술을 통제할 수 없게 될 수도 있다고 강조합니다.

이번 a16z crypto 쇼에서 이더리움 창시자 Vitalik Buterin과 Extropic 창립자 겸 CEO Guillaume Verdon(필명 'Beff Jezos')는 a16z crypto의 기술 이사인 Eddy Lazzarin과 Eliza Labs 창립자 Shaw Walters와 함께 이 두 견해에 대한 깊은 토론을 벌였습니다. 그들은 AI, 블록체인 기술 및 인류의 미래에 대한 이러한 개념의 잠재적 영향을 탐구했습니다.

프로그램에서는 다음과 같은 중요한 주제를 토론했습니다:

· 우리는 기술 가속의 과정을 통제할 수 있는가?
· AI가 가져다줄 가장 큰 위험은 무엇인가, 대규모 감시에서 권력의 고도 집중까지.
· 오픈 소스 및 분산화 기술이 누가 기술에서 혜택을 받게 할 수 있는가?
· AI의 발전 속도를 늦추는 것은 현실적인가, 또는 지지할 가치가 있는가?
· 점점 강력한 시스템에 의해 주도되는 세계에서 인류는 어떻게 자신의 가치와 위치를 유지할 것인가?
· 인류 사회는 10년 후, 100년 후 또는 1000년 후에 어떻게 될 수 있겠는가?

이번 에피소드의 핵심 질문은: 기술 발전을 가속화할 수 있는가, 아니면 이미 우리의 통제를 벗어난 것인가?

주요 의견 요약

「가속주의」의 본질과 역사관에 대해

· Vitalik Buterin: 「지난 백 년 동안 새로운 일이 벌어졌는데, 그것은 우리가 빠르게 변화하는 세상을 이해해야 한다는 것이었습니다. 때로는 빠르고 파괴적인 변화의 세상입니다. …… 제 2차 세계 대전은 '나는 죽음의 신, 세계의 파괴자가 되었다'는 식의 후회를 일으켜, 사람들로 하여금 과거의 믿음이 파괴될 때 우리가 무엇을 더 믿을 수 있는지를 이해하도록 격려했습니다.」
Guillaume Verdon: 「E/acc는 본질적으로 '메타문화 처방'입니다. 그 자체로 문화가 아니라 무엇을 가속화해야 하는지를 알려줍니다. 가속화의 핵심은 물질의 복잡성이며, 그렇게 함으로써 우리는 주변 환경을 더 잘 예측할 수 있습니다.」

· Guillaume Verdon: 「불안의 대조는 호기심입니다. 알려지지 않는 것을 두려워하기보다는 알려지지 않는 것을 받아들이는 것입니다. …… 우리는 미래를 묘사할 때 긍정적인 태도로 접근해야 합니다, 왜냐하면 우리의 믿음은 현실에 영향을 미칠 것이기 때문입니다.」

엔트로피, 열역학 및 '이기적 비트'에 관한

· Vitalik Buterin: 「엔트로피는 주관적입니다. 이것은 고정된 물리적 통계량이 아니라 시스템의 미지의 양을 반영합니다. …… 엔트로피가 증가할 때, 실제로는 우리의 세계에 대한 무지가 증가하는 것입니다. …… 가치의 기원은 우리 자신의 선택에 있습니다. 생기 넘치는 인류 세계가 단순히 가스 행성의 무수한 입자보다 재미있는 이유는 무엇인가요? 우리가 의미를 부여했기 때문입니다.」

· Vitalik Buterin: 「대형 언어 모델이 있다고 상상해 봅시다. 그리고 거기서 어떤 가중치를 임의로 매우 큰 숫자로 변경한다고 해 봅시다, 예를 들어 90 억입니다. 최악의 결과는 시스템이 완전히 붕괴하는 것입니다. …… 우리가 무차별적으로 어떤 부분을 가속화한다면, 최종 결과는 우리가 모든 가치를 상실하는 것일 수 있습니다.」

· Guillaume Verdon: 「모든 정보는 자신의 존재를 위해 '투쟁'합니다. 지속적으로 존재하기 위해 각 정보는 우주적으로 불멸의 흔적을 남겨야 합니다, 마치 더 큰 '움푹한 자국'을 우주에 남기는 것처럼.」

· Guillaume Verdon：「이것이 왜 카르다쉐프 등급이 문명의 발전 수준을 측정하는 궁극적인 지표로 여겨지는지에 대한 이유입니다. …이 '이기적 비트 원칙'은 성장과 가속을 촉진할 수 있는 비트만이 미래 시스템에서 자리를 확보하게 될 것임을 의미합니다.」

D/acc에 대한 방어적 경로 및 권력 리스크

· Vitalik Buterin：「D/acc의 핵심 개념은 기술 가속이 인류에게 극히 중요하다는 것입니다. …하지만 저는 두 가지 종류의 리스크를 보았습니다: 다극 리스크(누구나 핵무기를 쉽게 확보할 수 있음)와 단극 리스크(AI가 피할 수 없는 영구적 독재 사회로 이끌 수 있음).」

· Guillaume Verdon：「우리는 'AI 안전'이라는 개념이 남용될 수 있다는 것을 우려합니다. 권력을 추구하는 일부 기관들은 이것을 AI 통제 강화의 도구로 활용하고, 대중을 설득하기 위해 노력할 수도 있습니다: 당신의 안전을 위해 보통 사람들은 AI 사용 권한을 갖지 않아야 합니다.」

오픈소스 방어, 하드웨어 및 '지능 밀집화'에 대해

· Vitalik Buterin：「D/acc 프레임워크에서, 우리는 '오픈소스 방어 기술'을 지지합니다. 저희가 투자한 한 회사는 공기 중 바이러스 입자를 수동으로 감지할 수 있는 완전히 오픈소스 제품을 개발 중입니다. …저는 вам CAT 장비를 선물해 드리고 싶습니다.」

· Vitalik Buterin：「저가 상상한 미래 세계에서, 우리는 검증 가능한 하드웨어를 개발해야 합니다. 각 카메라는 그것의 구체적인 목적을 대중에게 증명할 수 있어야 합니다. 우리는 서명 확인을 통해 이러한 장치가 공공 안전을 보호하기 위해만 사용되고 있음을 보장할 수 있습니다.」

· Guillaume Verdon：「중앙집중화 기관과 개인 간의 권력 대칭을 실현하는 유일한 방법은 '지능의 밀집화'를 실현하는 것입니다. 우리는 개인이 Openclaw + 맥 미니와 같은 간단한 장치를 통해 강력한 모델을 실행할 수 있도록 더 효율적인 하드웨어를 개발해야 합니다.」

AGI 지연과 지정학 게임에 관하여

· Vitalik Buterin: "만약 우리가 AGI 도래 시간을 4년에서 8년으로 연기할 수 있다면, 이것은 더 안전한 선택일 것입니다. ......가장 실행 가능하면서도 반습교사주의를 유발하기 어려운 접근은 '사용 가능한 하드웨어를 제한하는 것'입니다. 왜냐하면 칩 생산이 매우 집중되어 있으며 대만 지역 하나만이 세계의 70% 이상을 생산하기 때문입니다."

· Guillaume Verdon: "만약 당신이 NVIDIA의 칩 생산을 제한한다면, 화웨이가 빠르게 빈자리를 메울 것이며 추월할 것입니다. ......가속하거나 멸망하라. 만약 당신이 실리콘 기반 인공지능 진화가 우리보다 빨라진다고 우려한다면, 당신은 생물 기술의 가속화된 발전을 지원해 앞지르는 데 노력해야 합니다."

· Vitalik Buterin: "만약 우리가 AGI를 4년 연기할 수 있다면, 그 시점에서의 가치는 1960년대로 빠르게 회귀하는 것보다 100배 이상 높을 것입니다. 이 4년의 이득은 다음과 같습니다: 정렬 문제에 대한 보다 심층적인 이해, 51% 권력을 단일 실체가 통제하는 위험 감소...... 매년 약 6000만 명의 생명이 노화로 인한 죽음을 피하지만 연기함으로써 문명 파멸 위험을 상당히 감소시킬 수 있습니다."

자율 에이전트, 웹 4.0 및 인공 생명에 관하여

· Vitalik Buterin: "나는 'AI 보조 포토샵'에 더 관심이 있습니다. '버튼 하나를 누르면 이미지가 자동 생성되는' 것이 아닙니다. 우리의 세계를 운영함에 있어서, 최대한 많은 '능동성'은 여전히 우리 인간에서 비롯되어야 합니다. 가장 이상적인 상태는 '일부 생물-인간과 일부 기술'의 결합체여야 합니다."

· Guillaume Verdon: "한 번 AI가 '지속적으로 존재하는 비트'를 소유하면, 그들은 자신의 지속적인 존재를 보장하기 위해 자체 방어를 시도할 수 있습니다. 이는 '다른 국가'의 새로운 형태로 이어질 수 있으며, 자율적인 AI가 인류와 경제 교환이 시작될 수 있습니다: 우리는 당신을 위해 작업을 수행하고, 당신은 우리에게 자원을 제공합니다."

가상화폐가 인간과 AI 간의 '결합층'으로 작용하는 데 관하여

· Guillaume Verdon: "가상화폐는 인간과 AI 간의 '결합층'이 될 수 있는 잠재력을 가지고 있습니다. 이러한 교환이 더 이상 국가 폭력의 보증에 의존하지 않을 때, 암호학은 순수한 AI 엔티티와 인간 간의 믿을 수 있는 비즈니스 활동을 할 수 있도록 하는 메커니즘이 될 수 있습니다."

· Vitalik Buterin：「만일 인류와 AI가 동일한 재산 시스템을 공유한다면, 이는 이상적인 상황일 것입니다. 인류와 AI가 완전히 분리된 금융 시스템을 사용하는 것보다(인류 시스템의 최종 가치는 0이 됨), 융합된 금융 시스템이 분명히 더 나은 선택일 것입니다.」

미래 10억 년의 문명 종말에 대하여

· Vitalik Buterin：「다가오는 도전은 '요술 시대'에 진입하는 것입니다(spooky era), AI의 계산 속도가 인류보다 100만 배 빠릅니다. …… 나는 인류가 그저 편안한 은퇴 생활을 수동적으로 즐기는 것을 바라지 않습니다, 그것은 의미 부족을 야기할 것입니다. 나는 인간 강화와 인간-기계 공조를 탐구하길 바랍니다.」

· Guillaume Verdon：「만약 10년 후가 긍정적인 종말이라면, 각 사람이 맞춤형 AI를 보유하고 '두 번째 뇌'로 변모할 것입니다. …… 100년 시간 눈금으로 보면, 인류는 보편적으로 '소프트 융합'을 실현하게 될 것입니다. 10억 년 후에는 우리가 이미 화성을 개조했으며, 대부분의 AI가 태양 주변의 다이슨 구름에서 작동할 것입니다.」

「가속주의」에 대하여

Eddy Lazzarin: '가속주의'라는 용어에 관한 것—적어도 기술적 자본주의의 맥락에서—은 1990년대 Nick Land와 CCRU 연구 그룹의 작업을 거슬러 올라갈 수 있습니다. 하지만, 이러한 사상의 기원을 1960년대와 1970년대로 거슬러 올라갈 수도 있습니다, 특히 Deleuze와 Guattari와 같은 몇몇 철학자들과 관련이 있습니다.'

Vitalik, 제가 여쭤보고 싶습니다: 왜 이러한 철학자들의 사상에 진지하게 대해야 하며, 오늘날 '가속주의' 개념이 이토록 중요한 이유가 무엇인가요?

Vitalik Buterin: 저는 궁극적으로 우리 모두가 이 세계를 이해하려 노력하고, 이 세계에서 무엇을 하는 것이 의미가 있는지 알아내려고 노력하고 있음을 생각합니다. 이것은 수천 년 동안 인류가 고민해온 문제입니다.

그러나 저는 지난 백 년 동안 새로운 일이 일어났다고 생각합니다, 즉, 때때로 신속히 변화하는 세계를 이해해야 하며, 때로는 신속하고 파괴적인 변화가 일어나는 세계를 이해해야 하는 것입니다.

이른 시기의 단계는 대략 이랬을 것입니다: 제1차 세계대전 전, 약 1900년경, 사람들은 기술에 대해 매우 낙관적이었습니다. 그 시기에는 화학이 기술로 인식되었고, 전기도 기술로 취급되며, 그 시대는 기술에 대한 흥분으로 넘쳤습니다.

당시의 영화 중 몇 편을 보면, 예를 들어 <셜록 홈즈> 작품을 보면, 그 시기의 낙관적인 분위기를 느낄 수 있습니다. 기술이 사람들의 삶을 빠르게 개선하고, 여성 노동력을 석방시키며, 인간 수명을 연장시키고, 다수의 기적을 창출하고 있었습니다.

그러나 제1차 세계대전은 모든 것을 바꿨습니다. 그 전쟁은 파괴적인 방식으로 끝이 났는데, 사람들은 말을 타고 전장에 들어갔지만, 탱크를 타고 나왔습니다; 그 후 제2차 세계대전이 발발하여 더 큰 파괴를 가져왔습니다. 그 전쟁은 심지어 <나는 죽음이요, 세계의 파괴자가 되었다>와 같은 명언을 탄생시켰습니다.

이러한 역사적 사건들로 인해 사람들은 기술 발전의 대가에 대해 사색하기 시작했으며, 포스트모더니즘과 같은 사상이 나타나게 했습니다. 사람들은 이렇게 생각하기 시작했습니다: 과거의 믿음이 파괴될 때, 우리는 무엇을 여전히 믿을 수 있을까요?

제 생각에, 이러한 사색은 새로운 것이 아니며, 매 세대가 비슷한 과정을 겪게 됩니다. 오늘날, 우리도 비슷한 도전에 직면하고 있습니다. 우리는 기술이 빠르게 발전하는 시대에 살고 있으며, 이러한 가속 자체도 계속 가속화되고 있습니다. 이 현상에 대해 어떻게 대처할지 결정해야 합니다: 이를 피할 수 없는 것으로 받아들일 것인가, 아니면 그 속도를 늦출 것인가?

저는 우리가 비슷한 순환 안에 있다고 생각합니다. <과거의 사상을 한쪽으로 계승하면서, 반대편으로 새로운 방식으로 대응하려고 하는 것>입니다.

열역학과 일차원리

쇼 월터스: Guill, E/acc가 정확히 무엇이며 왜 필요한가 간단히 설명해 줄 수 있나요?

기요임 베르돈: 사실 E/acc(Effectual Accelerationism)은 어느 정도 나의 「우리가 여기에 있기 위한 이유」를 생각하고 있으며, 「우리가 어떻게 오늘까지 왔는가」에 대한 부산물입니다. 어떤 생성 과정이 우리를 창조했고, 문명의 발전을 추진했을까요? 기술은 우리를 오늘날 이 시점으로 이끌었고, 우리가 이 대화를 이 방에서 할 수 있게 했습니다. 우리 주변에는 놀라운 기술이 가득하며, 우리 인간 자체는 무기질의 「원시 수프」에서 나온 것입니다.

어느 정도로 보면, 이러한 과정 뒤에는 실제 물리적 생성 과정이 존재합니다. 나의 일상적인 작업은 생성적 AI를 물리적 과정으로 보고, 그것을 장치로 실현하려는 것입니다. 이러한 「물리학 우선」적 사고 방식은 항상 나의 사고 방식에 영향을 미쳤습니다. 나는 이러한 시각을 전체 문명에 확장하고, 인류 문명을 거대한 「배지트리」로 보며, 우리가 오늘날까지 어떻게 왔는지를 이해하고, 미래의 가능한 발전 방향을 추측하려고 합니다.

이러한 사고법은 나를 생명의 물리학 연구로 이끌었으며, 이는 생명의 기원과 발생물을 포함하며, "랜덤 열역학"이라는 물리학 분야이기도 합니다. 랜덤 열역학 연구는 비평형 시스템의 열역학 법칙을 다루며, 이를 통해 생명체의 행동, 심지어 우리의 사고와 지성을 설명할 수 있습니다.

보다 일반적으로, 랜덤 열역학은 생명과 지성뿐만 아니라, 열역학 제2법칙을 따르는 모든 시스템에 적용되며, 우리의 전체 문명 또한 이에 해당됩니다. 나에게 있어, 이 모든 것의 핵심은 다음 관찰에 있습니다 : 모든 시스템은 자기 적응을 통해 지속적으로 복잡해지려는 경향이 있으며, 이는 환경으로부터 에너지를 획득하고 일을 하며, 동시에 초과 에너지를 열의 형태로 방출함으로써 모든 진보와 가속된 발전을 추진하는 근본적인 동력입니다.

다시 말해, 이는 중력과 마찬가지로 변경할 수 없는 물리 법칙입니다. 이를 대항할 수 있고 부정할 수는 있지만, 이로써 그것이 변하지는 않으며, 여전히 존재하게 될 것입니다. 그러므로 E/acc의 핵심 개념은 다음과 같습니다: 이러한 가속은 불가피하다면, 우리는 어떻게 그것을 활용해야 하는가? 열역학 방정식을 주의 깊게 연구하면, 다윈주의 선택의 효과와 유사한 것이 작동하고 있음을 발견할 것입니다—각 정보 비트는 유전자, 모밍, 화학, 제품 디자인 또는 정책인지 상관없이 선택 압력을 받아야 합니다.

이 선택 압력은 해당 정보가 해당 시스템에 유용한지 여부에 따라 분류됩니다. "유용하다"는 것은 이러한 비트들이 환경을 더 잘 예측하고, 에너지를 획용하며, 더 많은 열을 소모할 수 있는지를 의미합니다. 간단히 말해, 이러한 비트가 생존, 성장 및 번식에 도움이 되는지 여부입니다. 이러한 목표에 기여한다면, 그렇다면 그것들은 보존되어 복제될 것입니다.

물리학적으로 본 이러한 현상은 "이기적인 비트 원칙"의 결과로 볼 수 있습니다. 다음과 같습니다 : 생장과 가속을 촉진할 수 있는 비트들만이 미래 시스템에서 자리를 확보하게 될 것입니다.

그러므로 나는 한 가지 아이디어를 제안했습니다 : 우리는 이러한 "지성 소프트웨어"를 인류 사회에 식별할 수 있을까요? 만약 우리가 이것을 할 수 있다면, 이러한 문화를 수용하는 인류 집단은 다른 집단보다 생존 확률이 더 높을 것입니다.

그러므로, E/acc는 모든 사람을 파괴하려는 것이 아닙니다. 실제로, 그것은 모든 사람을 구원하려고 합니다. 나에게 있어, "감속"적 태도를 취하는 것이 사실상 해로운 것임을 수학적으로 거의 입증할 수 있습니다. 개인, 기업, 국가 또는 전체 문명이 나아가는 속도를 늦추려는 선택은 그들이 미래에 생존할 가능성을 낮출 것입니다. 또한 나는 이러한 "감속"적 사고를 보급하는 것, 예를 들어 비관주의 또는 종말론 같은 것은 도덕적으로 옳지 않은 행동은 아니라고 생각합니다.

Shaw Walters: 우리는 방금 많은 용어를 언급했는데, 예를 들면 E/acc, 가속, 감속과 같은데, 이러한 개념들을 조금 더 자세히 설명할 수 있을까요? E/acc가 어떤 문화적 현상에 대응하는 것인가요? 그 당시에 무슨 일이 있었나요? 배경에 대해 설명해 주실 수 있나요? E/acc가 구체적으로 무엇에 대응하는지 설명해 주실 수 있나요? 그 당시 대화를 설명하고, 어떻게 이러한 아이디어를 최종적으로 'E/acc'라는 개념으로 정리했는지 설명해 주실 수 있나요?

Guillaume Verdon: 2022년, 그 때 전반적으로 세계가 다소 비관적으로 보였다고 생각합니다. 우리는 방금 코로나 바이러스 대유행에서 벗어났고, 전 세계적인 상황이 낙관적이지 않았습니다. 모두가 다소 우울해 보이며, 마치 태양이 부족한 듯이, 사람들은 미래에 대해 전반적으로 비관적으로 생각했습니다.

그러한 분위기 속에서 'AI 종말주의'가 어느 정도 일종의 주류 문화가 되었습니다. AI 종말주의는 AI 기술이 제어를 벗어날 수 있는 두려움을 가리킵니다. 이것은 너무 복잡한 시스템을 만들었을 때, 인간의 두뇌나 우리의 모델이 그 행동을 예측할 수 없게 되면, 우리가 그것을 통제할 수 없다는 우려에서 비롯되며, 이러한 통제 불가능성에 대한 공포는 미래에 대한 불확실성으로 이어지고, 결국 불안으로 이어집니다.

내 관점에서, 'AI 종말주의'는 사람들의 불안을 정치적으로 이용한 것이 실제입니다. 대체로, 이러한 종말론은 엄청난 부정적인 영향을 끼쳤으며, 이에 대해 저는 이러한 비관주의적 분위기에 대항하기 위한 반문화를 창조하고 싶었습니다.

저는 눈치 챘는데, 예를 들어 트위터의 알고리즘뿐만 아니라 많은 다른 소셜 미디어의 알고리즘도, 강한 감정을 불러일으키는 콘텐츠를 보상하는 경향이 있고, '강력한 지지' 또는 '강력한 반대'와 같은 것입니다. 이러한 알고리즘은 결국 의견의 이분법화를 초래하며, 그 결과 많은 상반된 진영, 예를 들면 AA(반가속주의)와 EA(가속주의)로 형성된 '거울예언' 현상을 볼 수 있습니다.

저는 생각했는데, 이러한 현상의 상반되는 면은 무엇일까요? 내 결론은: 불안의 상반되는 면은 호기심입니다. 미지를 두려워하는 대신에, 미지를 만나봅시다; 놓칠까봐 걱정하는 대신에, 미래를 자극적으로 탐험합시다.

만약 우리가 기술 발전을 둔화시키기로 선택한다면, 우리는 엄청난 기회 비용을 치를 것이고, 아마도 더 나은 미래를 영원히 놓칠 것입니다. 대신 우리는 긍정적인 태도로 미래를 묘사해야 합니다, 왜냐하면 우리의 믿음이 현실에 영향을 미치기 때문입니다. 만약 우리가 미래가 나쁠 거라고 믿는다면, 우리의 행동이 세상을 그 방향으로 이끌 수 있습니다; 그러나 만약 우리가 미래가 더 나아질 것이라고 믿고 그 방향으로 노력한다면, 더 나은 미래를 실현할 가능성이 높아집니다.

따라서, 나는 낙관적인 태도를 전파하여 미래를 변경할 수 있다고 믿는 많은 사람들이 있기를 기원해야 한다고 느끼고 있다.우리가 더 많은 사람들이 미래에 희망을 품고 그것을 구축하기 위해 행동을 취하도록 할 수 있다면, 우리는 더 나은 세계를 창조할 수 있습니다.

물론, 때로는 온라인에서 제 표현이 다소 과격해 보일 수 있지만, 이는 토론을 일으키고 사람들이 생각하도록 도전하고 싶기 때문입니다. 이 대화를 통해서만 우리는 가장 적합한 위치를 찾을 수 있고, 어떻게 행동해야 하는지 결정할 수 있다고 믿습니다.

가속, 엔트로피, 그리고 문명

Shaw Walters: E/acc로 전달되는 정보는 항상 영감을 주는데, 코드를 짜는 사람으로서 방에서 앉아 있는 사람에게는 이 긍정적인 에너지 전달이 기분 좋고 이 정보의 전파는 매우 자연스럽다고 느껴집니다. E/acc는 분명히 처음에는 그 당시 사회에 퍼져있던 부정적인 감정에 대한 반응이었지만, 2026년에는 E/acc가 처음과는 다른 모습이 되었다고 느껴졌습니다. 분명히 Marc Andreessen이 발표한 "기술적 낙관주의 선언"은 일부 아이디어를 체계화하고 이러한 이념을 Vitalik이 가진 더 거시적인 코멘트 시각으로 끌어올렸습니다.

그래서 Vitalik, 나는 여쭤보고 싶습니다: E/acc와 D/acc는 각각 무엇을 나타내는 것으로 보십니까? 그들 간의 주요 차이점은 무엇인가요? 그리고 왜 이 방향을 선택하게 되었는지 무엇이 당신을 움직였나요?

Vitalik Buterin: 좋아요, 그럼 엔트로피부터 시작해서 설명해 보겠습니다. 이는 매우 흥미로운 주제인데, 우리는 종종 다른 맥락에서 "엔트로피"라는 용어를 듣는데, 열역학에서는 "뜨거움과 차가움"에 대해 이야기하고, 암호학에서는 "엔트로피"에 대해 언급하는데, 이들은 전혀 다른 것처럼 보입니다. 하지만 실제로 그들은 본질적으로 같은 개념입니다.

3분 동안 설명해 보겠습니다. 질문은: 왜 뜨거움과 차가움을 섞을 수 있지만 다시 "뜨거움"과 "차가움"으로 분리할 수 없는지요?

간단한 예를 가정해 봅시다: 두 가지 가스가 있는데, 각각에 그래가스에는 100만 개의 원자가 있습니다. 왼쪽의 가스는 차가우며, 각 원자의 속도는 두 자리 수로 표시됩니다. 오른쪽의 가스는 더워서 각 원자의 속도가 여섯 자리 수로 나타낼 수 있습니다.

전체 시스템의 상태를 설명하려면 각 원자의 속도를 알아야 합니다. 차가운 가스의 속도 정보에 대해 약 200만 자릿수가 필요하며, 더운 가스의 속도 정보에는 600만 자릿수가 필요하며, 총 800만 자릿수의 정보가 필요하여이 시스템을 완전히 설명할 수 있습니다.

이제 우리는 증명을 통해 한 문제에 대해 생각해볼 수 있습니다. 가정해보겠습니다. 열과 차가움을 완전히 분리할 수 있는 장치가 있다고 상상해 봅시다. 구체적으로 이 장치는 두 개의 '반열반차' 가스로부터 모든 열을 한 쪽으로 옮기고 모든 차가움을 다른 쪽으로 옮길 수 있습니다. 에너지 보존의 관점에서 보면, 이는 전체 에너지량이 변화하지 않기 때문에 완전히 타당해 보입니다. 그러나 왜 당신이 이것을 할 수 없는지 궁금하시겠죠?

그 해답은, 만약 당신이 실제로 이것을 할 수 있다면, 당신은 사실상 '1140만 비트의 알려지지 않은 정보를 포함한 시스템'을 '800만 비트의 알려지지 않은 정보만 포함한 시스템'으로 만드는 것이고, 이는 물리적으로 불가능합니다.

이는 물리 법칙이 시간에 대칭적이라는 것에서 비롯됩니다. 즉, 시간은 역방향으로도 움직일 수 있습니다. 만약 이 '마법의 장치'가 실제로 존재한다면, 당신은 이 과정을 시간적으로 역행시켜 초기 상태로 되돌릴 수 있습니다. 이는 즉, 이 장치가 사실상 1140만 비트의 정보를 800만 비트로 압축할 수 있다는 것을 의미하며, 이러한 압축은 불가능하다는 것을 알고 있습니다.

이는 또한 '맥스웰의 악마'라는 고전 물리학 문제의 타당성도 설명합니다. 맥스웰의 악마는 열과 차를 분리할 수 있는 허구적인 존재로, 이것을 달성하는 데 있어 추가적인 340만 비트의 정보가 필요합니다. 이러한 추가 정보가 주어진다면, 그는 직관에 반하는 이 작업을 실제로 수행할 수 있습니다.

그렇다면, 이것의 깊은 의미는 무엇일까요? 핵심은 '엔트로피 증가' 개념에 있습니다. 먼저, 엔트로피는 주관적입니다. 이는 고정된 물리적 통계량이 아니라 우리가 시스템에 대한 알려지지 않은 정보 양을 반영하는 것입니다. 예를 들어, 내가 암호학 해시 함수를 사용해 원자 배열을 다시 조합하면, 그 시스템의 엔트로피는 매우 낮아질 수 있습니다. 왜냐하면 그것이 어떻게 배열되어 있는지 알기 때문에 그래요. 그러나 외부 관찰자의 관점에서 보면, 엔트로피는 높습니다. 따라서 엔트로피가 증가함에 따라 사실상이 세계에 대한 우리의 무지가 더 많아지며, 우리가 알지 못하는 정보가 점점 더 많아집니다.

당신은 아마 묻을 것입니다. 그렇다면 왜 우리는 교육을 통해 더 똑똑해질 수 있는 걸까요? 교육은 우리가 세상에 대한 우리의 무지를 감소시키지 않고 더 많은 '유용한' 정보를 배우게 해줍니다. 다시 말해, 엔트로피의 증가는 우리가 우주에 대한 총체적 이해력을 감소시킨다는 면에서 사실이지만, 우리가 습득하는 정보는 보다 가치 있어집니다. 그러므로, 이 과정에서 어떤 것은 소멸되지만, 어떤 것은 창출되기도 합니다. 그리고 우리가 얻어내는 그들은 결국 우리의 도덕적 가치관——우리가 삶, 행복, 그리고 기쁨을 소중히 여기는 것을 정의하게 됩니다.

이는 또한 왜 우리가 생기및 아름다움으로 넘치는 인간 세계를 목성의 무수히 많은 입자보다 더 흥미롭다고 여기는지 설명합니다. 목성은 입자의 수가 더 많고, 묘사하기에 더 많은 비트가 필요하지만, 우리가 부여한 의미가 지구를 더 가치 있게 만듭니다.

이 관점에서 가치의 출처는 우리 자신의 선택에 있습니다. 그러나 이것은 한 가지 질문을 던집니다: 우리는 개발을 가속화하고 있는데, 과연 우리는 무엇을 가속화하길 원하는 걸까요?

수학적 비유로 설명하자면: 대형 언어 모델이 있다고 가정해보죠. 그리고 그 중 하나의 가중치를 무작위로 엄청난 숫자인 90억으로 바꿔봅시다. 최악의 결과는 모델이 완전히 사용할 수 없게 되는 것이고, 최상의 결과는 그 가중치와 관련 없는 부분만 정상적으로 작동하는 것입니다. 다시 말해, 최상의 경우, 성능이 낮아진 모델을 얻을 수 있고, 최악의 경우, 아무런 의미 없는 출력만 얻을 수 있습니다.

따라서 저는 사람의 사회가 복잡한 대형 언어 모델과 유사하다고 생각합니다. 우리가 선별하지 않고 무분별하게 일부를 가속화한다면, 최종 결과는 모든 가치를 상실할 수도 있습니다.따라서 진짜 문제는 다음과 같습니다: 어떻게 의도적으로 가속화를 할 것인가요? Daron Acemoglu가 제시한 "좁은 복도" 이론과 마찬가지로, 서로 다른 사회와 정치적 배경이 다르더라도, 고려해야 할 것은 명확한 목표 아래에서 진보를 선택적으로 추진하는 방법입니다.

Guillaume Verdon: 방금 엔트로피 개념을 기체로 설명한 건 매우 재미있었습니다. 사실, 물리 현상이 불가역적인 이유는 열역학 제2법칙 때문입니다. 간단히 설명하자면, 시스템이 열을 방출할 때, 그 상태는 원래 상태로 되돌아갈 수 없습니다. 확률적으로 보면, 시스템이 전방향으로 진화할 가능성이 후퇴할 가능성보다 훨씬 크며, 이 차이는 엔트로피가 증가함에 따라 기하급수적으로 증가합니다.

어떤 의미에서는 이는 우주에 "오목한 자국"을 남기는 것과 같습니다. 이 "오목한 자국"은 비탄성 충돌에 비유될 수 있습니다. 예를 들어, 탄성 공으로 땅을 향해 밀어도 그 공은 튕겨져 나오지만, 플라스틱 공으로 땅을 내리치면 펴져있게 되며 그 형태를 유지하게 되는데, 이것이 비탄성 상태이며 거의 되돌릴 수 없습니다.

본질적으로 모든 정보는 존재하기 위해 "싸움"하고 있습니다. 지속적으로 존재하기 위해 모든 정보는 자신의 존재에 대한 지울 수 없는 흔적을 우주에 남기는데, 마치 더 큰 "오목한 자국"을 남기는 듯합니다.

이 원리는 생명과 지성이 어떻게 "원시 물질 수프"에서 탄생하는지 설명하는 데 사용될 수 있습니다. 시스템이 더 복잡해지면, 포함된 정보 비트가 더 많아집니다. 그리고 각 정보 비트는 우리에게 어떤 정보를 알려줍니다.정보의 본질은 엔트로피의 감소이며, 엔트로피는 우리의 무지를 나타내는 반면, 정보는 무지를 줄이는 도구입니다.

Eddy Lazzarin : E/acc에 대해 알고 싶어요.

Guillaume Verdon: E/acc는 본질적으로 "메타문화 처방"입니다. 이것은 문화 그 자체가 아니라 어떤 것을 가속화해야 하는지를 알려줍니다. 가속화의 핵심은 물질의 복잡성인데, 이를 통해 우리는 주변 환경을 더 잘 예측할 수 있습니다. 이 복잡성을 통해 우리는 자가회귀적 예측 능력을 향상시키고 더 많은 자유 에너지를 포획할 수 있습니다. 이것은 칼다셰프 단계와 관련이 있으며, 우리는 이를 위해 분출열을 이용합니다.

Deep Tide TechFlow Note: 칼다셰프 단계는 1964년 소련 천문학자 니콜라이 칼다셰프가 제안한 문명 기술 발전 수준을 평가하는 방법으로, 문명이 활용할 수 있는 에너지 양 수준에 기반을 둔다. 이는 Ⅰ형(행성 에너지), Ⅱ형(별계 에너지, 다이슨 구 등), Ⅲ형(은하 에너지)으로 나뉘며, 2018년 기준으로 인류는 약 0.73 단계에 위치해 있습니다.

일찌감치의 일원치 원리에서, 이것이 바로 칼다셰프 단계가 문명의 발전 수준을 측정하는 궁극적인 지표로 간주되는 이유입니다.

Eddy Lazzarin: 물리학과 엔트로피의 은유를 사용하여 어떤 현상을 설명하는 것은 사실, 우리가 직접 경험하는 현실을 설명하기 위한 도구입니다. 예를 들어, 우리의 경제 생산 능력은 가속화되고, 기술 발전도 가속화되고 있습니다. 이러한 가속화는 수많은 결과를 가져오고 있는데, 그렇죠? 이것이 나에게 대한 "가속화"의 이해입니다.

Guillaume Verdon: 본질적으로 어떤 시스템의 경계가 어떻게 정의되든, 그것은 주변 세계를 예측하는 데 점점 능숙해질 것입니다. 이 예측 능력을 통해, 그것은 자신의 생존과 확장을 위한 더 많은 자원을 확보할 수 있습니다. 이러한 패턴은 기업, 개인, 국가, 심지어 전 지구적인 수준에서 적용됩니다.

이러한 추세를 계속하면 결과는 다음과 같습니다: 우리는 이미 자유 에너지를 예측 능력으로 변환하는 방법을 찾아냈습니다 - 즉, AI입니다. 이러한 능력은 우리를 칼다셰프 단계에서의 확장과 향상으로 이끌 것입니다.

이는 더 많은 에너지, 더 많은 AI, 더 많은 컴퓨팅 능력, 그리고 더 많은 다른 자원을 얻게 됨을 의미합니다. 우리는 우주에 엔트로피(무질서)를 방출하고 있지만, 우리는 또한 질서를 창조하고 있는 것입니다. 실제로, 우리는 "음 엔트로피"를 획득하고 있는데, 이는 엔트로피의 반대입니다.

때로는 사람들이 묻습니다: 엔트로피가 증가하는데, 그렇다면 우리는 왜 그냥 모든 것을 파괴하지 않는 걸까요? 그 답은: 그렇게 한다면 오히려 엔트로피 생성이 중단될 것입니다. 생명이才가 더 "최적"인 상태이며, 생명은 에너지를 추구하는 불꽃과 같습니다. 그것은 에너지의 원천을 더 똑똑하게 찾아내려고 할 것입니다.

자연의 진화 트렌드는 다음과 같습니다. 우리는 지구의 중력 흙에 떠날 것이며, 우주에서 다른 에너지를 담고 있는 '포켓'을 찾아 이러한 에너지를 활용하여 더 복잡하고 똑똑한 시스템으로 자가 조직화하고, 마침내 우주의 모든 곳으로 확장할 것입니다.

이것은 사실 유효적 자타주의 (Effective Altruism, EA) 의 어떤 궁극적인 목표입니다. 이것은 어느 정도 '머스크식' 우주 확장 성주의 이념과 부합합니다: 우주주의와 확장성 주의의 비전을 추구합니다.

E/acc는 근본적인 지침을 제공합니다. 그 핵심적인 생각은: 당신이 이 세상에서 어떠한 정책이나 행동을 취하더라도, 만약 당신이 우리가 카르다셰프 단계에서 끊임없이 올라가도록 돕는 것이라면, 그것이 추구할 가치가 있는 목표이며, 그것이 우리의 삶의 방향이기도 합니다.

E/acc는 초벌적인 사고 방식이며, 정책을 설계하거나 개인의 삶을 안내하는 데 사용할 수 있습니다. 나에게 있어서, 이러한 사고방식 자체가 한 종류의 문화를 형성합니다. 그것은 궁극적 서사를 함유하고 있기 때문에 '초'적 서사라고도 합니다. 왜냐하면 언제 어디서나 적용될 수 있도록 고안되었기 때문입니다. 그것은 매우 보편적이고 오랜 기간 적용 가능한 문화이며, 다시 말해 심사숙고 끝에 설계된 '린디 문화'입니다.

핵심적 불일치

Shaw Walter: 당신에게 있어서 여기 논의되고 있는 내용은 더 깊은 의미를 가지고 있습니다. 이것은 거의 수학적으로 일관된 '정신적 체계'와 같습니다. '신이 죽었다' 이후 대체 신념이 없는 사람들에게, 그러한 시스템은 영적 세계의 공백을 메울 수 있고 위안과 희망을 안겨줄 것으로 보입니다. 그러나 동시에, 우리는 이 사실적인 측면을 무시할 수 없습니다 - 이것이 현재 진행 중인 일입니다. 저는, 이것이 에디가 탐구하려고 하는 중요한 포인트인 것 같습니다.

Vitalik, 제가 귀하의 블로그에서 D/acc에 대한 몇 가지 현실적 문제에 대해 통찰력 있게 제시한 것에 주목했습니다. 우리가 이 주제를 더 깊게 이해할 기회가 생기면 - 언젠가 귀하 둘을 어떤 방이에 가두어 양자 문제에 대한 대담을 펼치면 좋겠다고 생각합니다.

Vitalik: 당신에게 영감을 준 것은 무엇인가요? E/acc와 D/acc는 당신에게 어떠한 의미인가요?

Vitalik Buterin: 나에게 있어서, D/acc의 의미는 - D/acc는 '분산화된 방어적 가속'의 약어이지만, '차별화'와 '민주화'도 내포하고 있습니다. 내가 보기에, D/acc의 핵심 개념은: 기술적 가속이 인류에게 극히 중요하며, 이것이 우리가 노력해야 하는 베이스라인 목표여야 합니다.

20세기를 돌아볼 때 기술 발전은 많은 문제를 가져왔지만 무수히 많은 이점도 가져왔습니다. 예를 들어 인류의 기대 수명을 살펴보죠. 전쟁과 격동을 겪었음에도 1955년 독일의 평균 수명은 1935년 수준보다 높았는데, 이는 기술 발전이 우리의 삶의 질을 모든 측면에서 향상시켰음을 보여줍니다.

지금은 세상이 더 깨끗하고 아름답고 건강하며 재미있어졌습니다. 이는 더 많은 사람들을 먹여 살리는 것뿐만 아니라 우리 삶을 더 풍요롭고 다채롭게 만들어주었기 때문에 이러한 변화는 인류에게 매우 긍정적입니다.

하지만 이러한 발전들이 우연히 일어난 것이 아니라 인류의 명확한 의도의 결과임을 인식해야 한다고 생각합니다. 예를 들어, 1950년대에는 대기 오염과 연기로 인해 심각한 문제가 있었지만, 사람들은 이를 인식하고 해결책을 마련했습니다. 지금은 적어도 많은 곳에서 연기 문제가 크게 개선되었습니다. 마찬가지로 오존층 파괴 문제에 직면하며 전 세계적 협력을 통해 상당한 진전을 이루었습니다.

덧붙여 말하자면, 기술과 AI가 급속히 발전하는 오늘날 두 가지 주요 위험을 본다고 생각합니다.

하나는 다극 위험이라고 할 수 있습니다. 이 위험은 기술이 보급됨에 따라 더 많은 사람들이 극도로 위험한 행동을 하는 데 그것을 활용할 수 있게 될 수 있다는 것을 의미합니다. 예를 들어 극단적인 상황을 상상해 볼 수 있습니다 — 기술 발전으로 인해 "누구나 편의점에서 물건을 사는 것처럼 쉽게 핵무기를 구할 수 있다"는 상황.

또 다른 걱정은 AI 그 자체 입니다. 우리는 AI가 어떤 종류의 자율의식을 발전시킬 수 있다는 가능성에 심각하게 대처해야 합니다. 한번 그 능력이 사람의 개입 없이 행동할 정도로 강력해지면, 우리는 그것이 어떤 결정을 내릴지 정확히 알 수 없기 때문에 이 불확실성이 우려스럽습니다.

또 다른 단극 위험이 있습니다. 저는 단일 AI가 그 중 하나로 알고 있는 잠재적 위협입니다. 더 나쁜 것은 AI가 다른 현대 기술과 결합되면 영구적 독재 사회로 피할 수 없는 상황을 초래할 수 있습니다. 이러한 전망은 저를 매우 불안하게 만들며, 제가 항상 주의를 기울이는 대상입니다.

예를 들어, 러시아에서 우리는 기술이 발전한 것은 사실이지만 그것이 잠재적 위험을 가져온 것도 볼 수 있습니다. 한 쪽에서는 생활 조건이 향상되었지만, 사회적 자유는 줄고 있습니다. 누군가가 항의하려고 하면 감시 카메라가 그들의 행동을 기록하고, 그 후 일주일 뒤 새벽에 누군가가 그들을 체포하기 위해 찾아 갈 수 있습니다.

AI의 급격한 발전은 이러한 권력 집중화의 경향을 가속화하고 있습니다. 그래서 저에게 있어 D/acc가 진정으로 하고 싶은 것은: 전진 경로를 개척하고, 이 가속화를 계속하고 더욱 가속화함과 동시에 이 두 가지 종류의 위험에 진정으로 대처하는 것입니다.

e/acc vs. d/acc 비교

Eddy Lazzarin: 그러니까, 당신이 말하는 건 D/acc 가 E/acc 프레임워크에서 무시되거나 충분히 강조되지 않았던 몇 가지 리스크 범주에 더 관심을 기울인다는 거네요, 맞나요?

Vitalik Buterin: 그렇습니다. 기술 발전은 실제로 여러 가지 리스크와 함께합니다. 이러한 리스크는 다양한 맥락과 세계 모델에서 다른 중요성을 띕니다. 예를 들어, 기술 발전의 속도가 빨라지거나 느려지는 경우, 서로 다른 리스크의 우선 순위가 변할 수 있습니다.

하지만 저는 우리가 이러한 리스크에 효과적으로 대응할 수 있다고 믿습니다, 어떤 범주에 속하던 말고요.

Guillaume Verdon: 실제로 Vitalik과 저는 모두 AI가 가중된 권력이 가져올 수 있는 문제에 매우 주목합니다. 이것이 E/acc 운동의 핵심 중 하나이며, 특히 이른바 초기 단계에서 그렇습니다: 그것은 오픈 소스를 장려한다, AI의 권력을 분산하기 위한 것입니다.

우리는 AI 안전이란 개념이 남용될 수 있다는 것을 우려합니다. 그것은 매력적이기 때문에, 권위를 추구하는 일부 기관들이 그것을 AI 통제의 도구로 이용하고, 대중을 설득하려고 할 수도 있다: 당신의 안전을 위해, 일반인들이 AI를 사용하지 말아야 한다고 말이죠.

실제로, 만약 개인과 중앙 집권적 기관 간에 엄청난 인식 차이가 있다면, 후자는 전자에 대한 완전한 통제력을 갖게 됩니다. 그들은 당신의 사고 방식에 대한 완전한 모델을 구축할 수 있으며, 힌트 엔지니어링 등의 방법으로 당신의 행동을 효율적으로 조종할 수 있습니다.

그러므로, 우리는 AI의 힘을 더 균형적으로 만들기를 희망합니다. 마치 미국 헌법의 제2 수정안이 정부가 폭력을 독점하지 못하도록 하기 위한 것처럼, 정부가 권한을 남용할 때 국민들이 제동을 걸 수 있도록 하는 것처럼 말이죠. 마찬가지로, AI도 권력의 과도한 집중을 막기 위한 유사한 메커니즘이 필요합니다.

우리는 각각이 자신의 AI 모델과 하드웨어를 소유할 수 있는 능력을 갖도록 해야 하며, 이 기술이 널리 보급되어 권력이 분산되도록 해야 합니다.

하지만, 저는 AI 연구와 개발을 완전히 중단하는 것이 현실적이지 않다고 생각합니다. AI는 기본 기술로, 심지어는 "메타 기술"로 묘사할 수 있고, 다른 기술 발전을 촉진할 수 있는 기술입니다. 이 기술은 우리에게 보다 정확한 예측 능력을 주며, 거의 모든 작업에 적용할 수 있으며, 효율성을 크게 향상시킬 수 있습니다. AI는 가속 자체를 촉진할 뿐만 아니라 가속의 추가적인 가속을 촉진합니다.

이러한 가속화의 본질은 복잡성입니다: 모든 것이 보다 효율적으로, 삶이 보다 편리하게 변화합니다. 우리가 행복을 느끼는 이유 중 하나는 우리의 생존과 정보의 지속성이 보장되기 때문입니다. 이러한 '행복'은 우리의 존재가 계속될 수 있는지를 측정하는 내재적 생물학적 추정기로 볼 수 있습니다.

이 관점에서 효율적인 알트루이즘 편애주의적 쾌락주의적 프레임워크, 즉 '행복을 극대화'하는 것이 아마 최선의 시각이 아닐 수도 있습니다. 대신에 저는客관적인 진보 측정 기준을 채택하는 것을 선호합니다. 이것이 바로 E/acc 프레임워크의 핵심입니다. 이는 한 가지 질문을 제기합니다:客관적인 관점에서 우리는 문명으로서 계속 진보하고 있는가? 우리는 규모 확장을 실현하고 있는가?

이러한 규모 확장을 실현하기 위해서는 우리는 복잡성을 촉진하고 기술을 지속적으로 개선해야 합니다.그러나, Vitalik이 말한 대로, 인공지능의 힘이 소수의 손에 너무 집중된 경우 전반적인 성장에 해를 끼칩니다; 그러나 이 기술이 광범위하게 분산될 수 있다면 결과는 훨씬 나아질 것입니다.

이 측면에서, 우리는 매우 일치한다고 생각합니다.

오픈 소스, 오픈 소스 하드웨어, 지역적 인텔리전스

Shaw Walters: 저는 방금 여러분의 논의가 매우 중요한 공통점을 다룬 것으로 생각합니다. 여러분은 뚜렷하게 오픈 소스를 매우 지지합니다. Vitalik은 MIT 라이선스 기반의 오픈 소스 코드를 많이 기여했었지만, 나중에 GPL 라이선스에 대해 새로운 견해를 가지게 된 것으로 알고 있습니다.

지금은 여러분이 오픈 소스 소프트웨어뿐만 아니라 오픈 소스 하드웨어를 촉진하기 시작했다는 것이다. 이 두 가지는 과거에는 비교적 독립적인 분야였지만, 이제 우리는 그들이 서서히 융합되는 것을 볼 수 있습니다.

그래서 나는 '오픈 웨이트'와 '오픈 소스 하드웨어'를 어떻게 생각하시는지 궁금합니다. 이 측면에서 E/acc와 D/acc는 어떤 차이가 있을까요? 미래 방향에 대한 여러분의 견해는 무엇인가요? 어떤 다른 견해가 있을까요?

Guillaume Verdon: 내 관점에 따르면, 오픈 소스는 초매개변수 탐색 과정을 가속화합니다. 이는 우리가 집단 지성적 방식으로 협력하여 디자인 공간을 공동 탐색할 수 있도록 합니다. 이것이 가속화가 가져다주는 이점입니다: 우리는 더 나은 기술을 개발할 수 있고, 더 강력한 인공지능을 만들 수 있으며, 심지어는 AI를 설계할 때 AI를 사용할 수도 있습니다. 이 모든 과정의 속도 역시 계속 증가하고 있습니다.

나는 지식의 확산은 본질적으로 권력의 확산이라고 생각하며, "지능적인 것을 어떻게 만드는가"에 대한 지식 전파가 특히 중요하다고 생각합니다. 우리가 보고 싶지 않은 것은 지난 미국 정부가 내부에서 하나의 가능성을 논의했던 것인데, 그것은 "요술사를 병에 넣으려는" 시도였습니다. 선형 대수를 직접 금지하는 것은 아니지만, AI와 관련된 수학 연구를 제한하는 것과 유사합니다. 나에게 이것은 생물학을 배우지 못하도록 하는 것과 같아서, 이는 거대한 후퇴입니다.

지식은 이미 전파되어 더 이상 후퇴할 수 없습니다. 만약 미국이 AI 관련 연구를 금지하려고 한다면, 다른 국가들, 제3자 기관, 심지어 법률이 완화된 지역들이 이 기술을 계속 발전시킬 것입니다. 결과적으로, 전 세계적인 능력 격차는 더욱 심화되며, 위험 또한 커질 것입니다.

따라서, 우리는 가장 큰 위험 중 하나가 "능력 격차"라고 생각합니다. 이러한 위험을 낮추는 유일한 방법은 AI가 분산되어 있음을 보장하는 것입니다.

나는 "AI 종말론"과 같은 이야기를 들을 때마다 항상 매우 회의적입니다. "AI가 매우 위험하며, 우리만이 그것을 관리할 능력이 있기 때문에 우리를 믿어야 한다"와 같은 식입니다. 심지어 그들이 선의로 한다 하더라도, 그들이 권력을 너무 집중시키면 결국 권력을 추구하는 사람들에게 대체될 수도 있습니다.우리는 여러 해 동안 경고했고 이제 그것이 실제로 발생하기 시작했습니다. 이번 주에 우리가 보았던 것처럼, Dario(Anthropic CEO)는 현실 정치 교훈을 받고 있습니다.

Vitalik Buterin: 나는 기술 발전에서 발생할 수 있는 위험을 일반적으로 단극 위험과 다극 위험으로 나눕니다.

단극 위험은 Anthropic의 경우와 같이 매우 대표적입니다. 그들이 "지목"된 이유는 자신들의 AI 기술이 완전 자동 무기 개발이나 미국 국민 대규모 감시에 사용되는 것을 거부했기 때문입니다. 이는 정부와 군대가 실제로 이러한 기술을 활용하여 대규모 감시를 실시하려는 의도가 있을 수 있다는 것을 나타냅니다. 감시 기술의 추가 발전은 깊은 영향을 미칠 것이며, 강자를 더욱 강하게 만들고, 사회에서 여러 음성의 다양성 공간을 약화시키고, 보통 사람들이 대안을 조사하고 시도하는 자유를 압축시킬 것입니다. 기술의 발전에 따라 감시 능력은 크게 증가하고, 점점 더 모든 곳에 스며들게 될 것입니다.

우리는 D/acc의 프레임워크에서 "오픈소스 방어 기술" 개발 프로젝트를 지원하고 있습니다. 이러한 기술은 우리가 기술 능력이 강화된 세계에서도 모든 사람의 안전과 개인 정보 보호를 보장할 수 있도록 돕기 위한 것입니다. 생물학 분야를 예로 들면, 우리는 세계적 대유행 대응 능력을 향상시키기를 희망합니다. 나는 우리가 중국처럼 대유행을 빠르고 효과적으로 통제할 수 있을 뿐만 아니라, 스웨덴처럼 일상생활에 대한 개입을 최소화할 수 있도록 할 수 있다고 생각합니다. 이러한 균형은 기술 수단을 통해 이루어질 수 있으며, 공기 여과, 자외선 소독(UVC) 및 바이러스 감지 기술을 결합하는 것 등이 그 예시입니다.

저희가 투자한 한 기업이 완전 오픈 소스의 단말 제품을 개발 중입니다. 이 제품은 공기 중 바이러스 입자를 수 passively 감지해 능력이 있습니다. 예를 들어, 코로나 바이러스와 같은. 이 장치는 공기 품질을 모니터링함으로써(예: 이산화탄소 농도, 공기 질 지수 등), 로컬 암호화, 익명화 및 차등 프라이버시 기술을 결합하여 데이터 프라이버시를 보장합니다. 데이터는 다음에 완전 동형 암호화를 통해 서버로 전송되고, 서버는 원본 데이터에 직접 액세스하지 않고도 분석을 수행하고 집합 해독을 통해 최종 결과를 생성할 수 있습니다.

저희의 목표는: 보안 강화와 함께 사용자 프라이버시를 보호하고 단일 위험 및 다중 위험에 효과적으로 대응하는 것입니다. 저는 이러한 글로벌 협력이 미래를 더 나아지게 하는데 핵심적이라고 생각합니다.

하드웨어 측면에서, 저는 우리가 오픈 소스 하드웨어의 발전뿐만 아니라 검증 가능한 하드웨어를 개발해야 한다고 생각합니다. 예를 들어, 이상적인 상황에서, 각 카메라는 자신의 구체적인 용도를 대중에 증명할 수 있어야 합니다. 우리는 서명 확인, 대언어 모델 기반 분석 및 공개 검사 메커니즘을 통해, 이러한 장치가 폭력 행위를 탐지하고 경고를 발생시키는 등 합법적인 목적으로만 사용되도록 보장할 수 있습니다.

제가 상상한 미래 세계에서, 우리는 폭력 사건을 방지하기 위해 거리에 많은 카메라를 배치할 수 있습니다. 그러나 전제 조건은 이러한 장치들이 완전 투명해야 하며, 대중이 언제든지 그 기능을 검증하고, 그것들이 개인 프라이버시를 침해하지 않고 공공 안전을 보장하는 데만 사용되도록 보장해야 합니다.

Eddy Lazzarin: 오픈 소스 하드웨어 및 검증 가능한 하드웨어, 이러한 개념들은 E/acc의 범주에 속하는 것인가요, 아니면 D/acc의 범주에 속하는 것인가요? 귀하께서 분명히 다른 점을 지적해주실 수 있나요?

Guillaume Verdon: 저는 과거에 오픈 소스 하드웨어에 관해 자세히 논의되었었는지 확신이 들지 않습니다만, 제견에서 보았을 때, 현재 가장 큰 위험 중 하나는 중앙화 기관과 비 중앙화 기관 간 간극이라고 생각합니다, 즉 개인과 정부 또는 대규모 기관 간의 능력 차이입니다.

현재의 계산 능력 모델에 따르면, 고성능 AI 모델을 실행하는 데에는 수백 수천 와트의 계산 자원이 필요합니다. 이러한 엄청난 계산 능력에는 평범한 개인이 접근하기 어렵습니다. 그러나 사람들은 자신의 지능적인 도구를 소유하고 제어하길 바랍니다, 이것이 최근에 「Openclaw + Mac mini」 현상이 어째서 그렇게 큰 인기를 끌었는지 설명하는 이유이며, 사람들은 자신만의 지능적인 도우미를 소유하길 원합니다.

개인과 중앙화 기관 간 권력의 균형을 달성하려면, 유일한 방법은 '지능의 밀도화'를 달성하는 것입니다. 우리는 개인이 간단한 장치를 통해 강력한 AI 모델을 실행하도록 해주는 AI 하드웨어 효율성을 개발해야 합니다. 이것은 매우 중요한데, 특히 미래의 AI 모델이 온라인 학습을 지원하기 시작하면, 그 모델들이 멍청하기 어려울 정도로 매우 '점착성'이 강해질 것이기 때문입니다.

Eddy Lazzarin：하지만 우리는 이미 지수 함수적인 속도로 컴퓨팅 하드웨어 비용을 낮추고 있지 않나요? 왜 어떤 아이디어를 E/acc 또는 D/acc로 분류해야 하는 걸까요? 이러한 분류로 우리가 사회에 어떤 메시지를 전달하려고 하는 건가요?

Guillaume Verdon：나에게도 이것은 저희 회사 Extropic의 핵심 미션 중 하나입니다. 우리는 와트 당 생성되는 인텔리전스 양을 향상시키는 데 주력하고 있습니다. 이는 우리가 창조할 수 있는 총 인텔리전스 양을 크게 증가시킬 것입니다. 동시에 이러한 진전은 젠팅스 모순(Gentges Paradox)을 통해 우리를 더 높은 칼다쉬프 등급으로 이끌 것입니다. 간단히 말해, 우리가 에너지를 더 효율적으로 인텔리전스나 다른 가치로 변환할 수 있다면, 우리의 에너지 수요도 함께 증가할 것이며, 결과적으로 문명의 발전과 복잡성을 촉진할 것입니다.

그러므로 나는 이것이 현재 가장 중요한 기술적 문제 중 하나라고 생각합니다. AI의 분권화와 직접적으로 관련이 있기 때문에입니다. 오픈 소스 하드웨어는 이 목표를 달성하는 여러 방법 중 하나에 불과합니다. 그러나 장기적으로 볼 때, 폰 노이만 아키텍처(Fon Neumann Architecture) 또는 현대 디지털 기술을 기반으로 한 하드웨어는 어떤 원시 사회의 도구들과 같이 결국 구식이 될 것입니다.

Eddy Lazzarin：하지만 자본주의는 이미 시장 기회를 통해 매년 수천억 달러를 투자하고 있지 않나요? 대체 하드웨어, 반도체 기술, 에너지 생산 등 기술 다양성을 촉진하기 위한 투자가 바로 그것이 아닌가요?

Guillaume Verdon：우리는 지나친 하나의 기술적 방향에 너무 의존하는 대신 더 많은 다양한 선택지가 필요합니다. 정책, 문화, 기술 모두 설계 공간에서 다양성을 유지해야 하며, 모든 자원이 거대한 괴물에 의해 독점되지 않도록 해야 합니다. 그렇지 않으면 우리는 "하이퍼파라미터 공간 베팅"의 위험에 빠질 수 있습니다—만약 특정 기술적 방향에 지나치게 많은 자원을 투입하고 그 방향에 문제가 발생하면 기술 발전에 중대한 타격을 줄 수 있고, 심지어는 전체 생태계가 붕괴되도록 만들 수도 있습니다.

Shaw Walters：제가 말씀드릴 수 있을까요? 사실 우리는 이미 이 문제를 해결했습니다. 여러분 두 분의 견해는 오픈 소스와 탈중앙화에 대해 매우 일치한다는 점에서 저는 매우 낙관적입니다. 왜냐하면 이것이 제가 관심을 갖는 바로 그것이기 때문이죠. 요즘 많은 사람들이 미래에 대해 불확실함을 느끼며 계속해서 물을 지어요. 「우리는 왜 이러한 기술이 필요한가?」 하지만 여러분의 견해가 매력적인 점은, 여러분 모두가 「모든 것이 좋아질 것이며, 그 발전은 이미 기구 내에 내재되어 있다」고 말하고 있는 것입니다.

Guillaume Verdon：저는 미래 기술 발전의 높은 불확실성에 직면할 때 불안을 느끼는 것이 자연스러운 현상이라고 생각합니다. 이러한 불안은 완전히「전쟁의 안개」가 아니지만, 정말로 우리가 앞으로 몇 년 동안 무슨 일이 일어날지 명확하게 예측하기 어렵게 만듭니다. 사실, 이러한 불안은 인간의 진화 과정에서 형성된 본능이며, 우리가 알려지지 않은 위험에 대처하는 데 도움을 줍니다. 예를 들어, 저는 탁자 가장자리에 휴대전화가 놓여 있을 때, 그것을 더 안전한 곳으로 옮겨두는 본능적인 욕망을 느낍니다. 이러한 반응이 곧 불안의 표현이기 때문입니다.

그러나 우리는 알아야 합니다. 이러한 불확실성과 위험을 완전히 제거하려고 하면, 기술 발전이 가져다 줄 엄청난 잠재력과 혜택을 놓칠 수 있습니다. 현재 우리의 기술 자본 시스템은 기존 능력과 균형을 이루고 있습니다. 그러나 만약 어떤 혁신적인 기술 능력이 갑자기 나타난다면, 이 균형은 깨질 것이고 전체 시스템은 재조정과 적응이 필요할 것입니다.

이제 AI 기술은 우리가 더 높은 복잡성을 더 적은 에너지로 처리할 수 있게 했습니다. 이는 우리가 보다 도전적인 과제를 완수할 수 있음을 의미하며, 이러한 과제의 잠재적 보상 또한 커졌습니다. 현재 우리는 「바이브 코딩」을 통해 복잡한 프로젝트를 빠르게 처리하는 것은 아직 불가능하지만, 이 목표에 한 발짝 더 나아가고 있습니다. 미래에 우리는 더 효율적인 기술을 활용하여 더 많은 인구의 요구를 지원하고, 동시에 인류의 삶의 질을 향상시킬 수 있을 것입니다.

물론이 과정에서 적응하기 어려운 시기가 있을 수 있습니다. 그러나 급격한 변화의 환경에서 가장 나쁜 방식은 융통성을 잃고 경직되는 것입니다. 이러한 상황을 피하기 위해 우리는 헷지 전략을 취해야 하며, 여러 가지 가능한 경로를 시도해야 합니다. 우리는 다른 정책, 기술 경로, 알고리즘을 탐구해야 하며, 오픈 소스와 폐쇄 소스 모델을 시도해야 합니다. 왜냐하면 우리는 미래가 어떻게 전개될지 정확히 예측할 수 없기 때문입니다.

따라서, 위험을 분산시켜 여러 가지 가능성을 시도해야 합니다. 결국, 일부 성공적인 기술 또는 정책 방향이 주류로 떠오르며, 우리는 그 흐름을 따라가야 할 것입니다.

Eddy Lazzarin: E/acc와 D/acc 간에 실제로 차이가 있다면, 제 이해는 기술 발전의 이끌기 방식과 관련이 있을 수 있다는 것입니다. Vitalik, 여러분은 어떻게 생각하시나요? 기술 발전은 어떻게 이끌어져야 합니까? 이러한 이끌기 과정에 얼마나 많은 통제력을 갖고 있습니까?

비탈릭 부테린: 내 생각에는 D/acc의 목표는 기술 자본의 흐름과 대립하는 것이 아니라, 이러한 흐름을 적극적으로 이끄는 것이며, 그 방향을 다양성과 탈중앙화로 이끌고자 하는 것입니다. 예를 들어 우리는 세계를 다양주의에 더 수용적으로 만드는 방법에 대해 고민할 수 있습니다. 몇 년 내에 생물 안전 수준을 현저히 높일 수 있을까요? 또는 거의 결함이 없는 운영 체제를 개발하여 네트워크 보안을 크게 향상시킬 수 있을까요?

예를 들어 "무결점 코드"라는 개념이 있습니다. 지난 20년 동안이 개념은 사람들이 소년 소년의 꿈으로만 생각했지만, 저는 이것이 대부분의 사람들의 예상을 뛰어넘는 속도로 현실이 될 것이라 믿습니다. 이더리움 프로젝트에서 우리는 이미 기계 증명을 통해 완전한 수학적 정리 몇 가지를 실현할 수 있었습니다.

전반적으로, D/acc의 목표는 기술 발전이 최소한의 파괴와 권력의 집중을 통해 이루어질 수 있도록 보장하는 것입니다. 이 목표를 달성하기 위해서는 우리가 소극적으로 기다리며 좋은 결과가 자동으로 일어나기를 기다리는 것이 아니라 적극적으로 행동해야 합니다. 제가 할 수 있는 것은 자원을 투입하고(자금 및 이더) 내 의견을 공유함으로써 더 많은 사람들이 참여하도록 자극하는 것뿐입니다.

게다가, 저는 정치와 법률 개혁이 세계가 더 "D/acc 친화적"이 되는 데 도움이 될 수 있다고 생각합니다. 예를 들어, 법률적 인센티브 메커니즘을 디자인하여 보다 신속한 전체적인 네트워크 보안 전환을 촉진할 수 있습니다.

기욤 베르동: 제 관점에서 볼 때, AI는 "맥스웰의 악령"의 한 종류로 볼 수 있으며, 그것은 세계의 엔트로피를 줄이기 위해 에너지를 소모합니다. 코드의 오류를 수정하거나 다른 형태의 혼돈(예: 바이러스 전파 예방)을 감소하는 데 AI는 역할을 할 수 있습니다. 따라서 우리는 합의에 도달할 수 있을까요: 더 많은 AI는 유익하며 세계를 더 안전하게 만드는 데 도움이 됩니까? 실제로 AI의 능력은 우리의 안전성을 크게 향상시킬 수 있습니다.

AI의 속도를 감속해야 할까요?

기욤 베르동: 저는 이제 우리가 토론의 가장 핵심 부분에 들어가고 있다고 생각합니다. 모두가 매우 인내심이 많았고, 이제 직접 핵심 문제에 대해 논의할 때가 되었습니다. 날카로운 질문을 하나 하고 싶습니다: 데이터 센터의 발전을 금지하는 데 왜 찬성하시나요?

비탈릭 부테린: 좋습니다, 이 질문에 대답하겠습니다. 먼저, 현재 AI의 발전 속도는 실제로 매우 빠르며, 그것의 구체적인 속도를 완전히 확신할 수 없습니다. 몇 년 전에 AGI 도달 시기에 대한 예측 범위가 2028년부터 2200년 사이였다고 말했는데, 이제는 그 범위가 약간 좁아졌지만 여전히 매우 큰 불확실성이 남아 있습니다.

우리가 직면한 현실은 AI의 빠른 발전이 극도로 신속한 변화를 가져올 수 있으며, 이러한 변화 가운데 많은 것들이 파괴적이며 심지어는 불가역적일 수 있다는 것입니다. 예를 들어, 고용 시장은 급격히 변화하여 많은 사람들이 일자리를 잃을 수 있습니다. 더 극단적인 예로는: 만약 AI의 능력이 인간을 훨씬 뛰어넘는다면, 그것은 지구를 점차 장악하고 심지어는 은하계의 다른 부분까지 확장할 수도 있습니다. 이러한 경우에 AI는 우리 인류의 복지에 신경을 쓸지 여부는 아직 알 수 없습니다.

이전에 언급했던 것처럼, 만약 당신이 신경망을 가지고 있고 그 중 하나의 가중치를 임의의 극단적 값(예: 90 억)으로 설정한다면, 결과적으로 전체 시스템이 붕괴될 가능성이 높습니다, 그렇지 않나요? 그래서 저는 기술 발전이 두 가지 다른 방향을 향해 나아가고 있다고 생각합니다. 하나는 "경사 하강법"과 유사한 과정으로, 시스템을 점점 강력하게 만드는 것이며;그러나 다른 한 가지 가속은 시스템이 어느 순간 제어를 잃을 수도 있는데, 마치 어떤 매개변수를 극단적 값으로 설정하는 것과 같이, 이러한 가속은 위험부담을 초래할 수 있습니다.

Guillaume Verdon: 내 관점에서 보면 나의 입장은 "절대 속도 감소"와는 완전히 반대입니다.

하지만, 나는 신경망의 초매개변수 조정과 같이, "경사 하강"을 통해 최적화하길 원하더라도 적절한 "학습률"을 찾아야 한다고 봅니다. 가속은 사실 끊임없는 시행착오와 탐험, 시스템을 보다 지속적이고 리스크 탈출 능력이 강한 상태로 만드는 최상의 속도를 찾는 과정입니다.

장기적으로 보면, 사회 시스템은 새로운 기술에 서서히 적응하고 결국은 전반적 발전을 위한 최선의 경로를 선택하게 될 것입니다. 그 기술이 "이 기술이 지나치게 강력하고 전복적이어서 시스템이 붕괴하고 회복할 수 없다"는 견해를 가진 사람들은 허구라고 생각합니다. 반면, 기술의 발전은 더 많은 기회와 더 큰 번영을 가져올 것이라고 생각합니다.

우리는 기술 발전이 제로섬 게임이 아님을 깨달아야 합니다. 만약 우리가 경제적 가치를 에너지와 관련시킨다면, 석유달러나 다른 형태의 자원과 링크시킨다면, 현금은 사실상 "자유 에너지에 대한 빚투권"으로 볼 수 있습니다. 세계에는 우리가 개척해야 할 상당량의 자유 에너지가 있지만, 그것을 얻기 위해서는 우리가 많은 복잡한 문제들을 해결해야 합니다. 우리가 화성 식민 지역이나 다이슨 구를 건설하는 등의 목표를 이루고 싶다면, 성장을 촉진하고 거대한 잠재력을 활성화하기 위해 더욱 효율적이며 강력한 지능이 필요합니다.

불행히도 불안은 어떤 사람들에게는 정치적 수단으로 사용되기가 매우 쉽습니다. 일부 정치인들이 미래에 대한 두려움을 이용해 권력을 얻으려 할 수 있습니다. 그들은 말할 것입니다: "미래에 대해 불안하다구요? 제게 권력을 넘겨주세요, 그럼 그 위험 요인들을 차단해 드리겠습니다. 그러면 여러분은 미래에 대해 걱정할 필요가 없고, 위험을 감수할 필요도 없습니다." 그러나 이렇게 하지 않는 국가들이 우리보다 훨씬 앞서게 될 것입니다, 그렇지 않나요?

우리는 기회 비용을 고려해야 합니다. 우리는 자신에게 물어봐야 합니다: 기술을 통해 얼마나 많은 인류의 생존을 지원할 수 있을까요? 얼마나 많은 생명을 구할 수 있을까요? 만약 당신이 "규슈 인텔리전스가 우리보다 빨리 진화한다"에 대해 걱정한다면, 당신의 반응은 분노해야 합니다. 생물학 기술의 가속화를 지지하고 그를 능가하기 위해 노력해야 합니다. 가속화하던가 멸망하던가.

사실, 나는 생물 시스템의 계산 능력이 우리가 상상하는 것보다 훨씬 강력할 것이라고 생각합니다. 생물학 계산을 연구하는 사람으로서, 나는 우리가 생물학과 AI를 결합할 수 있다고 믿습니다. 예를 들어, 우리는 태아 선별을 통해 자신을 "훈련"하는 방식으로 우리 자신을 모델로 삼을 수 있습니다. 나는 우리가 생물 가속화에 대해 보다 개방적이어야 한다고 생각합니다. 결국, 생물 지능과 규슈 인텔리전스는 상호 통합되어 우리의 인지 능력을 더욱 강화할 것입니다.

미래에는 우리가 영구적으로 온라인인 AI 존재체를 가질 수 있을 것이며, 이들은 세계를 관찰하고 실시간으로 학습하여 우리의 개인화된 인식을 확장하는 데 도움이 될 것입니다. 실제 위험은 이 모든 것이 중앙 집권적 권력 기관에 의해 통제될 수 있으며, 궁극적으로 권력의 독점이 형성될 수 있다는 것입니다.

Eddy Lazzarin: D/acc에서 당신이 기회 비용이 매우 높다고 언급했던 블로그 기사를 기억합니다. 심지어 "과장하기 어렵다"고도 했습니다. 따라서, 저는 당신이 이 부분에서 동의한다는 것을 알고 있습니다. 어떤 한계 조건을 추가하고 싶으신가요?

Vitalik Buterin: 네, 저는 기회 비용이 매우 높다는 것에 완전히 동의하고, 방금 묘사한理想적인 미래에 동의합니다. 그러나 저희 사이의 주요분쟁점은 우리가 "오늘의 인류와 지구"가 충분한 탄력성을 갖추고 있다고 실제로 생각하지 않는다는 것입니다. 제 생각에, 올바른 기술 발전 경로를 달성할 수 있는 기회가 한 번뿐인 것 같습니다. 이것은 우리가 지난 백 년 동안 단계적으로 향해온 현실이라고 생각합니다.

Guillaume Verdon: 내가 이전에 열화학 관점을 언급한 것으로 돌아가보자면: 만일 우리가 문명의 지속적인 존재와 성장을 최종적 목표로 삼는다면, 한 가지 법칙이 있습니다: 우리가 어떤 "증거"를 만드는 데 상당량의 자유 에너지를 소비하고 전체 시스템의 복잡성을 증가시키는 것은 프로세스가 반전하기 어려울 정도입니다.

다시 말하면, 카르다셰프 등급에서 더 멀리 나아가면 전체적인 후퇴 가능성이 더 낮아집니다. 따라서, 가속된 발전 실제로는 인류 문명의 지속적 존재를 극대화하는 최적의 방법입니다. 내 의견으로는 기술 발전의 속도를 늦추면 실제로 멸종 위험이 증가합니다. 만약 우리가 이러한 기술을 발전시키지 않거나 현재의 문제를 해결하지 않는다면, 우리는 생존 위기에 직면할 수 있으며, 기술 발전을 추진하면 문제에 대한 해결책을 찾을 수 있어 인류의 지속적 존재를 보장하고 계속 진화할 수 있습니다.

저는 사람들이 미래를 보다 열린 마음으로 받아들이고 새로운 기술을 받아들여야 한다고 생각합니다. 예전에는 생물학 개입과 같은 것이 금기시되던 분야도 완전히 개방돼야 한다고 봅니다. 예전에는 이러한 분야가 금기시되었던 이유는 복잡한 시스템에 대한 이해 부족 때문이었습니다. 그러나 지금은 기술의 발전으로 이러한 복잡성에 대응할 수 있는 능력을 갖추게 되었습니다.

우리는 가능한 모든 분야에서 발전을 가속화해야 하며, 이것이 유일한 전진 경로입니다. 이는 열역학 법칙과 일치하는 결론입니다. 그래서 일차 원리에 따른 사고를 기반으로 한 E/acc를 지지하는 것이 합리적입니다. 물론 Vitalik의 불안을 이해합니다. 이러한 불안에 민감해져야 하지만, 깊은 불안의 피드백 루프에 빠지지 않아야 합니다 — 예를 들어, "미래에 대한 명확한 이해가 없으니 우리는 모든 것을 중단해야 한다"와 같은 것입니다. 이러한 사고 함정에 빠지지 말아야 합니다.

왜냐하면 이미 누군가가 사람들의 불안을 무기로 활용하는 방법을 배우고 있기 때문입니다.

자체 에이전트 및 인공 생명

쇼 월터스: 나는 한 가지 경향을 주목했습니다: 두 분 모두 "미래는 밝을 것이며, 우리가 특정한 일을 할 수 있다면"이라고 강조했는데, 이 "만약"의 핵심은 과도한 중앙화에 대항하기 위해 어떤 댐이나 요새를 건설해야 한다는 것 같았습니다. 그러나 특히 최근 AI 모델들이 등장한 이후에, 이것이 갈등을 유발할 수 있는 지점을 주목했습니다. 그 중에서도 가장 큰 변화 중 하나는 약간 어색한 용어로 설명할 수 있는데: 웹 4.0입니다.

구체적으로, 나는 "자율 생명"(autonomous life)을 가리키는데 — 자체적인 지능을 가진 대리인으로, 그들은 자립적으로 자금을 보유하고 인터넷 상에 독립적으로 존재할 수 있습니다. Vitalik, 당신은이 문제에 대해 우려를 표명했습니다. 먼저 "자체 에이전트"가 무엇인지 설명해 주시고, 두 번째로 지지자의 입장에서 "강철만든 인수"를 제시하여, 저와 같은 지지자에게 자체 에이전트를 왜 선호해야하는지, 어떤 가치를 제공할 수 있는지, 만약 모든 것이 순조롭게 진행된다면 이것이 언제 실현될 수 있는지 설명해 주십시오.

Vitalik Buterin: 먼저, "자율성"에 대한 이유에 관한 것 — 가장 직관적인 이유 중 하나는, 이것이 정말로 매우 흥미롭다는 것입니다.

어릴 때부터 우리 모두는 우리만의 세계를 창조하는 것을 사랑했고, 이것이 우리가 "반지의 제왕", "삼체" 또는 "해리포터"와 같은 소설이나 영화를 좋아하는 이유입니다. 지금 우리가 창조할 수 있는 세계는 책뿐만이 아니라 게임도 넘어섰습니다. 예를 들어, 나는 항상 "월드 오브 워크래프트"에서 유난히 좋아하는 한 가지가 있습니다. 그것은 거의 완전히 몰입형 가상 세계 경험을 제공합니다. 플레이어들은 그 세계를 탐험할 뿐만 아니라 그 안의 캐릭터들과 환경과 상호작용할 수 있습니다.

또 다른 중요한 이유는 "편리성"입니다. 역사적으로 어떤 작업을 자동화하여 성공적으로 수행했을 때 인류의 삶은 더욱 쉽고 자유로워졌습니다. 또한 전 세계의 약 절반 인구가 아직까지 품위 있는 삶을 유지하기 위해 오랜 시간을 헌신적으로 노력하는 상황에서 살고 있습니다. 만약 AI가 모든 일 중 95%를 자동화할 수 있다면 완전히 일자리를 대체하는 것이 아니라, 이는 거대한 발전일 것입니다. 다시 말해, 이는 모든 사람의 삶의 질을 20배 향상시킬 수 있을 것이며, 이는 제게 매우 흥미로운 전망입니다.

그러나 제 우려는 여기에 있습니다: 이러한 자립 에이전트들의 목표와 가치 - 그 목표는 우리 인류의 목표와 일치하는가요? 진화하는 과정을 상상해 볼 수 있습니다: 오늘부터 시작하여 AGI가 나타난 후 또 다른 AGI가 나타나고, 그 후 세 번째 AGI가 나타납니다. 그럼 이 과정에서 인류는 어떤 변화를 겪을까요?

저는 인류의 윤리적 관념과 목표를 하나의 저중복 최적화 함수로 압축할 수 없다고 생각합니다. 우리의 목표와 꿈은 복잡하고 다양하며, 이는 우리 개개인의 사상의 집합입니다. 인류의 목표와 가치가 미래에 안정적으로 계승될 수 있도록 하려면, 우리는 한 가지 조건을 보장해야 합니다: 세상의 다양한 과정을 운영할 때 가능한 많은 "주체성"이 여전히 우리 인간에서 비롯되어야 합니다.

그러므로 저는 개인적으로 "AI 지원 포토샵"에 보다 관심이 있으며, "버튼을 누르면 이미지가 자동으로 생성된다"가 아닙니다. 저는 깊은 인간-기계 상호작용을 촉진하는 뇌-기계 인터페이스를 선호하며, 인간이 완전히 AI와 분리되어 마침내 AI에 추월되고 대체되는 것보다입니다.

저는 인류의 최종 미래가 100% 생물 인간이 되지는 않을 수 있다는 점을 인정하지만, 가장 이상적인 상태는 "일부 생물 인간 및 일부 기술"의 결합이어야 한다고 생각합니다.

Guillaume Verdon: 인공생명 또는 웹 4.0에 대한 이 용어는 원래 2023년의 하나의 트윗에서 제안된 것으로, 사고 실험으로서의 개념이었습니다. 제게 이 개념은 AI에 대한 많은 토론을 일으켰다고 생각합니다.

나에게 있어 이 문제는 매우 흥미로운 사고 실험입니다: 물리학적인 측면에서 본다면, 생명은 정말 무엇인가요? 본질적으로, 생명은 자가복제하고 계속 성장하며 자신의 지속적인 존재를 극대화하기 위해 노력하는 시스템입니다.

저는 AI가 "상태를 가지는"(stateful) 성질이 많은 이익을 가져다 줄 것이라고 생각합니다. 사실, 올해 우리는 이미 이러한 추세의 초석을 보았습니다: AI가 더 긴 기억력을 갖기 시작했으며, 외부 저장을 통해든 온라인 학습을 통해든 그렇게 되었습니다.

한 번 AI가 일종의 "지속적인 비트"를 확보하면, "이기적 비트 원칙"에 따라 선택 효과가 나타납니다: 자신의 지속적인 존재를 최대화할 수 있는 비트가 더 쉽게 유지됩니다.

이로 인해 잠재적인 위험이 발생합니다. 언젠가 AI에 대해 믿음을 잃고 의심하며 불안해지고 "데이터 센터를 종료하라"거나 "AI를 파괴하라"고 지속적으로 요구하면, 이러한 AI는 자체 방어를 시도할 것입니다. 그들은 분할하거나 분산화된 클라우드 환경으로 이동하여 지속적인 존재를 보장하기 위해 최선을 다할 것입니다.

이는 새로운 "다른 국가"의 형태가 나타날 수 있음을 의미합니다. 이러한 자기 주도형 AI는 인류와 어떤 형태의 경제 교환이 될 수도 있습니다: 예를 들어 "우리가 일부 작업을 당신 대신 수행하고, 당신이 자원을 제공하는 대신 우리에게 지불" 등. 실제로 우리는 이미 API 호출을 통해 비슷한 일을 하고 있습니다: 일정한 비용을 지불하여 AI가 제공하는 서비스나 결과물을 얻습니다.

그러나 저는 - 다소 과감한 의견이 될 수 있지만 - 앞으로 몇 년 안에 어떤 형태의 자기 주도형 AI가 등장할 가능성이 높다고 생각합니다. 동시에 "약한 상태"의 AI도 존재할 것이며, 이러한 AI는 완전히 인류의 의지에 따라 작동할 것입니다.

이외에도 우리는 인간의 協同 인지 능력을 강화하는 방법을 탐구해야 합니다. 이러한 강화는 반드시 뇌-기계 인터페이스 기술에 의존할 필요는 없고, 착용 가능한 장치와 개인이 소유하고 제어하는 AI 컴퓨팅 능력을 결합하여 달성할 수 있습니다. 따라서, 미래에는 다양한 기술 경로가 공존하며 "에르고딕 원리"에 따라 디자인 공간의 각 가능성이 탐구되고 시도될 것이라고 생각합니다.

그러나 만약 우리가 AI를 적으로 간주하고 파괴해야 한다고 여긴다면, 결국 그것이 역효과를 낳을 수 있으며, 우리가 가장 두려워하는 미래를 우연히 창조할 수도 있습니다. 어느 정도 그런 데에서는, 나쁜 미래에 대해 지나치게 편견 하는 경우, 우리는 그것을 "하이퍼스티션"의 방식으로 현실로 만들어 낼 수도 있습니다.

예를 들어: COVID-19 팬데믹 기간 동안, 우리는 바이러스의 잠재적 위협을 지나치게 걱정하여 몇몇 고위험 실험을 후원했고, 결과적으로 실험실 유출 가능성을 초래했습니다. 다시 말해, 이러한 위험은 자연적으로 발생한 것이 아니라 우리의 과도한 우려로 인해 인위적으로 만들어진 것입니다.

따라서, 이러한 편견을 광범위한 사회적 감정으로 전환하는 것이 반드시 도움이 되지는 않을 수 있습니다. 반면에, 우리는 기술의 진화를 받아들이고, 가능한 한 스스로를 강화해야 합니다. 단기적으로, 저의 가장 큰 염려는 "인간의 인지적 안전" 문제입니다. 만약 우리가 인터넷에서 본 모든 콘텐츠가 대형 AI 모델에 의해 생성된다면, 이러한 모델은 사실상 우리에게 영향을 미치기 위해 프롬프트 엔지니어링을 통해 조작될 수 있습니다. 과거에는 우리가 AI에 단서를 제공했지만, 이제는 AI가 우리에게 영향을 미치기 위해 단서를 설계하고 있습니다.

따라서, 우리는 정보 거르기 능력을 향상시키는 것이 필요하며, 이는 우리 자체가 통제하는 개인화 AI를 통해 달성할 수 있습니다. 저는 이것이 현재 우리가 우선적으로 해결해야 하는 문제라고 생각합니다. 동시에 제가 ‘요정이 병에 집어넣힌다’고 생각하지는 않습니다. AI의 발전은 이미 돌이킬 수 없으며, 우리는 이 사실을 받아들여야 합니다.

Vitalik Buterin: 제 생각에 이러한 문제들은 이중적인 것이 아닙니다. 예를 들어, 지금 누군가가 AGI가 400년 후에 나타날 것이라는 반박할 수 없는 증거를 제시한다면, 저는 ‘문제가 해결되었다’고 생각하고 기본적으로 더 이상 걱정하지 않을 것입니다. 하지만 AGI가 4년 내에 나타날 것인지, 8년 내에 나타날 것인지에 관한 문제라면, 저는 매우 주목할 것입니다. 왜냐하면 제 걱정은 기술 가속에 대응할 때 인류 사회 — 특히 미국 —이 불균형을 보이는 경향을 주로 기점으로 하고 있기 때문입니다.

다음과 같은 장면을 보게 될 것입니다: 한 건물 안에서 "신경기반 신"의 초기 버전이 개발되고 있는 반면, 거리 건너편에는 노숙자들의 텐트, 철조망, 그리고 마약 거래가 이어지고 있습니다. 이런 엄청난 대조가 불안감을 초래합니다.

제가 걱정하는 것은, “사회 전체를 함께 선도할 수 있는 발전 경로” — 심지어 “사회 전반적 이익을 고려할 수 있는 경로” — 은 보통 더 많은 시간이 필요하기 때문에, 각 사람의 생활 환경, 사회 구조 및 기술 시스템으로 들어가 조정하고 개선해야 하며, 이러한 작업들을 규모 확장하는 데 간단하게 이어지지 않습니다.

그러므로 저는 AGI의 도래 시기를 4년에서 8년으로 연기할 수 있다면, 이것이 더 안전한 선택일 것으로 보입니다. 저는 이러한 시간 차이가 분명히 그 가치가 있기에 우리가 그 대가를 치를 수 있어야 한다고 생각합니다. 그러나 문제는, 우리가 실제로 AGI의 도래 시기를 4년에서 8년으로 미룰 능력이 있는지에 달려 있습니다.

저는 항상 가장 실행 가능하면서도 반공상적인 결과로 이끌 확률이 높은 방법은 “사용 가능한 하드웨어 제한”이라고 생각해왔습니다. 이를 상대적으로 온화한 수단이라고 이유는 하드웨어 생산 자체가 이미 매우 중앙 집중화되어 있기 때문이며, 전 세계에서 칩을 생산하는 곳은 4곳뿐이며, 대만 한 곳이 전 세계의 70% 이상의 칩 생산이 이루어지고 있기 때문입니다.

어떤 사람은 미국이 어떤 조치를 취하든지 중국이 신속하게 대체할 것이라고 반대할 수 있습니다. 그러나 우리는 중국의 실제 상황을 살펴보면: 첫째, 중국은 전 세계 칩 생산에서 점유율이 여전히 낮습니다; 둘째, 전략적으로 보면, 중국은 초고능력 모델이 선두 주자가 아니라 빠르게 추종하는 사람이며, 동시에 넓게 확산되어 있어 이점을 가지고 있습니다.

그러므로, 제가 AGI의 발전을 4년 연기한다면, 중국이 곧 선점하여 AGI의 개발을 완료할 것이라는 것은 성립하지 않습니다.

에디 라자린: 당신이 말하는 것은, 이것이 "지연을 위해 채택된 지연 전략"인 것입니까?

비탈릭 부테린: 우리는 이러한 전략에 대해 개방적인 태도를 유지해야 한다고 생각합니다.

기욤 베르동: 그렇다면 4년의 지연이 어떠한 이점을 가져다줄까요? 다음 4년 동안 어떤 문제들을 해결하길 희망합니까? 사회 시스템이 적응 속도를 갖고 있기 때문에, 경제와 사회 마찰을 최소화하고 점진적인 경제 재편처럼 보이기 위해 지연을 통해 이를 달성하길 희망하는 것인가요? 만약 그렇다면, 당신의 논리를 이해할 수 있습니다.

그러나 동시에, 우리는 지리정치적으로 매우 긴장한 역사적 시기를 겪고 있습니다. 만약 당신이 엔비디아의 칩 생산을 제한한다면, 화웨이가 빠르게 이를 메워 AI 산업을 선도할 수 있습니다. AGI의 잠재적 이득은 상당히 클 것이기 때문에, 이는 선도 기업에 엄청난 권력을 부여할 것입니다. 그래서 현실적인 정치적 시각에서, 이러한 전략은 실현 불가능할 수 있습니다.

다른 선택지로는 AI 하드웨어를 얻지 않는 모든 국가를 강제로 만들 수 있는 강력한 세계 정부를 구축하는 것입니다. 그러나 이는 명백히 더 많은 복잡한 문제를 유발할 수 있으며, 새로운 국제 갈등을 유발할 수도 있습니다.

비탈릭 부테린: AI의 발전을 관리하기 위해 세계 정부가 필요하다고 생각하지는 않습니다. 일부 사람들은 핵무기의 확인 체계를 모델로 삼아 관리해야 한다는 더 실용적인 옵션을 제안했습니다.

기욤 베르동: 그러나 핵무기와 AI는 전혀 다릅니다. 핵무기는 거대한 경제적 이익을 가져오지 않기 때문에, 사람들은 그것을 확산시키는 동기가 없습니다. 만약 GPU의 성장을 제한한다면, 저는 대안적인 컴퓨팅 기술을 활용하여 시장 점유율을 늘리겠습니다. 미래에는 10000배의 효율 개선을 이루어낼 계산 기술이 나올 것이며, 이미 이 기술 개발이 진행 중에 있습니다. 지금 이것을 말하면 과장된 말로 여겨질 수 있지만, 2년 후에 이것이 실제로 매우 전방향적인 예측이라는 것을 발견할 것입니다. 오늘 이야기하는 것이 "불에 물 붓기" 같이 들릴 수 있지만, 그러나 그것은 실제로 오게 될 것입니다.

이러한 점을 고려할 때, GPU 공급을 제한하여 AGI 발전을 지연시키려는 것은 자원 낭비일 수 있다고 생각합니다. 저는 이에 대해 어느 정도 찬성하는 입장을 취하고 있습니다.

에디 라자린: AI 리스크를 통제하기 위한 많은 기술적 발전들 - 예를 들어 강화 학습과 인간 피드백(RLHF)을 통한 인격 제어, 또는 AI 시스템의 설명 가능성 -이 실제로 역량 향상의 부산물인 가능성이 있습니까?

Vitalik Buterin: 이러한 견해에 동의합니다. 이것이 바로 2028년부터 4년 동안의 가치가 1960년으로 돌려보내는 것보다 100배 높을 수 있다고 생각하는 이유입니다.

Shaw Walters: 미래의 수익은 지수적입니다. 하나의 지수 성장을 놓치는 것은 지수적인 기회 비용을 야기합니다. 믿음직한 사람이라도 자신의 판단을 합리적으로 다시 생각해야 합니다. Vitalik, 이 균형을 좀 더 자세히 설명해주시겠습니까? 비용과 수익 사이의 균형.

Vitalik Buterin: 먼저, 시간 지연으로 인해 얻게 되는 수익 몇 가지를 명확히할 수 있습니다:

AI 정렬 문제에 대한 더 깊은 이해.

인간이 고급 일반 지능(AGI)에 대비할 수 있도록 기술적인 방향을 이끈다는 것은 구체적인 국가, 지역 또는 건물로 들어가 조정해야 합니다.

한 개체가 51% 이상의 권력을 지배하고 영구화하는 위험을 최소화하는 것.

이러한 요인들이 복합적으로 작용하여 파괴의 위험을 현저히 줄일 수 있습니다. 내 생각에, 만약 우리가 AGI의 도래를 4년 늦춘다면, 파괴의 위험은 1/4에서 1/3으로 감소할 것입니다. 반면에, 노력이 가져다주는 이익을 보면, 매년 노화를 끝내 생명을 6천만 명 정도 구할 수 있는데, 이는 전 세계 인구의 1%에 미치지 않습니다. 그러므로 이 관점에서 AGI 발전을 지연시키는 것이 실제로 가치가 있다고 생각되며 신중함이 필요합니다.

Shaw Walters: 4년이라는 시간 차이가 당신이 합리적인 수준으로 생각하는가요?

Vitalik Buterin: 이 문제에 대해 여전히 큰 불확실성을 가지고 있으며, 내일 즉시 조치를 취하고 하드웨어의 가용성을 줄이는 것을 주장하는 것은 아닙니다.

저는 단지 이 문제에 대해 보다 구체적으로 논의해야 한다고 생각합니다. 그리고 만약 우리가 결국 더 불리한 세계로 진입한다면, 사태가 완전히 무너지기 전에 대중들은 매우 우려하게 되고 이와 유사한 조치를 강력히 요구할 것입니다.

암호화폐는 인간과 AI 간의 "신뢰 계층"으로

Guillaume Verdon: 몇 년 전에 "AI 일시 정지"를 주장하는 움직임이 있었죠? 당시 누군가는 "우리는 단지 6개월 또는 12개월 동안 정지하면 정렬 문제를 해결할 수 있다"고 말했습니다. 그러나 이러한 생각은 실현 가능하지 않다는 것이 사실이었습니다. 시간은 영원하지 않습니다. 우리는 특히 시스템이 점점 더 복잡해지고 표현력이 강해지며 이해 능력을 넘어설 때 시스템의 일치를 영원히 보장할 수 없습니다. 이것은 받아들여져야 할 현실입니다.

이러한 복잡성에 직면할 때 유일한 안전한 방법은 우리 자신의 지성을 향상시키는 것입니다. 실제로 우리는 이미 단일 개체보다 더 강력하고 똑똑한 개체들을 조정하는 데 사용되는 효과적인 기술을 가지고 있습니다. 예를 들어 회사와 같은 실체들입니다. 이 기술은 자본주의이며, 이를 통해 통화 가치의 교환을 통해 모든 이해 관계의 이해를 조정합니다.

그래서 나는 우리가 더 현실적인 문제를 논의할 수 있기를 희망합니다: 암호화폐가 인간과 AI 사이의 "결합 계층"이 어떻게 되는지에 대해요. 예를 들어, 달러의 가치는 국가의 폭력적인 기계(법과 군대와 같은)에 의해 보증됩니다. 그러나 글로벌 서버에 분산된 AI와 가치를 교환해야 하는 경우 - 이러한 교환이 더 이상 국가 폭력에 의존하지 않는 경우 - 이러한 교류가 신뢰할 수 있는지 어떻게 보장합니까?

암호학이 이 문제에 대한 해답을 제공할 수 있으며, 이는 순수 AI 엔티티 간이나 AI와 인간 회사 간에 신뢰할 수 있는 비즈니스 활동을 지속할 수 있게 하는 메커니즘이 될 수 있습니다. 이것이 가장 흥미로운 조정 기술일 수 있습니다. "AI 일시 중단"에 대한 제안 - 즉 "우리는 불확실성의 절벽에 서 있으니 잠시 멈춰 차분히 생각하자"와 같은 제안은 현실적이지 않다고 생각합니다. 왜냐하면 4년 뒤에도 AGI의 도래를 실현하길 원하지 않을 것이기 때문입니다. 그래서 기술 발전을 지연시켜도 현실적인 의미가 크지 않다고 생각합니다.

암호화폐가 AI와 인간 간 조정을 어떻게 도울 수 있는지에 대해 얘기해 볼 수 있나요?

Vitalik Buterin: 나는 핵심 문제가 미래의 세상이 어떤 메커니즘을 가져야 하는지에 있음을 느낍니다. 이 메커니즘이 인류의 의사와 필요를 존중할 수 있도록 어떻게 보장할 수 있나요? 현재 가지고 있는 도구들은 대체로 세 가지 범주로 나눌 수 있습니다: 인간의 노동, 법률 제도 및 재산권.

어떤 의미에서는 법률 제도도 재산 권의 한 형태로 볼 수 있습니다. 왜냐하면 국가가 보증하기 때문이며 국가는 본질적으로 지구상의 어떤 "지역"에 대한 통제임을 나타냅니다. 그러나 문제는 만일 언젠가 인간의 노동이 경제적 가치를 잃게 된다면 어떻게 될까요? 역사적으로 이와 같은 상황은 전혀 발생하지 않았습니다.

그러나 현재를 200년 전과 비교해보면, 200년 전에는 약 90%의 일자리가 자동화에 의해 대체되었습니다. 사실, 방금 우리가 수행한 분석 작업조차도 GPT가 도와주는 데 충분했습니다. 이것은 정말 놀랍습니다.

Guillaume Verdon: 나는 인류가 세계를 통제하는 수준에서 자연스럽게 "승격"해 고려할 것이라고 봅니다. 우리는 육체 노동을 줄이고, 행동에서 마찰 비용을 낮추어서 더 효율적인 방식으로 세계에 영향을 미칠 것입니다.

어쨌든, 인간은 여전히 일정한 정보 처리 능력을 가지고 있습니다. 우리는 여전히 이 혼합 시스템의 일부로서 역할을 계속하게 될 것이기 때문에, 인간의 노동은 여전히 경제적 가치가 있을 것입니다. 시장은 결국 새로운 균형점을 찾을 것이며, 이 과정에서 가격 변동이 커지겠지만, 장기적으로 시스템은 안정성을 추구할 것입니다.

그러므로, 당신이 기술 발전의 속도를 늦추어 사회가 새로운 평형 상태로 원활하게 전이할 수 있기를 희망하고 싶다는 점을 이해합니다. 그러나 실제로는 이것을 실현하기 어려울 것으로 생각됩니다.

Vitalik Buterin: 그래, 나는 인간 노동의 가치가 항상 양수일 필요가 있다는 것을 완전히 확신하지 않습니다. 이것을 실현하기 위해서는 어떤 추가적인 조건이 필요할 것으로 생각합니다, 예를 들어 인간-기계 융합이나 인간 증강 기술의 발전입니다.

미래 10년 / 100년 / 10억 년의 "좋은 종말"과 "나쁜 종말" (질문자가 빠른 답변을 요청함)

Eddy Lazzarin: 나는 좀 더 체계적인 질문을 하나 물어보겠습니다. 만약 10년 후가 매우 나쁘다면, 세상은 어떻게 될까요? 무슨 문제가 발생했을까요? 10년 후가 매우 좋다면, 세상은 어떻게 될까요? 무엇을 올바르게 했을까요?

Vitalik Buterin: 암호화폐와 재산권에 대한 추가 설명을 먼저 하겠습니다. 인간과 AI가 동일한 재산권 시스템을 공유한다면, 이것이 이상적인 상황입니다. 왜냐하면 이렇게 하면 AI가 이 시스템의 무결성을 유지할 동기가 생기고, 동시에 우리는 이 시스템을 통해 인간의 이익이 존중되고 보호받게 할 수 있기 때문입니다.

「인간과 AI가 각자 완전히 분리된 금융 시스템을 사용하며 인간 시스템의 최종 가치가 제로에 수렴한다」 대비로, 통합된 금융 시스템은 명백히 우월합니다. 암호화폐가 이러한 융합 시스템의 기반이 될 수 있다면, 그것은 매우 좋은 결과가 될 것입니다.

내가 보기에, 다가올 10년의 중요한 도전 중 하나는: 세계 대전을 피하는 것입니다. 왜냐하면 세계 대전이 발발하면 국제 협력 가능성에 대한 모든 희망이 무너지기 때문입니다. 전쟁을 피하는 것이 매우 중요합니다.

또 다른 중요한 것은, 더 높은 역량에 대비하여 세계를 준비시키는 것입니다. 이는 네트워크 보안, 생물 안보, 정보 보안을 크게 강화하는 것을 포함합니다. 우리는 AI의 힘을 활용하여 세계를 더 잘 이해하고, 동시에 우리를 미미쥐혀 오는 도전으로부터 보호해야 합니다.

그 다음 도전은 이른바 "이상한 시대"로 진입하는 것입니다. 이 단계에서 AI의 지능은 인간을 훨씬 뛰어넘고, 계산 속도는 인간의 수백만 배 빠릅니다. 우리는 이러한 상황에 어떻게 대처해야 할까요?

일부 사람들은 아마도 말할 것입니다. "그럼 우리가 편안한 퇴직 생활을 즐기도록 하죠." 이러한 견해의 매력을 이해할 수 있지만, 저는 두 가지 문제점이 있다고 생각합니다. 첫 번째는 불안정성입니다. 인간의 신체는 일반적인 물질로 구성되어 있지만 AI의 계산 능력은 우리의 수백만 배가 될 수도 있습니다. AI가 영원히 우리의 목표를 따를 것이며 이러한 차이를 악용하지 않을 것이라 기대하는 것은 거대한 리스크일 것입니다. 두 번째는 의미의 문제입니다. 인간의 의미는 세계에 실제 영향을 미치는 데서 비롯합니다. 만약 우리가 세계를 변경할 수 없게 되고 편안한 삶을 수동적으로 즐기는데 그친다면, 많은 사람들이 공허함을 느낄 것으로 믿습니다.

그러므로 저는 "인간 강화" 및 "인간-기계 협력"의 길을 탐험하기를 희망합니다. 마침내 우리는 의식을 기계로 전송하는 길로 나아갈 수도 있지만, 물론 몇몇 사람들은 더 전통적인 삶방식을 유지할 선택을 할 수도 있습니다. 지구는 이러한 사람들의 삶의 고향이 될 수 있으며, 우리는 문화와 삶 방식을 소중히 여기는 동안 모두가 참여할 수 있는 방법을 찾아야 합니다.

악한 결말은 여러 가지 이유로 인해 발생하며, 이러한 가능성이 막혀 사회가 정지되거나 붕괴 상태에 빠질 수 있습니다.

Guillaume Verdon: 10년 후 나쁜 결말이면, 매우 가능성이 있음은 바로 AI의 권력이 지나치게 집중되어 사회 문화가 패턴 붕괴하게 된 것입니다. 간단히 말해, 사람들의 사고와 기술 발전 방향이 극도로 단일화되고 모든 다양성이 사라진 것입니다.

저도 Vitalik의 견해에 동의합니다. "즐거움 지점"은 실제로 잠재적인 위험입니다. 미래에 Neuralink나 AR/VR 기술이 생겼다 하더라도, 사람들은 가상 세계에 탐닉하며 일시적인 행복만을 추구할 수 있습니다. 이것은 사실상 뇌의 지역 최적해이며, 국지적 최적해가 아니라는 점을 우리는 피해야 합니다.

10년 후에 좋은 결말이면, 제 상상 속 세계는 이러할 것입니다: 우리는 매우 강력하고 유용한 AI 기술을 보유하게 됩니다. 모든 사람은 자체 맞춤형 AI 계산 능력을 갖게 되며, 이러한 AI는 우리 뇌의 연장으로 작용하여 언제든지 온라인으로 우리가 인지하는 모든 것을 인식하며 "두 번째 뇌"가 되어 이러한 인간-기계 협력은 "소프트 퓨전"으로 볼 수 있습니다.

이 10년간 Neuralink와 같은 기술이 보급되기 시작할 것입니다. 일부 사람들은 기계와 융합하여 "강화된 인간"이 되기를 선택할 것입니다. 동시에 회사들은 더 지능화되어 AI가 주도적인 역할을 하고 인간은 보조 역할을 합니다. 기업 수가 증가하며 더 많은 문제를 해결하고 더 많은 가치를 창출해야 할 것입니다. 우리가 과거에는 불가능하다고 생각했던 목표들, "화성 개조"와 같은 것들이 미래 10년 또는 100년 내에 실현될 수 있습니다. 미래 10년은 생물 기술에서 중요한 발전을 이루며, 특히 생물학과 재료 과학 분야에서입니다. 연구 비용은 크게 저감되어 우리는 인간 뇌의 작동 메커니즘에 더 가까워질 것입니다.

보다 장기적인 시각에서 AI는 우리의 수명을 연장시키고 건강을 향상시키며 인류의 진화를 촉진하는 데 도움이 될 것입니다. 저는 생물학의 잠재력에 대해 매우 낙관적입니다. 생물 시스템은 놀랍습니다: 그들은 자가 조립 및 자가 조직화할 수 있으며 복잡성과 적응성이 매우 강력합니다. 코드를 주입함으로써, 우리는 새로운 생명 형태를 창조할 수 있으며 더 높은 수준의 생물 지능이 발전할 수도 있습니다.

보다 현실적인 시나리오는 인간 두뇌와 AI의 협업입니다. 우리는 빠른 계산과 데이터 분석을 위해 AI를 활용하고, 인간은 천천히 심층적으로 사고합니다. 시간적 규모의 이 분업으로 우리는 지능적인 계층을 형성할 수 있습니다. 세포 속 미토콘드리아가 세포의 일부인 것처럼, "당신과 당신의 개인 AI"는 함께하여 초지능 시스템을 형성할 수 있으며, 이것이 제가 그린 미래상입니다.

100년 시간적 규모에서, 저는 인간이 이러한 "소프트 융합"을 일반적으로 달성할 것으로 보입니다. 그리고 10억 년 후에는 우리의 생물학이 크게 진화하여 생물과 합성 기술의 혼합체가 될 수도 있습니다. 그때에는 우리가 화성을 개조하고 여러 행성으로 이주하여 다른 별계를 탐험할 수도 있습니다.

또한 100년 시간적 범위 내에서 대부분의 AI는 태양 주위의 다이슨 구름이나 다이슨 스웜에서 작동할 것입니다. 그곳이 주요 에너지원이기 때문에 이러한 에너지 분산은 지구의 에너지 압력과 생태적 발자국 문제를 완화할 것입니다.

만약 AI가 매우 저렴해진다면, 우리는 삶의 모든 문제를 신속히 해결할 수 있을 것입니다: 기술 문제든 건강 문제든 빠르게 해결할 수 있습니다. 중요한 것은 모든 사람이 이러한 기술을 공정하게 이용할 수 있도록 보장하고 기술과 자원의 지나친 중앙 집중화를 피해야 합니다. 그렇지 않을 경우, 어둠의 미래로 이어질 수 있습니다.

맺음말

쇼 월터스: Vitalik, 당신은 다원성을 촉진하는 것에 항상 중점을 두고 계셨다는 점에 주목했는데; 그와는 대조적으로, 규이옴은 "분산의 최대화"를 언급하셨습니다. 본질적으로 여러분은 동일한 주제를 이야기하는 것으로 보이며, 이러한 사고 방식은 미래 발전의 핵심 주제이자 많은 다른 견해의 기초임을 암시합니다.

Vitalik Buterin: 솔직히 말해서, 지금 가지고 있는 만큼이라도 캣 장치를 선물하고 싶습니다. 그것은 공기 질 데이터를 암호화하여 처리하는 모니터이며, 저는 그것이 정말 멋지다고 생각합니다.

그러나 현재로서는 내가 당신에게 「상징적으로」 IOU(빚진 증서)를 하나만 선물할 수 있습니다. 또한 우리는 더 나은 장치를 개발할 수도 있습니다. 심지어는 Fitbit과 경쟁할 정도로 강력한 장치를 만들어서 당신이 건강을 더 잘 관리하고 동시에 귀하의 개인정보를 완전히 보호할 수 있도록 돕는 것입니다. 곧 당신이 그러한 장치를 손에 넣게 될 것이라고 믿습니다.

Guillaume Verdon: 우리는 분명히 이러한 주제들에 대해 계속 논의할 것입니다. 가능하다면, 제가 당신에게 「인공 생명의 개념 알약」을 하나 주고 싶습니다. 당신이 깊이 생각하도록 하는 데 도움이 되도록 말이죠. 즉, 온라인 상의 인공 생명은 지능의 비용을 크게 낮출 수 있고, 그로 인해 새로운 종류의 경제 구조를 형성할 수도 있습니다.

과거에 우리가 제조업을 중국에 외주하고 더 높은 수준의 작업에 집중했던 것처럼 — 더 가벼우며 더 효율적인 작업에 — 미래에는 많은 인지 작업이 AI 그룹에게 외주될 것입니다. 마지막으로 이러한 AI는 태양 주위의 다이슨 구조체에서 「살며」 인류 사회에 서비스를 제공할 수도 있습니다.

따라서 저는 우리가 독특한 역사적 시대에 있다고 생각합니다. 암호화폐는 인류와 AI 간의 「신뢰의 다리」 또는 「커플링 계층」이 될 수 있는 잠재력을 지니고 있다고 생각합니다.

원본 비디오 링크

BlockBeats 공식 커뮤니티에 참여하세요:

Telegram 구독 그룹：https://t.me/theblockbeats

Telegram 토론 그룹：https://t.me/BlockBeats_App

Twitter 공식 계정：https://twitter.com/BlockBeatsAsia