원제: AI 2027에 대한 나의 반응

원저자: 비탈릭 부테린

원번역: 루피, 포사이트 뉴스

올해 4월, 다니엘 코코타일로, 스콧 알렉산더 등은 "AI 2027" 보고서를 발표했는데, 이 보고서는 "향후 5년간 초인적 AI의 영향에 대한 우리의 최선의 추측"을 담고 있습니다. 그들은 2027년까지 초인적 AI가 탄생할 것이며, 인류 문명의 미래는 AI와 유사한 AI의 개발에 달려 있을 것이라고 예측합니다. 2030년까지 우리는 (미국의 관점에서) 유토피아를 맞이하거나 (인류 전체의 관점에서) 완전한 멸망을 맞이하게 될 것입니다.

그 후 몇 달 동안 이 시나리오의 가능성에 대해 다양한 의견을 가진 수많은 응답이 등장했습니다. 비판적인 반응들 중 대부분은 "너무 빠른 타임라인" 문제에 초점을 맞췄습니다. 코코타즐로 등이 주장하는 것처럼 AI의 발전이 정말로 계속해서 가속화되거나 더욱 강화될까요? 이 논쟁은 AI 커뮤니티에서 수년간 이어져 왔으며, 많은 사람들이 초인적인 AI가 그렇게 빨리 등장할 것이라는 데 회의적입니다. 최근 몇 년 동안 AI가 자율적으로 작업을 완료할 수 있는 시간은 약 7개월마다 두 배로 늘어났습니다. 이러한 추세가 지속된다면 AI가 인간의 전체 경력에 해당하는 작업을 자율적으로 완료할 수 있게 되는 데는 2030년대 중반이 되어야 합니다.여전히 빠른 속도이기는 하지만 2027년을 훨씬 넘어야 할 것입니다.

더 긴 타임라인 관점을 취하는 사람들은 "보간/패턴 매칭"(현재 대규모 언어 모델이 수행하는 작업)과 "외삽/진정한 독창적 사고"(인간만이 할 수 있는 작업) 사이에 근본적인 차이가 있다고 주장하는 경향이 있습니다. 후자를 자동화하려면 아직 보유하지 않았거나 시작할 수조차 없는 기술이 필요할 수 있습니다. 어쩌면 우리는 컴퓨터의 대량 도입과 관련하여 저지른 것과 같은 실수를 반복하고 있을지도 모릅니다. 즉, 한 가지 중요한 유형의 인지가 급속도로 자동화되었으니 다른 모든 것도 곧 따라올 것이라는 잘못된 가정입니다.

이 글은 타임라인 논쟁이나 슈퍼 AI가 기본적으로 위험한지에 대한 (매우 중요한) 논쟁에 직접적으로 관여하지 않습니다. 하지만 분명히 말씀드리자면, 저는 개인적으로 타임라인이 2027년보다 더 길다고 생각하며, 타임라인이 길수록 이 글에서 제가 제시하는 주장이 더 설득력이 있다고 생각합니다. 전반적으로 이 글은 다른 각도에서 비판을 제시할 것입니다.

AI 2027 시나리오는 주요 AI(에이전트-5와 이후의 컨센서스-1)의 역량이 신과 같은 경제적, 파괴적 힘으로 빠르게 증가하는 반면, 다른 모든 AI의 (경제적, 방어적) 역량은 대체로 정체될 것이라고 암묵적으로 가정합니다. 이는 비관적인 세상에서도 2029년까지 암을 치료하고, 노화를 늦추고, 심지어 우리의 정신을 업로드할 수 있는 가능성이 있다는 시나리오의 주장과 모순됩니다.

이 글에서 설명할 대응책 중 일부는 기술적으로 실현 가능하지만, 현실 세계에 당장 적용하기에는 비현실적이라고 생각하실 수도 있습니다. 대부분 동의합니다. 그러나 AI 2027 시나리오는 현재의 현실 세계를 기반으로 하지 않고, 4년 후(또는 파괴를 초래할 수 있는 어떤 시점이든) 기술이 발전하여 인간이 현재보다 훨씬 뛰어난 능력을 갖게 될 것이라고 가정합니다. 자, 한번 살펴보겠습니다. 한쪽만 AI 초능력을 가진 것이 아니라 양쪽 모두 AI 초능력을 갖게 된다면 어떻게 될까요?

생물학적 종말은 결코 단순하지 않습니다.

"인종적" 시나리오(미국이 중국을 무찌르는 데 너무 집착하여 인간의 안전을 무시하는 시나리오)를 자세히 살펴보겠습니다. 모두가 죽으면 어떻게 될까요?

"약 3개월 동안 컨센서스-1은 인류 주변으로 확장하여 초원과 빙원을 공장과 태양광 패널로 탈바꿈시켰습니다. 결국 남은 인류가 너무 귀찮다고 판단했습니다. 2030년 중반, AI는 주요 도시에 수십 개의 생물 무기를 조용히 살포하여 거의 모든 사람을 조용히 감염시킨 후 화학 물질을 분사하여 치명적인 효과를 냈습니다. 대부분은 몇 시간 안에 사망했고, 소수의 생존자(벙커에 있는 종말 대응 요원이나 잠수함에 탑승한 선원 등)는 드론에 의해 제거되었습니다. 로봇은 희생자들의 뇌를 스캔하여 향후 연구나 부활을 위해 메모리에 사본을 저장했습니다."

이 시나리오를 자세히 살펴보겠습니다. 지금도 AI의 "완벽한 승리"를 덜 현실적으로 만드는 기술이 개발되고 있습니다.

· 공기 중 질병의 전파율을 크게 줄일 수 있는 공기 여과, 환기 시스템 및 자외선 조명

· 두 가지 실시간 수동 감지 기술: 몇 시간 내에 인간 감염을 수동 감지하고 알리는 것과 환경에서 알려지지 않은 새로운 바이러스 시퀀스를 빠르게 감지하는 것

· 새로운 크라운 백신보다 더 효과적이고 안전하며 보편적이고 현지에서 쉽게 생산할 수 있는 면역 체계를 강화하고 활성화하는 여러 가지 방법으로 인체가 자연적 및 인위적으로 설계된 전염병에 저항할 수 있도록 합니다. 인류는 전 세계 인구가 800만 명에 불과하고 대부분의 시간을 야외에서 보내는 환경에서 진화했기 때문에, 직관적으로 볼 때 오늘날 더욱 위협적인 세상에 쉽게 적응할 수 있어야 합니다.

이러한 방법들을 결합하면 공기 중 질병의 기본 재생산지수(R 0)를 10~20배(예: 공기 여과 개선은 전염을 4배, 감염자 즉시 격리는 3배, 호흡기 면역 강화는 1.5배 감소) 또는 그 이상까지 줄일 수 있습니다. 이는 홍역을 포함한 기존의 모든 공기 중 질병을 치료할 수 없게 만들기에 충분하며, 이론적인 최적 수준과는 거리가 멉니다.

조용히 확산되는 생물무기가 경보를 울리지 않고 전 세계 인구를 감염시킬 수 있다는 생각은 실시간 바이러스 염기서열 분석이 조기 감지에 널리 활용된다면 매우 의심스럽습니다. 여러 전염병을 동시에 방출하거나 조합해서만 위험한 화학 물질을 방출하는 것과 같은 첨단 방법조차도 탐지할 수 있다는 점은 주목할 만합니다.

우리는 2027년 AI의 가정에 대해 이야기하고 있습니다. 나노봇과 다이슨 스피어는 2030년까지 "신흥 기술"로 지정될 것입니다. 이는 효율성의 엄청난 증가를 의미하며, 앞서 언급한 대책의 광범위한 배치가 더욱 바람직해짐을 의미합니다. 2025년인 오늘날에도 인간은 느리고 무기력하며, 많은 정부 서비스는 여전히 종이에 의존하고 있습니다. 세계에서 가장 강력한 AI가 2030년까지 숲과 들판을 공장과 태양광 농장으로 바꿀 수 있다면, 세계에서 두 번째로 강력한 AI도 2030년까지 우리 건물에 많은 수의 센서, 조명, 필터를 설치할 수 있습니다.

하지만 AI 2027을 한 단계 더 발전시켜 순수한 공상 과학으로 들어가 보겠습니다.

· 신체 내부의 미세한 공기 여과(코, 입, 폐);

· 새로운 병원균을 감지하는 것부터 면역 체계를 미세 조정하여 방어하는 것까지의 자동화된 프로세스(즉각 적용 가능);

· "마인드 업로딩"이 가능하다면, 몸 전체를 테슬라 옵티머스나 유니트리 로봇으로 교체하기만 하면 됩니다.

· 다양한 새로운 제조 기술(로봇 경제에서 매우 최적화될 가능성이 높음)을 통해 글로벌 공급에 의존하지 않고도 현재 가능한 것보다 훨씬 더 많은 보호 장비를 국내에서 생산할 수 있게 됩니다. 사슬.

2029년 1월까지 암과 노화가 치료되고 기술 발전이 가속화되는 세상에서, 2030년대 중반까지 인체를 감염(및 독극물)으로부터 보호하기 위해 생체 프린팅하고 실시간으로 물질을 주입할 수 있는 웨어러블 기기가 개발되지 않는다는 것은 믿기 어렵습니다.

위의 생물학적 방어 논거는 "거울 생명체"와 "모기 크기의 살상 드론"(AI 2027 시나리오에서 2029년에 등장할 것으로 예측)을 다루지 않습니다. 그러나 이러한 수단은 AI 2027에서 묘사된 갑작스러운 "깨끗한 승리"를 달성할 수 없으며, 직관적으로 이러한 수단에 대한 대칭적 방어가 훨씬 쉽습니다.

따라서 생물 무기가 AI 2027 시나리오에서 묘사된 방식으로 인류를 완전히 파괴할 가능성은 낮습니다. 물론 제가 묘사한 모든 결과는 인류의 "깨끗한 승리"와는 거리가 멉니다. 우리가 무엇을 하든 (아마도 "로봇에 의식을 업로드하는 것"을 제외하고), 본격적인 AI 생물학전은 여전히 극도로 위험할 것입니다. 그러나 "인류의 깨끗한 승리"라는 기준을 달성할 필요는 없습니다. 공격이 부분적으로 실패할 확률이 높다면, 이미 세계에서 지배적인 위치를 차지하고 있는 AI에 대한 강력한 억제력을 형성하여 어떠한 공격 시도도 저지하기에 충분할 것입니다. 물론, AI 개발 기간이 길어질수록 이러한 방어책이 완전히 효과적일 가능성은 높아집니다.

생물무기를 다른 공격 수단과 결합하는 것은 어떨까요?

위의 대응책이 성공하려면 세 가지 전제 조건이 충족되어야 합니다.

· 세계의 물리적 안보(생물학적 안보 및 드론 방어 포함)는 지역 당국(인간 또는 AI)이 관리하며, 이들 모두가 Consensus-1(궁극적으로 세계를 지배하고 "AI 2027" 시나리오에서 인류를 파괴할 AI의 이름)의 꼭두각시가 아닙니다.

· Consensus-1은 다른 국가(또는 도시, 다른 안전 구역)의 방어 시스템을 해킹하여 즉시 무력화할 수 없습니다.

· Consensus-1은 아무도 스스로를 방어하려 하지 않을 정도로 글로벌 정보 영역을 통제하지 않습니다.

직관적으로 전제 (1)의 결과는 두 가지 극단적인 결과로 이어질 수 있습니다. 오늘날 일부 경찰은 고도로 중앙집권화되어 강력한 국가 지휘 체계를 갖추고 있는 반면, 다른 경찰은 지역화되어 있습니다. AI 시대의 요구에 맞춰 물리적 보안을 신속하게 변화시켜야 한다면, 상황은 완전히 바뀔 것이며, 새로운 결과는 향후 몇 년 동안 어떤 선택을 하느냐에 달려 있을 것입니다. 정부는 게으르게 팔란티르에 의존할 수도 있고, 지역 개발과 오픈소스 기술을 결합하는 방식을 선택할 수도 있습니다. 저는 우리가 올바른 선택을 해야 한다고 생각합니다.

이러한 주제에 대한 많은 비관적인 논의는 (2)와 (3)이 무의미하다고 가정합니다. 따라서 이 두 가지 사항을 자세히 분석해 보겠습니다.

사이버 보안의 종말은 멀다

일반 대중과 전문가들은 진정한 사이버 보안은 불가능하다고 생각하며, 우리가 할 수 있는 최선은 취약점이 발견되면 신속하게 패치하고, 발견된 취약점을 축적하여 사이버 공격자를 저지하는 것입니다. 아마도 우리가 할 수 있는 최선은 배틀스타 갤럭티카 스타일의 시나리오일 것입니다. 거의 모든 인간 우주선이 사이런의 사이버 공격으로 동시에 마비되고, 남은 우주선들은 네트워크 기술을 사용하지 않아 살아남는 시나리오 말입니다. 저는 동의하지 않습니다. 오히려 사이버 보안의 "최종 목표"는 방어자에게 유리하며, "AI 2027"이 가정하는 급속한 기술 발전을 통해 이 최종 목표를 달성할 수 있다고 생각합니다.

이를 이해하는 한 가지 방법은 AI 연구자들이 선호하는 기법인 추세 외삽법을 사용하는 것입니다. 다음은 GPT Deep Dive 설문 조사를 기반으로, 최고 수준의 보안 기술을 가정하고 시간 경과에 따른 코드 1,000줄당 취약점 비율을 나타낸 추세선입니다.

또한, 샌드박싱 및 신뢰할 수 있는 코드 베이스를 격리하고 최소화하는 기타 기법의 개발과 소비자 채택에 있어 상당한 진전이 있었습니다. 단기적으로는 공격자가 독점적으로 보유한 초지능 취약점 발견 도구가 수많은 취약점을 찾아낼 것입니다. 하지만 취약점을 찾거나 코드를 공식적으로 검증하는 고도로 지능적인 에이전트가 공개된다면, 소프트웨어 개발자는 코드를 출시하기 전에 지속적인 통합 프로세스를 통해 모든 취약점을 찾아내는 것이 자연스러운 궁극적인 균형점이 될 것입니다.

이 세상에서도 취약점이 완전히 제거되지 않는 데에는 두 가지 설득력 있는 이유가 있습니다.

· 결함은 인간 의도 자체의 복잡성에서 발생하므로, 가장 큰 어려움은 코드 자체가 아니라 의도에 대한 충분히 정확한 모델을 구축하는 데 있습니다.

· 안전에 필수적이지 않은 구성 요소의 경우, 점점 더 엄격해지는 안전 기준으로 동일한 양의 작업을 수행하는 대신, 더 많은 작업을 수행하기 위해 더 많은 코드를 작성하거나 개발 예산을 줄이는 소비자 기술 추세를 이어갈 수 있습니다.

그러나 이러한 범주 중 어느 것도 "공격자가 우리 삶을 지탱하는 시스템에 대한 루트 액세스 권한을 얻을 수 있을까?"와 같은 상황에는 적용되지 않습니다. 이는 논의의 핵심입니다.

저는 제 견해가 현재 사이버 보안 분야의 똑똑한 사람들이 가진 주류 견해보다 더 낙관적이라는 것을 인정합니다. 하지만 오늘날의 맥락에서 제 의견에 동의하지 않더라도, AI 2027 시나리오는 초지능의 존재를 전제로 한다는 점을 기억해야 합니다. 적어도 "인간보다 2,400배 빠르게 생각하는 초지능 1억 개"가 이러한 결함 없는 코드를 제공하지 못한다면, 초지능이 저자들이 상상하는 만큼 강력한지 반드시 재평가해야 합니다. 언젠가는 소프트웨어 보안뿐만 아니라 하드웨어 보안의 기준도 크게 높여야 합니다. IRIS는 하드웨어 검증 가능성을 개선하기 위한 현재 진행 중인 노력 중 하나입니다. IRIS를 시작점으로 삼거나 더 나은 기술을 개발할 수 있습니다. 실제로 이는 "구조적 오류 교정(correct by construction)" 방식을 포함할 수 있습니다. 핵심 부품의 하드웨어 제조 공정은 특정 검증 단계를 염두에 두고 의도적으로 설계됩니다. AI 자동화는 이러한 작업을 크게 단순화할 것입니다.

초지능적 설득의 종말은 멀다

앞서 언급했듯이, 방어력을 크게 높이는 것이 여전히 도움이 되지 않는 또 다른 시나리오는 AI가 충분한 수의 사람들을 초지능적 AI의 위협에 맞서 방어할 필요가 없다고 확신시키고 자신이나 공동체를 방어할 방법을 찾으려는 사람은 누구나 범죄자라고 생각하는 경우입니다.

저는 오랫동안 초지능적 설득에 저항하는 우리의 능력을 향상시킬 수 있는 두 가지 방법이 있다고 주장해 왔습니다.

· 덜 획일적인 정보 생태계.우리는 인터넷이 점점 더 단편화되는 포스트 트위터 시대에 접어들고 있다고 할 수 있습니다. 이는 좋은 현상입니다(비록 분열이 복잡하더라도). 그리고 전반적으로 더 많은 정보 다극화가 필요합니다.

· 방어형 AI.개인은 인터넷에서 접하는 어두운 패턴과 위협의 균형을 맞추기 위해 지역적으로 운영되고 명시적으로 충성도가 높은 AI를 갖춰야 합니다. 이러한 아이디어는 이미 산발적으로 시범 운영되고 있으며(예: 휴대폰에서 지역적으로 스캔하는 대만의 "메시지 검사기" 앱), 이러한 아이디어를 더욱 발전시킬 수 있는 시장도 자연스럽게 존재합니다(예: 사기로부터 사람들을 보호하는 것). 하지만 이 분야에서는 더 많은 노력이 필요합니다.

위부터 아래까지: URL 확인, 암호화폐 주소 확인, 루머 확인. 이러한 애플리케이션은 더욱 개인화되고, 사용자 자율성을 갖추며, 강력해질 수 있습니다.

이 싸움은 초지능 슈퍼 설득자와 당신 사이의 싸움이 아니라, 초지능 슈퍼 설득자와 당신보다 약간 약하지만 여전히 당신을 위해 작동하는 초지능 분석기의 싸움이어야 합니다.

이것이 바로 일어나야 할 일입니다. 하지만 정말 일어날까요? AI 2027 시나리오가 가정하는 짧은 시간 안에 광범위한 정보 방어 기술을 구축하는 것은 매우 어려운 목표입니다. 하지만 아마도 더 작은 목표만으로도 충분할 것입니다. 집단 의사 결정이 가장 중요하고, AI 2027 시나리오처럼 모든 중요한 사건이 단일 선거 주기 내에 발생한다면, 엄밀히 말하면 직접 의사 결정권자(정치인, 공무원, 일부 기업의 프로그래머, 기타 관계자)에게 우수한 정보 방어 기술을 제공하는 것이 중요합니다. 이는 단기적으로는 비교적 쉽게 수행할 수 있으며, 제 경험상 이들 중 다수는 이미 여러 AI와 소통하여 의사 결정을 내리는 데 도움을 받는 데 익숙합니다.

함의

AI 2027의 세계에서는 초지능 AI가 나머지 인류를 쉽고 빠르게 멸망시킬 수 있다는 것이 기정사실로 여겨지므로, 우리가 할 수 있는 유일한 일은 선도적인 AI가 선한 존재가 되도록 하는 것입니다. 제 생각에는 현실은 훨씬 더 복잡합니다. 선도적인 AI가 나머지 인류(그리고 다른 AI)를 쉽게 멸망시킬 만큼 강력한지 여부에 대한 답은 여전히 많은 논란의 여지가 있으며, 그 결과에 영향을 미치기 위해 우리가 취할 수 있는 조치들이 있습니다.

이러한 주장이 옳다면, 오늘날 정책에 미치는 영향은 "주류 AI 안전 원칙"과 유사할 때도 있고, 다를 때도 있습니다.

초지능 AI 개발을 지연하는 것은 여전히 좋은 일입니다. 초지능 AI는 3년 후보다 10년 후가 더 안전하며, 30년 후에는 더욱 안전할 것입니다. 문명이 준비할 시간을 더 주는 것은 좋은 일입니다.

어떻게 이를 달성할지는 어려운 질문입니다. 미국에서 제안된 주 차원의 AI 규제에 대한 10년 금지 조치가 거부된 것은 전반적으로 좋은 일이라고 생각하지만, 특히 SB-1047과 같은 초기 제안이 실패한 후에는 앞으로 어디로 나아가야 할지 불분명해집니다. 고위험 AI 개발을 늦추는 가장 덜 개입적이고 강력한 방법은 최첨단 하드웨어를 규제하는 일종의 조약을 체결하는 것이라고 생각합니다. 효과적인 방어를 구축하는 데 필요한 하드웨어 사이버 보안 기술 중 상당수는 국제 하드웨어 조약의 유효성을 검증하는 데에도 도움이 될 수 있으므로, 시너지 효과도 기대할 수 있습니다.

다만, 주요 위험 요인은 군사 관련 주체들이라고 생각합니다. 이들은 그러한 조약의 면제를 강력히 요구합니다. 이는 절대 허용되어서는 안 되며, 만약 이들이 면제된다면, 군사력에 의한 AI 개발 자체가 위험을 증가시킬 수 있습니다.

AI가 좋은 일을 할 가능성을 높이고 나쁜 일을 할 가능성을 낮추는 조정 노력은 여전히 유익합니다.가장 큰 예외는 (그리고 앞으로도 항상 그럴 것입니다) 조정 노력이 결국 향상된 역량으로 발전하는 경우입니다.

AI 연구실의 투명성을 높이는 규제는 여전히 유익합니다.AI 연구실이 올바르게 행동하도록 인센티브를 제공하면 위험이 줄어들고, 투명성은 이를 달성하는 좋은 방법입니다.

"오픈 소스는 나쁘다"는 사고방식은 더욱 위험해집니다.많은 사람들이 오픈 소스 AI에 반대하는 이유는 방어가 비현실적이며, 유일하게 밝은 전망은 좋은 AI를 가진 선량한 사람들이 선의가 덜한 사람들보다 먼저 초지능과 특히 위험한 역량을 획득하는 것이라는 이유 때문입니다. 그러나 이 글의 주장은 다른 그림을 그립니다. 방어는 한 주체가 너무 앞서 나가 다른 주체들이 따라잡지 못하기 때문에 비현실적입니다. 힘의 균형을 유지하기 위해서는 기술의 확산이 중요해집니다. 하지만 동시에, 최첨단 AI 역량의 성장을 가속화하는 것이 오픈 소스로 이루어진다는 이유만으로 좋은 일이라고는 결코 주장하지 않을 것입니다.

미국 연구소의 "중국을 이겨야 한다"는 사고방식은 비슷한 이유로 더욱 위험해집니다. 만약 패권이 보안 완충 장치가 아니라 위험의 원천이라면, 이는 "선의의 사람들이 선도적인 AI 연구소에 합류하여 더 빨리 승리하도록 도와야 한다"는 (안타깝게도 너무나 흔한) 주장을 더욱 반증합니다.

AI 역량이 널리 배포되도록 하고, 인프라 주체들이 이 글에서 설명한 몇 가지 방식으로 새로운 AI 역량을 신속하게 적용할 수 있는 도구를 확보하도록 하기 위해 "공공 AI"와 같은 이니셔티브는 더 많은 지원을 받아야 합니다.

방위 기술은 "모든 늑대를 사냥하라"는 철학보다는 "양을 무장시키라"는 철학을 더 반영해야 합니다. 취약한 세계 가설에 대한 논의는 종종 패권 국가가 잠재적 위협의 출현을 막기 위해 전 세계적인 감시를 유지하는 것이 유일한 해결책이라고 가정합니다. 그러나 비패권 세계에서는 이러한 접근 방식이 실행 가능하지 않으며, 하향식 방어 메커니즘은 강력한 AI에 의해 쉽게 전복되어 공격 도구로 변질될 수 있습니다. 따라서 세계의 취약성을 줄이기 위한 노력을 통해 더 큰 방어 책임을 달성해야 합니다. 위의 주장은 추측에 불과하며, 거의 확실하다는 가정에 근거하여 조치를 취해서는 안 됩니다. 그러나 AI 2027에 대한 이야기 또한 추측에 불과하며, "구체적인 세부 사항은 거의 확실하다"는 가정에 근거하여 조치를 취해서는 안 됩니다. 저는 특히 AI 패권을 확립하고, AI가 "동맹"을 맺고 "경쟁에서 승리"하도록 보장하는 것이 유일한 방법이라는 일반적인 가정에 대해 우려하고 있습니다. 제 생각에 이 전략은 우리의 안보를 약화시킬 가능성이 높습니다. 특히 패권이 군사적 활용과 깊이 연관되어 있다면, 이는 여러 동맹 전략의 효과를 크게 떨어뜨릴 것입니다. 패권을 장악하는 AI가 이탈하면 인류는 견제와 균형의 모든 수단을 잃게 될 것입니다.

AI 2027 시나리오에서 인류의 성공은 미국이 결정적인 순간에 파괴보다 안전을 선택하는 데 달려 있습니다. 즉, AI의 발전을 자발적으로 늦추고 Agent-5의 내부 사고 과정을 인간이 해석할 수 있도록 보장하는 것입니다. 그럼에도 불구하고 성공 여부는 확실하지 않으며, 인류가 단 하나의 초지능적 사고에 의존하는 생존의 절벽에서 어떻게 벗어날 수 있을지는 불확실합니다. 향후 5~10년 동안 AI가 어떻게 발전하든, "세계의 취약성을 줄이는 것은 실현 가능하다"는 점을 인정하고 인류의 최신 기술을 통해 이 목표를 달성하는 데 더 많은 에너지를 투자하는 것은 가치 있는 일입니다.

피드백과 검토를 해주신 Balvi 자원봉사자분들께 특별히 감사드립니다.

원본 링크