简体中文

繁體中文

English

Tiếng Việt

한국어

日本語

ภาษาไทย

Türkçe

AI에 전쟁 선포하기? 울트라맨 오피스 뒷면의 종말 이야기

이 글을 읽으려면 21 분

인간 구원이 유일한 지침이 되었을 때, 행동 경계가 점점 모호해지기 시작합니다

원문 제목: "합리적" 결론
원문 작성자: ALEXANDER CAMPBELL
번역: Peggy, 블록비츠

편집자 주: 4월 10일 새벽 3시 45분, 20세 청년이 샘 올트만의 거주지에 화염병을 던지고, 이후 오픈AI 본부로 걸어가 불을 지르겠다고 위협했습니다.

이 공격은 기술과 투자계에 빠르게 충격을 주었습니다. 이것은 개인 안전뿐만 아니라 텍스트와 커뮤니티에서 오랫동안 유지되어 온 극단적 서사를 현실 세계로 밀어넣었습니다.

「인공지능이 인류를 멸망시킬 것이라는」 고도의 결정론적 판단에서 시작해, 「위험을 가능한 대가로 줄여야 한다」는 추론을 거쳐, 이 논리는 현실 행동으로 점진적으로 슬라이딩합니다. 세계관이 계속해서 그의 존재의 위협을 강조하고, 그것으로 도덕 우선순위를 재구성함에 따라, 행동 경계도 다시 정의됩니다 - 원래 적은 비용의 의사록이 실행될 수 있는 가능성을 갖추게 됩니다.

본문에서는 AI 종말론자 커뮤니티 내의 진화 경로를 검토합니다: 「정화 나선」이라는 개념이 계속해서 리스크 평가를 높이는 중, 기술 건축가에 대한 도덕적 심판을 통과하여, 현실을 「전차 딜레마」의 의사 결정 모델로 단순화합니다. 이런 듯한 이성적인 추론들은 결국 독립적이지만 위험한 사고 프레임을 형성합니다: 결과가 「인류를 구원한다」로 정의된다면, 수단은 계속해서 확장될 수 있습니다.

이 의미에서, 이 사건은 고립된 것이 아닙니다. 오히려 이것은 이른바 압력 테스트와 같습니다 - 기술 자체가 아니라 기술 주변의 구축되어 온 서사, 믿음, 그리고 언제 제약이 해제될지를 테스트합니다.

다음은 원문입니다:

불씨는 누구인가?

금요일 새벽 3시 45분, 20세 남성이 샘 올트만의 거주지에 화염병을 던졌습니다. 그 후, 그는 약 3마일을 걸어 오픈AI 본부로 향해 가며 그것을 불태우겠다고 위협했습니다. 현재 그는 살인未遂 혐의로 경찰에 체포되었습니다.

포스팅한 사람은 말합니다: 한 명의 Daniel Moreno-Gama(아이디 dmgama / 「버틀러의 성전군士」라고도 불림)이 이미 「살인未遂 혐의」로 경찰에 체포당했다고 합니다 (booked). 그는 PauseAI의 활발한 회원이라고 합니다. 상황에서 그는 여러 번 언급한 긴급한 관점이 인용되었습니다: 「우리는 자정에 가까워졌고, 이제 진정한 조치를 취할 때가 되었다」

그는 「혼자의 늑대」가 아닙니다. 그는 PauseAI의 활발한 회원으로, 커뮤니티에서 6개의 역할을 가지고 있습니다. 디스코드에서의 사용자명은 「버틀러의 성전군사」입니다.

그의 Instagram 계정은 거의 종말론적인 콘텐츠로 가득 찼다: 능력 곡선을 따라 "우리가 빨리 행동을 취하지 않으면 우리는 죽을 것이다"라는 글귀와 함께, 현실을 '매트릭스', '터미네이터', '더 바보 같은 진화론'의 교차점에 놓은 그래프가 있다.

공격이 발생하기 네 달 전, 그는 팔로워들에게 윤코프스키(Yudkowsky)와 소아레스(Soares)의 "누군가가 그것을 만들면 우리 모두가 죽을 것"이라는 글을 추천했다.

버틀러리안 지하디스트의 인

"누군가가 그것을 만들면 우리 모두가 죽을 것"은 'AI 위험/AI 안전' 진영의 강한 비관적 견해 대표작 중 하나로, 핵심 주장은 한 번 인류가 '초인간적 지능' (인간 이상의 AI)을 만들게 되면, 이를 완전히 맞추지 않으면 (alignment), 그것이 신체적으로 인류에 위협을 가할 가능성이 매우 높다는 것이다. 저자의 입장은 매우 공격적이며, 심지어 '가장 비관적인 유형'으로 표현할 수 있으며, AI를 '위험 요소'로만 보는 것이 아니라, 거의 필연적으로 재앙을 불러일으킬 것으로 여긴다. 정령 문제를 해결하지 않은 상태에서는 개발을 매우 조심하거나 중단해야 한다고 주장한다.

그의 이름은 Daniel Moreno-Gama이다.

그에게는 자체 Substack도 있다. 올해 1월 초에 그는 'AI 생존적 위험(AI Existential Risk)'이라고 제목한 글을 게재했는데, 그곳에서 'AI로 인한 종족 폐쇄' 가능성을 '거의 확실'하다고 추정했다. 그는 이 기술을 '그 기술을 사용하는 모든 사람, 특히 그것을 구축 중인 사람에 대한 적극적 위협'으로 설명했다. 그의 결론은: '우리는 이 위협부터 다뤄야 하며, 그 이후에 다른 문제를 물어봐야 한다'고 했다.

그는 AI 개발자의 아이가 죽고, 부모들에게 왜 무기력했는지 물었던 시를 썼다. 그는 이러한 기술의 건설자들을 다음과 같이 묘사했다: '지옥은 그러한 비열한 존재에게 조금의 자비를 베풀기를 바랍니다.'

PauseAI는 그의 관련 발언을 Discord에서 이미 삭제했다.

나는 재무 통신으로서 대부분의 독자들이 기대하는 내용은 아님을 알고 있습니다. 나는 나의 세계관이 어디에서 비롯되었는지 설명하고, 더 장기적인 판단을 이해하기 쉽도록 하기 위해 이것들을 쓴 것입니다. 내가 제시한 '뉴 뉴 딜'은 바로 이러한 발전 방향에 대한 직접적인 대응입니다.

내가 한 일은 그들의 모델을 한 걸음 전진시키고 이러한 단서들을 연결하는 것뿐이었습니다.

AI 종말론자의 종말 서사

우선 ‘확정론’부터 시작합시다. 유드코프스키(이전에 언급된 책)의 입장은 다음과 같습니다: 충분히 강력한 인공지능이 만들어지면 지구 상 모든 사람이 죽을 것입니다. ‘가능성’이 아니라 ‘현실’로 그리고 여러분 포함 모두——당신의 아이도, 그가 계속 언급하는 딸 네나도.

그는 이 의겢를 타임지 잡지에 기고하기도 했으며, ‘누군가 그것을 만들면, 우리 모두가 죽을 것’이라는 제목의 책에도 썼습니다. 그는 데이터 센터에 공격을 가하는 것을 주장하기까지 했으며, 핵충돌 위험조차 한 번의 완전한 훈련 실행보다 수용 가능하다고 봤습니다.

계속해서 승전하는 보이는 행동 또는 ‘정화 나선’입니다. 이 공동체 내에서 구성원은 다른 사람들에게 자신의 ‘확고함’을 증명하기 위해 입장의 강도를 계속 높이며, ‘인간 멸종 확률 (P(멸망))’에 대한 견해는 50%에서부터 90%로, 다시 99.99999%로 상승합니다.

인공지능 안전 센터(Center for AI Safety)의 국가 대변인은 카메라 앞에서 올바른 대응은 ‘전국의 실험실로 이동해 나갈 지어라’였습니다. PauseAI는 ‘경고 사격 프로토콜’을 실행한 적이 있었는데, 그 과정에서 특정 AI 모델을 ‘멸종성 무기’로 규정했습니다. PauseAI의 리더 중 한 명은 Anthrop인 연구원이 ‘그녀에게 일어날 모든 일을 견디야 할 것입니다’라고 말했습니다.

PauseAI의 Discord에서 이러한 발언에 의문을 제기하자, 관리자는 해당 발언을 바로 삭제했습니다.

공격 전날, 유드코프스키 책의 공동 저자인 네트 소야레즈는 Altman이 ‘매우 나쁜 일을 하고 있다’고 트윗했습니다.

이어서, ‘싼말 언어’가 현실 검증을 받기 시작했습니다.

게임 이론에 ‘싼말 토크’라는 용어가 있습니다: 사실상 비용이 들지 않는 발언이지만 결국 현실의 제약에 직면해야 합니다. 처음에는 모든 사람이 저비용으로 극단적인 견해를 표명하지만 문제를 ‘인류 생존 위기’로 정의하자, 이러한 견해는 심각하게 받아들여지며 극단적 행동에 타당성을 부여할 수 있습니다.

이들은 고립된 사건이 아니라 지속적으로 확대되고 서로 강화되는 일련의 주장들을 따르며 종말론적인 사상 체계를 중심으로 전개됩니다. 이 논리를 극단까지 밀어부치면, 이는 심지어 "마지막 1%를 구하기 위해 99%의 사람을 희생하는 것"도 수용할 수 있습니다.

일은 그것을 글자 그대로 받아들이고 실천에 옮기는 사람이 생길 때까지만의 문제입니다. 그 젊은이는 그 책을 읽고, 이 공동체에 가입하고, 자신의 선언서까지 썼습니다. 지역 사회 대학의 영어 수업을 위해 쓴 자기소개서에서 그는 자신을 "결과론자"로 정의했습니다. "결과가 부합하지 않는다면, 저는 거의 동기를 믿지 않을 것입니다." 그는 "버틀러 신탁자"라는 이름을 지었습니다. 12월 3일, 그는 PauseAI의 Discord에서 "우리는 자정에 가까워졌으니, 이제 진정한 행동을 취할 때입니다."라고 썼습니다.

그리고, 그는 실제로 행동했습니다.

그들은 그에게 "전차 문제"를 줬습니다: 하나의 생명 대 모든 인류. 그는 손잡이를 당겼습니다.

위의 그 트윗(Air Katakana)은 이렇게 말했습니다: 유드코프스키(yud)가 그 사람의 머리에 "전차 문제"를 심었습니다: 한 줄기에는 Sam Altman, 다른 한 줄기에는 Sam Altman을 포함한 모든 인류가 있습니다. 그 녀석은 아마 노벨 평화상을 받을 준비를 한 듯합니다.

인용된 아래 트윗(Randolph Carter)은 이렇게 말했습니다: 한 사람이 AI CEO의 집을 화염병으로 공격한 후 OpenAI로 가서 그 곳 사람들을 위협했고 그 "종말론자"들이 "누구든 될 수 있으며 우리는 분명히 말할 수 없다..."라고 말합니다.

또 하나 주목할 만한 마지막 풍자가 있습니다. 만약 이 "종말론자"들이 자신들의 판단을 주장하는 대로 진정도로 믿는다면, 그들은 이러한 신념이 유도하는 의미에 더 공정하게 직면해야 할 것입니다.

공격이 발생하기 몇 주 전, 어떤 기자가 유드코프스키에게 물었습니다: 만일 AI가 그토록 위험하다면, 왜 데이터 센터를 공격하지 않느냐? 그의 소야레스를 통해 전해진 답변은 "만약 당신이 그것을 한다는 뉴스를 보면, '와, AI가 이미 막힌 걸까? 우리는 안전하다!'라고 생각합니까? 그렇지 않은 경우, 당신은 이미 이러한 방법이 효과가 없다는 것을 알고 있습니다."

이 답변에는 아무 말도 없다는 점에 주목하세요. 이유는 「폭력이 잘못되기 때문」이 아니라 「지금 이렇게 하는 것이 효과적이지 않기 때문」입니다. 이러한 자제는 전략적 고려에서 나온 것이며 도덕적 제약이 아닙니다. 그리고 이 커뮤니티는 이를 잘 알고 있습니다. 표면 아래에 감춰진 것은 말하지 않은 공감대입니다: 그 젊은이의 가장 큰 「오류」는 그때가 아니었다는 것 뿐입니다.

이것이 내가 말하는 것입니다: 지성은 권력과 동치가 아닙니다. 이것이 전체 「멸망주의자」 세계관에서 가장 깊은 결함입니다.

유드코프스키의 프레임워크는 모순 위에 구축되어 있습니다: AI가 충분히 똑똑하다면 반드시 인류를 파괴할 능력을 얻을 것이라는 것이기 때문에 「지성은 자동으로 능력으로 변환된다」. 그러나 그의 많은 추종자들은 기술적 배경을 갖고 있지 않습니다. 그들은 AI 시스템을 구축하지도 않고, 정렬 공학에 종사하지도 않습니다. 그들이 갖고 있는 것은 특정 유형의 「언어 지능」으로, 복잡한 위험 주장을 구성할 수 있으며 이를 통해 기술에 대한 특정 유형의 「신성한 권위」를 자신에게 설득시킬 수 있는 능력입니다. 그들은 주장을 구성할 수 있지만 시스템은 구축할 수 없습니다.

이것은 우연이 아니라 근본 텍스트에 기재된 설정입니다. 유드코프스키의 「해리 포터와 이성의 길」은 본질적으로 다음과 같은 세계를 묘사합니다: 가장 뛰어난 추론자는 모든 제도 위에 있어야 합니다. 「일련의 이성」은 전체적인 「신앙 교리」를 제공합니다: 소수의 「올바른 사고자」 그룹은 인식적으로나 도덕적으로 뛰어나며, 이성적인 것이 그들이 다른 사람들이 무엇을 건설할 수 있는지 결정할 자격을 주는 것입니다. 이것은 안전운동보다 오히려 「성좌 체제」와 같은 기원신화를 갖고 있는 것으로 보입니다.

유드코프스키는 그 불을 투척하는 젊은이로부터 거리를 둘 수 있지만 그는 그 삼단논법 세트와는 거리를 둘 수 없습니다. 건축가가 모든 사람을 죽일 것이면 건축가를 막는 것이 자방일 것입니다. 이것이 그의 핵심 명제이며 단순명료합니다. 문제는 항상 한 사람이 그것을 진지하게 여길 때입니다.

그래서, 그들 자신의 논리가 새벽 3시 45분에 연쇄를 가지고 나타날 때, 더 이상 놀랍게 행동해서는 안됩니다.