원본 비디오 제목: Building Anthropic | 공동 창립자들과의 대화
원본 비디오 출처: Anthropic
번역: DeepTechFlow

요점 요약

지난 일주일 동안 Anthropic은 두 차례의 사건을 겪었습니다:

먼저 내부적으로 약 3000 개의 파일이 CMS 구성 오류로 공개 액세스되었고, 이어서 Claude Code v2.1.88가 npm에 게시될 때 59.8MB의 소스 맵을 실은 채 51만 줄의 소스 코드가 노출되었습니다.

자사의 운영에서 사고를 연이어 낸 회사가, '안전'을 유전자에 담은 기업이, 이런 일이 일어난 것에 대한 풍자는 최고조에 달했습니다.

하지만 비웃으려는 도중 Anthropic의 7명 공동 창립자들이 일년 넘게 전했던 한 차례 내부 회의를 들어볼 만 합니다. 이 팟캐스트는 2024년 12월에 녹음되었으며, 일곱 명은 이 회사의 설립 과정, RSP(책임 있는 확장 정책)의 활용, '안전'이라는 용어를 마음대로 사용할 수 없는 이유, 그리고 CEO Dario가 반복해서 인용한 한 마디에 대해 이야기했습니다:

“만약 한 건물이 매주 화재 경보를 울리면, 그건 사실 매우 위험한 건물입니다.”

지금 다시 이 문구를 들어보니, 그 의미가 확실히 다릅니다.

7명 공동 창립자, 빠른 인식

Dario Amodei｜CEO, 이전 OpenAI 연구 부사장, 뉴런 과학 배경, Anthropic 전략 및 안전 경로 최종 결정자. 이 대화에서 가장 많이 발언했습니다.

Daniela Amodei｜사장, Dario의 누나. 이전에 Stripe에서 5년 반을 근무했으며 신뢰와 안전팀을 이끌었고, 비영리 및 국제 개발 분야에서 더 일찍 근무했습니다. Anthropic의 조직 구축과 외부 커뮤니케이션은 주로 그녀가 주도했습니다.

Jared Kaplan｜물리학 교수 출신 AI 연구자, Scaling laws의 주요 저자 중 한 명. 종종 비전문가 시각에서 판단을 제시하며, 처음에 AI를 한 것은 “물리학에 질려서”였다고 자신합니다.

크리스 올라｜해석가능성 (interpretability) 연구의 대표적 인물로, 19세에 베이지역 AI 커뮤니티에 진출하여 Google Brain과 OpenAI에서 근무했습니다. Anthropic에서 기술적 이상주의 색채가 가장 짙은 사람.

톰 브라운｜GPT-3 논문 1저자로, 현재 Anthropic의 컴퓨팅 자원을 책임지고 있습니다. 엔지니어링 및 기반구조에 중점을 둔 시각을 가지고 있으며, 팟캐스트에서는 "AI가 이렇게 빨리 발전할 거라고는 생각하지 않았는데" 라는 그가 겪은 변화의 과정에 대해 많은 이야기를 했습니다.

잭 클락｜전 블룸버그 기술 기자이자 Anthropic의 정책 및 공공문제 담당자입니다. 이 대화에서 진행자 역할을 맡아 연결고리를 담당하고 질문을 추가로 하였습니다.

샘 맥캔들리시｜연구 공동 창립자로, 전체적으로 발언이 가장 적지만 종종 중요한 핵심을 짚는, "역습 포지션"에 속합니다.

흥미로운 의견 요약

왜 AI를 하는가: 물리적인 지루함에서 "보다 보면 믿음"까지

Jared Kaplan: "이전에는 오랫동안 물리를 공부했는데, 조금 지루해졌고 더 많은 친구들과 일하고 싶어졌기 때문에 AI를 시작했습니다."

Dario Amodei: "나는 당신을 명확하게 설득했다고 생각하지 않아. 항상 AI 모델 결과를 보여줬을 뿐입니다. 어느 순간에, 당신이 충분히 많이 보고서 '음, 이것은 맞아 보인다'고 말했습니다."

역공배팅: 대부분의 공감은 떠나는 먹기행동이 성숙해 보임

Jared Kaplan: "많은 AI 연구자들이 AI 겨울로 인해 정서적으로 상처를 입었고, 야망적이라는 것이 허용되지 않는 듯한 느낌을 받았습니다."

Dario Amodei: "내가 지난 10년 동안 제일 크게 깨달은 점은: 많은 '모두가 아는' 공감이 사실은 떠나는 먹기 행동을 성숙한 것으로 외면한 것입니다. 당신이 공감이 밤사이 역전될 때를 몇 번이고 보면서, '아니, 우리는 여기에 배팅하겠다'고 말하게 됩니다. 비록 당신이 50%만 맞더라도, 많은 다른 사람들이 기여하지 않은 부분을 기여하게 됩니다."

보안과 확장성은 뒤얽혀 있다

Dario Amodei: "우리가 모델 확장을 선택한 동기 중 하나는 모델이 충분히 똑똑해야만 RLHF를 수행할 수 있기 때문입니다. 이것이 우리가 지금도 믿고 있는 바입니다: 보안과 확장성은 뒤얽혀 있습니다."

책임 있는 확장 정책(RSP)은 안쏘픽(Anthropic)의 '헌법'입니다

Tom Brown: "안쏘픽에게 RSP는 우리의 헌법과 같습니다. 그것은 안내적 핵심 문서이기 때문에 우리는 그것을 꼼꼼히 다듬기 위해 많은 시간과 노력을 투자합니다."

Dario Amodei: "RSP는 안전 기준에 부합하지 않는 계획이 계속 진행되는 것을 막을 것입니다. 우리는 구호를 외치는 것이 아닌 실제로 안전을 모든 단계에 통합하고 있습니다."

화재 경보가 너무 자주 울리면, 실제로 불이 나도 누가 도망갈까

Daniela Amodei: "우리는 '보안'이라는 단어로 작업 진행을 지배해서는 안 됩니다. 우리의 진정한 목표는 모든 사람이 우리가 말하는 '보안'이 무엇인지 명확히 알 수 있게 하는 것입니다."

Dario Amodei: "보안을 실제로 손상시키는 것은 종종 반복되는 '보안 훈련'입니다. 매주 건물에서 화재 경보가 울리면, 그건 사실 매우 위험한 건물입니다."

'고귀한 실패'는 함정입니다

Chris Olah: "어떤 사람들은 최고도리인 것은 안전을 위해 다른 목표를 희생하는 것이라고 말합니다. 이를 통해 자신의 사업에 대한 순수성을 과시합니다. 그러나 이러한 방식은 실제로 자기 파괴적입니다. 왜냐하면 이는 안전을 중요시하지 않는 사람들에게 결정권을 넘겨주기 때문입니다."

공동 창시자들이 80% 소득 기부 약속

Tom Brown: "우리는 모두 사회 발전을 촉진하는 데 기여할 수 있는 단체에 소득의 80%를 기부하기로 약속했습니다. 이는 모두가 마지못해 지지하는 일입니다."

아무도 창업을 하고 싶어하지 않지만, 하지 않을 수 없다고 느낌

Sam McCandlish: "실제로 우리 중 누구도 처음부터 회사를 창업하고 싶어했던 것은 아니었습니다. 우리는 그저 이것이 AI 발전이 올바른 방향으로 나아가기 위한 유일한 방법이라고 느꼈을 뿐이었습니다."

Daniela Amodei: "우리의 미션은 명확하고 순수하며, 기술 산업에서 이러한 상황은 흔치 않습니다."

가능성 이해: 신경망에는 전체적인 '인공 생물학'이 숨어있다

Chris Olah: "신경망은 매우 아름다운데, 아직 우리가 보지 못한 많은 아름다움이 있습니다. 때로는 상상하기도 합니다. 10년 후 서점에 가서 신경망 생물학에 관한 교과서를 사게 되면, 그 책 속에는 놀라운 것들이 가득할 것입니다."

AI가 민주주의를 강화하는 데 사용되는 것이지 독재 도구로 전락하는 것이 아님

Dario Amodei: "AI가 잘못 개발된다면, 우리는 AI가 독재주의의 도구가 될 수 있을까봐 걱정합니다. AI를 어떻게 하면 자유와 자기 결정을 촉진하는 도구로 만들 수 있을까요? 이 분야의 중요성은 생물학과 가능성만큼이나 큽니다."

백악관 회의부터 노벨상까지: AI의 영향력은 이미 기술계를 넘어섰음

Jared Kaplan: "2018년에 대통령이 언어 모델을 주목하고 있다며 백악관에 불러낼 거라고 생각할 수 없었습니다."

Dario Amodei: "화학 분야에서는 이미 알파폴드에 노벨상이 수여되었는데, 우리는 수백 개의 알파폴드를 만들어 낼 수 있는 도구를 개발하기 위해 노력해야 합니다."

왜 AI 연구해야 하는가?

Jack Clark: 왜 우리는 처음부터 AI를 연구해야 했을까요? Jared, 왜 AI를 하게 되었나요?

Jared Kaplan: "저는 이전에 오랫동안 물리학을 공부했었는데, 조금 지루해졌고, 더 많은 친구들과 함께 일하고 싶었기 때문에 AI를 시작했습니다."

Tom Brown: "나는 당신을 설득한 것은 다리오라고 생각했어."

Dario Amodei: "내가 당신을 명확히 『설득한』 것이라고 생각하지 않아. 나는 그냥 계속하여 당신에게 AI 모델 결과물을 보여주며, 그것들이 매우 일반적이라는 것을 전달하고자 했어. 언젠가는 내가 당신에게 충분히 많이 보여준 후에, 당신은 『음, 보이는 것이 맞아 보이네』라고 말했던 거야."

Jack Clark: Chris, 당신이 설명 가능성 연구를 할 때, 구글에서 모두를 알고 있던 거지?

Chris Olah: "아뇨. 사실 19살 때 처음으로 베이 에어리어를 방문했을 때 이미 여러분 중 일부를 알고 있었어. 그 때 다리오와 제라드를 만났는데, 그 둘은 당시에 나에겐 매우 멋있어 보였어. 나중에 구글 브레인에서 일할 때, 다리오가 합류한 뒤에 우리는 얼마간 곁에 앉아 일했고, 나는 톰과도 함께 일했고, 그 후에 OpenAI로 이직해서 여러분과 함께 작업하게 된 거야."

Jack Clark: "나는 2015년 어느 회의에서 다리오를 만나 인터뷰하고 싶다고 했을 때, 구글 PR이 나에게 당신 논문을 먼저 다 읽어보라고 했었지."

Dario Amodei: "당시 나는 구글에서 《AI 안전에 관한 구체적인 문제들》을 썼어."

Sam McCandlish: "내가 당신과 일하기 시작하기 전에, 당신이 나를 사무실로 초대해 이야기하는데, 마치 AI 전반에 대해 한 바퀴 돌아가며 설명한 것 같았어. 그때 당신이 『큰 연산 블록』, 매개 변수 수, 인간 뇌 신경 세포 수 등을 언급했던 걸 기억해."

혁신적인 확장

Jack Clark: "OpenAI에서 scaling laws를 수행할 때, 모델을 커지게 해서 시작하는 것이 실제로 효과적이었고, GPT-2에서 scaling laws, GPT-3으로 이어지며 많은 프로젝트에서 계속해서 기묘하게 효과적이었어, 우리는 이런 「일을 이루는 사람들」이었어."

Jared Kaplan：「우리는 모두 안전에 대해 매우 흥분했습니다. 그 당시 한 가지 아이디어가 있었는데, AI는 매우 강력할 것이지만 사람들의 가치를 이해하지 못할 수도 있고 심지어 우리와 의사 소통조차 할 수 없을 수도 있습니다. 언어 모델은 어느 정도 많은 암묵적인 지식을 이해할 수 있도록 보장합니다.」

Dario Amodei：「그리고 RLHF 위에 언어 모델이 있습니다. 그 당시 우리가 모델을 확장한 동기 중 하나는 모델이 충분히 똑똑해야 RLHF를 수행할 수 있기 때문입니다. 이것이 우리가 지금도 믿는 것입니다: 안전과 확장은 서로 뒤얽혀 있습니다.」

Chris Olah：「맞아, 당시 확장 작업은 사실 안전팀의 일부였습니다. 우리는 안전을 심각하게 다루고 싶다면 먼저 AI 트렌드를 예측할 수 있어야 한다고 생각했습니다.」

Jack Clark：「나는 영국 어딘가의 공항에서 GPT-2에서 가짜 뉴스를 작성하여 심플하게 한 샘플을 취했고, 그런 다음 Slack에서 Dario에게 '이것은 실제로 유용할 것이며 중요한 정책적 영향을 미칠 수 있다'고 말했습니다. 나는 Dario가 '네'라고 회신했던 것을 기억합니다.」

그 후 우리는 출시와 관련된 많은 작업을 수행했는데, 그것은 정말 미친 일이었습니다.

Daniela Amodei：「그 발표를 기억합니다, 그것은 우리가 실질적으로 협력을 시작한 첫 번째 시간이었습니다. 그 시점에서 GPT-2가 발표되었습니다.」

Jack Clark：「나는 그것이 우리에게 많은 도움이 되었다고 생각합니다. 우리는 먼저 함께 '약간 이상하지만 안전 중심적인' 작업을 하고, 나중에 'Anthropic'이라는 더 크고 또한 약간 이상하지만 안전 중심적인 작업을 함께하게 되었습니다.」

AI의 초기 단계

Tom Brown：「'Concrete Problems' 논문으로 돌아와 봅시다. 저는 2016년 OpenAI에 참여했는데, 그때 당신과 나는 초기 구성원들이었습니다. 그때 저는 그 논문이 최초의 주류 AI 안전 논문 같았습니다. 어떻게 이뤄졌나요?」

Dario Amodei：「Chris는 알고 있습니다. 그는 참여했습니다. 당시에 우리는 구글에서 일하고 있었는데, 그때 내가 주력으로 하던 프로젝트가 무엇인지도 잊었습니다. 그 논문은 제가 손 늦추어 만들었다고 느껴졌습니다.」

우리는 AI 보안에 어떤 개방적인 문제가 있는지 적어보고 싶었습니다. 그 당시 AI 보안은 매우 추상적으로 다뤄졌는데, 우리는 그것을 실제 머신러닝에 적용하고 싶었습니다. 이 선상에서 여섯~일곱 년 동안 작업해왔지만, 그 당시에는 이것이 그냥 이상한 아이디어로 여겨졌습니다.

Chris Olah: "나는 그것이 어떤 의미에서는 거의 정치적인 프로젝트인 것 같아요. 당시에 많은 사람들이 안전을 신경 쓰지 않았죠. 우리는 공식적으로 인정할 만한 문제 목록을 정리하고, 많은 학문적 문헌에 이미 존재했던 문제들을 찾아서 신뢰할 수 있는 다양한 기관들의 사람들과 공동 서명을 구하고자 했습니다."

나는 오랜 시간을 들여 Brain 내의 20여 명 이상의 연구자들과 소통하며 지원을 얻기 위해 노력했던 것을 기억합니다. 문제 자체만 본다면, 오늘 되돌아보면 항상 타당하지 않았을 수도 있지만, 그것을 공동 의견 형성으로 본다면, "여기에 실제 문제가 있고 심각하게 다뤄야 할 가치가 있다"는 것을 증명하는 것이 중요한 순간이라고 생각합니다.

Jack Clark: "결국 매우 이상한 과학 소설 세계로 들어가게 될 거예요. Anthropic 초기에 '헌법적 AI'를 언급한 것을 기억해요. Jared가 말한 '우리가 언어 모델을 위한 헌법을 작성하면, 그 행동이 변할 것'이라는 것. 그 당시에는 정말 미친 소리처럼 들렸어요. 왜 당신들은 이 가능성을 보았다고 생각하나요?"

Jared Kaplan: "나는 Dario와 오랫동안 논의하면서, 내가 생각하기에 AI에서 단순한 방법들이 종종 매우 효과적입니다. 초기 버전은 매우 복잡했지만, 계속해서 단순화되어, 결국은: 모델이 선택 문제를 잘 처리하는 데 기술적으로 숙련되어 있다는 점을 활용하여, 명확한 힌트를 제공하여 모델이 찾아야 하는 것을 알려주고, 그런 다음 우리는 원칙을 직접 적어 낼 수 있습니다."

Dario Amodei: "이것은 '엄청난 계산 덩어리'('The Big Blob of Compute') '쓴 교훈'('The Bitter Lesson') '확장 가설'('Scaling Hypothesis')로 돌아갑니다: 만약 AI에 명확한 목표와 데이터를 제공할 수 있다면, 그것은 학습할 수 있습니다. 일련의 지침, 일련의 원칙, 언어 모델이 그것들을 읽을 수 있고, 자신의 행동과 비교할 수 있으며, 교육 목표가 거기에 있습니다. 그래서 나와 Jared가 보기에는: 할 만한 방법은 있을 것입니다. 세부 사항을 반복해서 조정한다면요."

Jared Kaplan: "나에게 초기에는 매우 이상했습니다. 나는 물리학에서 왔는데, 지금은 모두 AI에 열정적이어서, 당시 분위기를 쉽게 잊어버리기 쉽습니다. 내가 당시 Dario와 이야기할 때, 많은 AI 연구자들이 AI 겨울의 영향으로 매우 상처를 입었는데, 마치 '야망'이 허용되지 않는 것처럼 느꼈어요. 안전에 대해 논의하려면 먼저 AI가 매우 강력하고 매우 유용할 수 있다고 믿어야 한다고 생각하지만, 그 당시에는 일종의 반 야망 명령이 있었습니다. 물리학자의 한 장점은 '거만함'인데, 그들은 종종 엄청난 일을 하고, 거대한 그림을 그리는 것에 익숙합니다."

Dario Amodei：「저는 이게 정말이라고 생각해요. 2014년에는 많은 이야기들을 할 수 없었어요. 이것은 학술계에 일반적인 문제인데, 일부 분야를 제외하고는 기관들이 점점 더 위험을 회피하려고 하고, 산업용 AI도 이러한 마음가짐을 계승했어요. 제 생각에는 2022년쯤에야 나아질 것 같아요.」

Chris Olah：「또한 「보수주의」에는 두 가지 형태가 있습니다: 하나는 위험을 심각하게 보는 것이고, 다른 하나는 계속해서 성공 가능성을 심각하게 고려하고 믿는 것을 거만한 것으로 여기는 것입니다. 우리는 당시에 후자가 우세했어요. 역사적으로 1939년 핵 물리학 논의도 유사한데요: Fermi는 꺼렸고, Szilard나 Teller는 위험을 심각하게 고려했어요.」

Dario Amodei：「지난 10년 동안의 가장 큰 교훈은: 많은 사람들이 알고 있다고 여기는 공감이 사실은 양심때문에 거세마로 가장한 것이었어요. 그 공감이 몇 번의 이밤 뒤 바뀌어 생각했을 때, 당신은 '아니, 우리는 이것에 맞추어야 해'라고 말할 수 있어요. 아마 항상 옳을 것은 아니지만, 소음을 무시하고 베팅하는 것. 당신이 50%만 맞아도, 다른 사람들이 기여하지 않은 것들을 많이 기여할 수 있어요.」

인공지능에 대한 대중의 태도 변화

Jared Kaplan：「오늘날 어떤 보안 문제들에서도 이런 상황이 있죠: 외부 공감은 기술로부터 안전 문제가 자연스럽게 발생하지 않을 것으로 생각하지만, Anthropic에서 우리는 연구를 통해 그것이 실제로 발생한다는 것을 보았어요.」

Daniela Amodei：「하지만 지난 18개월 동안 상황이 변하고 있어요. 동시에 세계는 AI에 대한 감정도 명백하게 변화하고 있어요. 사용자 조사를 할 때, 보통 사용자들이 AI가 세계에 미치는 영향에 대해 걱정한다는 것을 더 자주 들어요.」

가끔은 업무, 선입관, 유해성이고, 때로는 '이 것이 세상을 혼란스럽게 할까요, 인간의 협업 방식을 바꿀까요'하는 것인데, 이것은 사실 예상치 못했던 것이에요.

Sam McCandlish：「왜 인지는 모르지만, 머신러닝 연구자들은 'AI가 강해진다'에서 대중보다 더 비관적입니다.」

Jared Kaplan：「2023년에 저와 Dario가 백악관에 갔을 때, 모임 중 Harris와 Raimondo는 기본적으로 '우리가 너희들을 살펴보고 있다, AI는 큰 문제이고, 우리는 집중적으로 주시하고 있지만 2018년에는 '대통령이 당신을 불러서 언어 모델에 대한 주목을 요청할 것'으로 상상조차 못할 것이었죠.」

Tom Brown: "재밌는 건, 우리 중 많은 사람들이 이 일이 아직 확실치 않을 때 입장했다. 마치 페르미가 원자폭탄에 근데주의를 갖고 있던 것처럼, 원자폭탄이 제조될 수도 있겠지만 그렇지 않을 수도 있는 증거가 충분히 있었고, 그는 최종적으로 한 번 실험해 보기로 했다. 그것이 사실이라면 그 영향은 엄청나기 때문에 한 번 시도해 보는 가치가 있다."

2015년부터 2017년까지 AI가 큰 일이 될 수 있다는 증거가 있었고, 점점 더 많아졌다. 2016년에 제가 창업을 해 본 경험이 있었는데, AI 보안을 하고 싶었지만 수학적으로 충분히 강하지 않아 어떻게 해야 할지 몰랐다. 그 당시에 누군가는 의사결정 이론을 정복해야 한다고 말했고, 미친 AI 사태는 발생하지 않을 것이라고 말하는 사람들은 거의 없었다.

Jack Clark: "나는 2014년에 ImageNet 트렌드 보고서를 쓸 때 미친 놈으로 여겨졌다. 2015년에는 NVIDIA가 논문에서 GPU를 지속적으로 언급하는 것을 쓰려다가 미쳤다고 말을 들었고, 2016년에 뉴스에서 떠나 AI로 갔을 때 '너 인생에서 가장 큰 실수를 했어' 라는 이메일도 받았다. 당시 많은 면에서, 규모 측면에서 진지하게 베팅하는 것은 정말 미친 일처럼 보였다."

Jared Kaplan: "어떻게 결정했어? 고민했니?"

Jack Clark: "나는 역방향 베팅을 했어: 풀타임 AI 기자가 되고 연봉이 두 배가 되는 요구사항을 제기했는데, 그들이 받아들일 리가 없다고 알았다. 그리고 잠들고 일어나면서 퇴사했다. 그 이유는 매일 문서를 읽다 보니, 어느 순간 미친 큰 사건이 벌어질 것 같아서 당신은 믿음을 가지고 베팅해야 한다고 느꼈다."

Tom Brown: "나는 그렇게 결단력이 없었어, 나는 여섯 달을 망설였다."

Daniela Amodei: "또 그 때 '엔지니어도 AI를 크게 이끌 수 있다'는 것은 일반적으로 인정받는 것이 아니었어. 당시에는 'AI를 하는 건 연구자뿐'이라는 생각이 주를 이뤘기 때문에 네가 망설였다는 게 이상한 게 아니야."

Tom Brown: "나중에 OpenAI가 '엔지니어가 AI 안전을 돕는 데 도움을 줄 수 있다'고 말하길래 그때 들어왔어. Daniela, 너는 OpenAI에서 내 매니저인데, 왜 그때 가입했어?"

Daniela Amodei: "나는 Stripe에서 다섯 년 반을 근무했었는데, 그렉은 내 상사였어. 나는 그렉과 다리오를 소개시켰던 적이 있어. 당시 그는 OpenAI를 설립하고 있었는데, '내가 아는 가장 똑똑한 사람은 다리오야. 그를 팀에 합류시킬 수 있다면 당신에게 더 큰 행운일 거야'라고 그에게 말했더니, 나중에 다리오가 OpenAI에 들어가게 됐어."

아마 당신과 마찬가지로, 나 또한 Stripe를 떠난 후 무엇을 하고 싶은지 고민하고 있습니다. Stripe에 합류한 이유는 이전에 비영리 및 국제개발 분야에서 근무하면서 더 많은 기술 스킬이 필요하다고 느꼈기 때문이었는데, 실제로 그 당시에는 다시 그 분야로 돌아갈 것으로 생각했습니다.

Stripe에 합류하기 전, 저는 자신이 더 불우한 상황에 있는 사람들을 돕기에 충분한 역량이 없다고 느꼈습니다. 그래서 저는 다른 기술 회사들을 주목하고 더 큰 영향을 창출하기 위한 새로운 방법을 찾아보았는데, 그때 OpenAI는 매우 좋은 선택이라고 느꼈습니다. 그것은 비영리 조직으로서 매우 중요하고 의미 있는 목표를 달성하기 위해 노력하고 있었습니다.

저는 항상 AI의 잠재력을 믿어 왔고, Dario에 대해 알고 있었으며, 그들에게는 정말 운영을 도와줄 사람이 필요했기 때문에 이 일이 제 경력과 매우 일치한다고 생각했습니다. 당시에는 "이것은 비영리 기관이며, 매우 우수하고 비전을 갖고 있는 사람들이 모여 있지만 그들의 운영은 조금 혼란스러운 것 같군"이라고 마음 속으로 생각했습니다. 바로 이러한 도전이 저를 흥분하게 만드는데, 그렇게 함께 참여할 수 있기 때문입니다.

당시에 제가 스스로를 만능 선수처럼 느꼈습니다. 팀 멤버들을 관리하는 것뿐만 아니라 기술 팀을 이끄는 것, 조직 확장을 담당하는 것까지, 제가 조직 확장 작업을 담당하고, 언어 팀에서 근무한 적도 있었으며, 나중에 다른 몇 가지 작업도 맡았습니다. 정책 측면의 몇 가지 사안에 참여하고 Chris와 함께 협업한 경험도 있습니다. 기업 안에는 매우 우수한 인재들이 많다고 느껴져서 특히 합류하고 싶었으며, 기업이 더 효율적이고 조직적으로 보이도록 돕고 싶었습니다.

Jack Clark: "I remember you saying after doing GPT-3, 'Have you guys heard of trust and safety?'"

Daniela Amodei: "I used to lead the trust and safety team at Stripe. For a technology like this, you might want to think about trust and safety. This is actually a bridge between AI Safety Research and more practical day-to-day work, which is how to actually make models secure."

It is very important to present "this technology will have a significant impact in the future." At the same time, we also need to engage in some more practical work on a daily basis to lay the foundation for dealing with higher-risk scenarios in the future.

Responsible AI Expansion Policy: Ensuring the Safe Development of AI

잭 클락: "책임 있는 확장 정책 (RSP, Responsible Scaling Policy)에 대해 이야기해볼까요? 이 정책이 어떻게 제안되었는지, 왜 우리가 이것을 고안했는지, 그리고 지금 이를 어떻게 적용하고 있는지, 특히 우리가 현재 모델의 신뢰성과 보안 측면에서 해 올 작업을 고려할 때. 그렇다면, 누가 이 RSP (책임 있는 확장 정책)을 처음으로 제안했나요?"

다리오 아모데이: "최초로 이것을 제안한 사람은 저와 폴 크리스티아노였습니다. 대략 2022년 말쯤이었습니다. 처음에 우리가 고민한 것은, 특정 규모에 모델을 확장시키기 전에 일시적으로 제한하는 것이 좋을지, 일부 보안 문제를 해결할 방법을 찾을 때까지 그것을 제한해야 할지에 대한 것이었습니다."

그러나 나중에 우리는 모델을 어느 한 지점에서만 제한한 다음 이 제한을 다시 풀어주는 것은 다소 이상한 점이 있다고 판단했습니다. 그래서 우리는 모델이 각 장벽에 도달할 때마다 모델이 해당 보안 능력을 갖추고 있는지 평가하기 위해 일련의 테스트가 수행되어야 한다고 결정했습니다.

각 장벽에 도달할 때마다 더 엄격한 보안 및 안전 조치를 취해야 합니다. 그러나 초반에 우리는 이러한 일을 제3자가 수행하는 것이 더 좋을 수도 있다는 생각을 했습니다. 즉, 이 정책은 특정 회사가 독점적으로 책임져서는 안 되며, 그럴 경우 다른 회사들은 이 정책을 받아들이지 않을 수도 있습니다. 그래서 폴이 이 정책을 직접 디자인했습니다. 물론, 시간이 지남에 따라 많은 세부 사항이 변경되었습니다. 우리 팀은 이 정책을 더 잘 작동하도록 연구해 왔습니다."

폴이 이 개념을 정리하면서, 그가 이 개념을 발표하는 즉시 우리도 몇 달 안에 우리 자신의 버전을 출시했습니다. 사실, 우리 팀의 많은 구성원이 이 프로세스에 적극적으로 참여했습니다. 나는 적어도 초안 중 하나를 쓴 기억이 납니다. 그러나 전체 문서는 여러 차례 수정되었습니다.

톰 브라운: "Anthropic에 있어서 RSP는 우리의 '헌법'과 같습니다. 이는 지침이 되는 핵심 문서이며, 따라서 우리는 이 문서의 정확성과 완성도를 확실히 하기 위해 많은 시간과 노력을 기울이고 있습니다."

다니엘라 아모데이: "저는 RSP가 Anthropic의 발전 과정에서 정말 흥미로웠다고 생각합니다. 이는 여러 단계를 거쳤고, 이를 추진하기 위해 다양한 기술이 필요하였습니다. 예를 들어, 몇 가지 큰 그림적인 개념들은 다리오, 폴, 샘, 제라드 등이 담당했는데, 그들은 다음과 같은 점을 고민했습니다: '우리의 핵심 원칙은 무엇인가? 어떤 메시지를 전달하고 싶은가? 우리의 방향이 옳은지 어떻게 확인할 것인가?'"

그러나 이외에도 매우 실용적인 운영 측면의 작업이 있습니다. 계속되는 이터레이션 과정에서는 몇 가지 세부 사항을 평가하고 조정합니다. 예를 들어, 우리는 특정 보안 수준에서 특정 목표를 달성할 것으로 예상했지만, 이를 달성하지 못한 경우 재평가하고 작업 결과에 대한 책임을 다짐할 것입니다.

또한 조직 구조에 관련된 많은 조정 사항이 있습니다. 예를 들어, 우리는 RSP의 조직 구조를 재설계하기로 결정하여 책임을 더 명확히 나눴습니다. 저는 이 문서의 중요성을 비유적으로 헌법에 비교하는 것을 좋아합니다. 미국이 헌법을 보장하기 위해 법원, 대법원, 대통령, 상하의원 등으로 제도와 기관 전반을 수립한 것처럼요. 이 기관들은 다른 책임도 맡고 있지만, 이들의 존재는 근본적으로 헌법을 유지하는 데 중요하며, 우리 Anthropic의 RSP도 비슷한 과정을 겪고 있습니다.

Sam McCandlish: "내가 생각하기에, 이는 사이버 보안 문제에 대한 우리의 핵심적인 견해를 반영하는 것입니다. 보안 문제는 해결할 수 있습니다." 이는 매우 복잡하고 어려운 작업이며, 많은 시간과 노력이 필요합니다."

자동차 안전 분야와 마찬가지로, 관련 기관 및 제도는 수년에 걸쳐 발전해 왔습니다. 그러나 우리가 지금 직면한 문제는: 우리가 이 작업을 완료하기에 충분한 시간이 있는가? 따라서 AI 보안에 필요한 주요 제도를 신속하게 확인하고 여기서 선제적 조치를 취하며, 이러한 제도가 다른 곳에서 참고하고 확산될 수 있도록 보장해야 합니다.

Dario Amodei: "이는 내부 협업 통합에도 도움이 되며, 조직의 어떤 부분이라도 우리의 보안 가치관을 준수하지 않으면 RSP가 어떤 식으로든 문제를 드러낼 것입니다. 그렇죠? RSP는 그들이 보안 기준을 준수하지 않는 계획을 계속 추진하는 것을 막을 것입니다. 따라서 이는 계속해서 모두에게 상기시키는 도구가 되어, 보안이 제품 개발 및 계획 프로세스의 기본 요구 사항이 되도록 보장합니다. 우리는 단순한 구호를 외치는 것이 아니라, 실질적으로 모든 환영에 보안을 통합하고 있습니다. 만약 누군가가 팀에 합류한 후 이러한 원칙을 인정할 수 없다면, 그들은 자신을 적응시키기 어려울 것입니다. 이 방향을 받아들이거나 그대로 가기 힘들 것입니다."

Jack Clark: "시간이 흐름에 따라 RSP의 중요성이 커지고 있습니다. 우리는 몇 천 시간을 투자했으며, 제가 상원의원들에게 RSP를 설명할 때 말했습니다: '우리는 기술이 남용되지 않을 뿐 아니라 안전을 보장하기 위한 몇 가지 조치를 마련했습니다.' 그들의 반응은 보통 '이게 정상인 거 아니에요. 다른 회사들도 다 이렇게 하지 않나요?' 라고 말합니다. 이렇게 되어 조금 웃음이 납니다, 사실 그렇지 않습니다."

Daniela Amodei：「또한 저는 팀 가치관의 일관성을 촉진하는 것 외에도 RSP가 회사의 투명성을 강화했다고 생각합니다. 우리의 목표가 명확히 기록되어 있기 때문에 회사 내 모든 사람이 이해할 수 있고 외부인도 우리의 안전 목표와 방향을 명확히 파악할 수 있습니다. 아직 완벽하지는 않지만 계속해서 최적화하고 개선해 오고 있습니다.」

우리가 실제로 지향해야 하는 "안전"이 무엇인지 명확히 지적하는 것이 중요하다고 생각합니다. "안전 문제로 인해 우리는 이것을 할 수 없다" 또는 "안전 문제로 인해 이것을 해야 한다"는 식의 발언으로 업무 진행을 임의로 방해해서는 안 되며, 우리가 말하는 안전이 무엇인지를 다른 사람들에게 명확히 알리는 것이 우리의 실제 목표입니다.

Dario Amodei：「장기적인 관점에서, 실제로 안전에 해를 끼치는 것은 종종 반복되는 '안전 훈련'입니다. 저는 이렇게 말한 적이 있습니다: '매주 화재 경보가 울리는 건물이 있다면, 그건 실제로 매우 안전하지 않은 건물입니다.' 왜냐하면 실제 화재가 발생할 때 아무도 신경 쓰지 않을 수도 있고, 우리는 경보의 정확성과 교정에 매우 신경을 써야 합니다.」

Chris Olah：「다른 관점에서 보면 RSP는 여러 측면에서 건강한 인센티브 메커니즘을 만들어 냈습니다. 회사 내부에서 RSP는 각 팀의 인센티브 메커니즘을 안전 목표와 일치시킴으로써 안전 측면에서 충분한 진전을 이루지 못할 경우 해당 작업을 일시 중지시키는 의미를 갖습니다.」

한편 외부에서도 RSP는 다른 방법들보다 건강한 인센티브 메커니즘을 만들어 냅니다. 예를 들어 언젠가 우리가 '우리의 모델이 특정 단계로 발전했지만 그 안전을 보장할 수는 없다'고 인정해야 하는 상황이 오면 RSP는 이 결정을 지원하는 명확한 프레임워크와 증거를 제시합니다. 이러한 프레임워크는 이미 존재하며 명확하고 이해하기 쉽습니다. 초기 버전의 RSP에 대해 논의할 때 이것의 잠재력을 완전히 이해하지 못했지만, 지금은 다른 방법들보다 훨씬 더 효과적이라고 생각합니다.」

Jared Kaplan：「이러한 의견에 동의하지만, 우리가 올바른 정책을 수립하고 평가 기준을 설정하며 경계를 명확히 하는 데 직면한 어려움을 조금 과소평가한 것 같습니다. 우리는 이러한 부분에서 많은 반복을 거쳐 왔으며 여전히 최적화 작업을 지속하고 있습니다. 한 가지 어려운 문제는 일부 신생 기술에 대해 때때로 그것이 위험한지 안전한지 명확히 판단하기 어려울 때입니다. 많은 경우에 우리는 방대한 회색 지대에 직면하게 됩니다. 이러한 도전은 나에게 RSP 개발 초기에 매우 향기로웠다고 느끼게 했으며 지금도 그럴 뿐만 아니라 이 전략을 명확하게 실행하고 실현시키는 것은 처음 상상한 것보다 훨씬 더 복잡하고 도전적이라는 것을 깨달았습니다.」

Sam McCandlish：「그레이 에리어는 완전히 예측할 수 없는 영역이며, 어디에서나 발생합니다. 실제 구현을 시작할 때에만 문제점을 발견할 수 있습니다. 따라서, 우리의 목표는 가능한 빨리 모든 내용을 구현하는 것이며, 이렇게 하면 잠재적인 문제를 빨리 발견할 수 있습니다.」

Dario Amodei：「완벽을 달성하려면 세 번에서 네 번의 반복이 필요합니다. 반복은 매우 강력한 도구이며, 처음부터 완전히 정확한 결과를 얻는 것은 거의 불가능합니다. 따라서, 마주한 위험이 계속 증가하는 경우, 이러한 반복을 가능한 빨리 완료해야만 합니다.」

Jack Clark：「동시에, 내부 체제 및 프로세스를 구축해야 합니다. 구체적인 세부 정보는 시간이 지남에 따라 변할 수 있지만, 팀의 실행 능력을 키우는 것이 가장 중요합니다.」

Tom Brown：「저는 Anthropic의 컴퓨팅 자원 관리를 책임지고 있습니다. 외부 이해관계자와 소통해야 한다고 생각합니다. 다양한 외부인들은 기술 발전에 대해 서로 다른 시각을 가지고 있습니다. 처음에는 기술이 빠르게 발전할 것이라고 생각하지 않았지만, 후에 견해가 바뀌었습니다. 그래서 저도 이해할 수 있습니다. 저는 RSP가 나에게 매우 유용하다고 생각합니다. 특히 기술 발전이 상대적으로 느릴 것이라고 생각하는 사람들과 소통할 때입니다. 우리는 그들에게 말할 수 있습니다: '기술이 매우 긴급한 수준에 이르기 전에 극단적인 보안 조치를 취할 필요가 없습니다.' 그들이 '장기간 동안 상황이 긴박하지 않아보인다'고 말하면, 저는 '알겠습니다. 그럼 일단 극단적인 보안 조치를 취할 필요가 없습니다.' 라고 대답할 수 있습니다. 이를 통해 외부와의 소통이 더 원활해집니다.」

Jack Clark：「그렇다면, RSP가 모두에게 어떤 영향을 미쳤나요?」

Sam McCandlish：「모든 것은 평가를 중심으로 하며, 모든 팀이 평가를 진행합니다. 예를 들어, 교육 팀은 계속해서 평가 작업을 수행하고 있으며, 이 모델이 충분히 강력해져 위험을 야기할 수 있는지 여부를 파악하려고 노력합니다.」

Daniela Amodei：「이는 사실상 우리가 모델의 성능을 RSP의 기준에 따라 측정해야 한다는 것을 의미하며, 우리가 우려하는 조짐이 있는지 여부를 확인하는 것도 포함됩니다.」

Sam McCandlish：「모델의 최소 능력을 평가하는 것은 비교적 쉽지만, 모델의 최고 능력을 평가하는 것은 매우 어렵습니다. 그래서, 우리는 많은 연구 노력을 기울여, 이 모델이 특정 위험 작업을 수행할 수 있는지 여부에 대한 질문에 답하려고 노력했습니다. 우리가 고려하지 않은 방법들이 있는지, 개념지도, 최상의 사건 또는 특정 도구의 사용과 같은 것들이 모델이 매우 위험한 행동을 할 수 있게 만들 수 있는지에 대한 것입니다.」

Jack Clark: "정책 수립 과정에서 이러한 평가 도구들은 매우 유용합니다. '안전'은 매우 추상적인 개념이며, '우리가 이 모델을 배포할 수 있는지 여부를 결정하는 평가 도구가 있다'고 말할 때, 우리는 정책 제정자, 국가 안보 전문가, 그리고 CBRN(화학, 생물, 방사능, 핵) 분야 전문가와 협력하여 정확한 평가 기준을 수립할 수 있습니다. 이러한 구체적인 도구들이 없으면 이러한 협력은 전혀 이루어지지 않을 수 있습니다. 그러나 명확한 기준이 확립되면 사람들은 더 많이 참여하고 정확성을 보장하기 위해 우리를 돕겠다는 뜻을 갖게 됩니다. 따라서 이 측면에서 RSP의 역할은 매우 중요합니다."

Daniela Amodei: "나에게도 RSP는 매우 중요하며 종종 내 업무에 영향을 미칩니다. 흥미로운 것은 RSP에 대한 나의 생각 방식이 약간 특이하다는 것이며, 더 많이 '어조'에서 출발하는 것, 즉 표현 방식에서부터입니다. 최근에 우리는 RSP의 어조를 크게 조정했는데, 이전에는 어조가 너무 기술적이었고 때로는 대립적인 느낌이었습니다. 사람들이 참여하고자 하는 체계를 어떻게 구축할지에 대해 많은 시간을 투자했습니다."

만약 RSP가 회사 내 모든 사람이 쉽게 이해할 수 있는 문서라면 더 좋을 것입니다. 우리의 현재 OKR(목표 및 주요 결과)과 같습니다. 예를 들어, RSP의 주요 목표는 무엇인가요? 우리는 목표를 달성했는지 어떻게 알 수 있나요? 현재 AI 안전 등급(ASL)은 어떤가요? ASL-2인가요, ASL-3인가요? 모든 사람이 초점을 맞춰야 할 사항을 알고 있다면 잠재적인 문제를 발견하는 것이 더 쉬워집니다. 그러나 RSP가 지나치게 기술적이면 소수의 사람만이 이해할 수 있기 때문에 실제 유용성이 크게 떨어질 것입니다.

RSP가 더욱 이해하기 쉬운 방향으로 발전하고 있다는 것을 보게 되어 기쁩니다. 지금은 저는 회사 내 대다수 사람, 아마 심지어는 모든 사람이 어떤 직책을 맡든 이 문서를 읽고 '이것은 합리적이다. AI를 개발할 때 이러한 원칙을 지키고자 합니다. 이 문제들에 관심을 가져야 하는 이유를 이해합니다. 문제가 발생하면 어느 정도 주의를 기울여야 하는지 대략적으로 알고 있습니다.'라고 느낄 것입니다. 우리는 RSP를 제조 공장에서 일하는 사람들이 '안전벨트가 여기에 연결되어야 하지만 현재 연결되어 있지 않습니다.'라고 쉽게 인식하여 문제를 즉시 발견할 수 있기를 희망합니다.

중요한 것은 리더십, 이사회, 회사의 다른 부서 및 실제 연구 및 개발 작업에 종사하는 팀 간에 꾸준한 의사 소통이 가능하도록 건전한 피드백 메커니즘을 구축하는 것입니다. 저는 대부분의 문제가 의사 소통이 원활하지 않거나 정보 전달에 오차가 발생했기 때문에 발생한다고 생각합니다. 이러한 이유로 발생하는 문제들은 매우 유감스럽겠지요? 마지막으로 우리가 해야 할 일은 이러한 개념들을 현실로 구현하고, 모든 사람이 쉽게 이해할 수 있도록 보장하는 것입니다.

Anthropic의 설립 이야기

Sam McCandlish: "사실 우리 중 누구도 처음부터 회사를 설립하고 싶어했던 것은 아닙니다. 우리는 그저 AI 발전이 올바른 방향으로 나아가는 것을 보장하는 유일한 방법이라고 생각하고, 이는 우리가 그 약속을 지키기로 한 이유입니다."

Dario Amodei: "내 최초의 아이디어는 매우 간단했습니다. 나는 어떻게 하면 유익한 방식으로 새로운 것을 발명하고 탐구할 수 있을지에 대해 기대했습니다. 이러한 아이디어가 나를 AI 분야로 이끌었고, AI 연구는 상당한 공학 기술 지원과 결국 막대한 자금 지원을 필요로 합니다."

그러나 회사를 설립하고 환경을 관리하기 위한 명확한 목표와 계획이 없다면, 많은 일들이 완료되지만 내가 기술 산업에서 느낀 멀어짐을 유발하는 많은 오류들이 반복될 수 있음을 발견했습니다. 이러한 오류는 종종 동일한 사람, 동일한 태도 및 동일한 사고 방식에서 비롯됩니다. 따라서 어느 순간에 우리는 이 일을 새로운 방식으로 수행해야 한다는 것을 깨달았고, 이것은 거의 불가피한 것이었습니다."

Jared Kaplan: "우리가 대학원 때를 기억해보면, 당시 당신은 공공이익을 촉진하기 위해 과학 연구를 통해 어떻게 탐구할 것인가에 대한 완전한 계획을 가졌습니다. 나는 그것이 우리 현재의 사고와 매우 유사하다고 생각합니다. 당시 여러분이 '프로젝트 밴네바'라는 프로젝트를 진행할 계획이 있었고, 그 목표는 이것을 실현하는 것이었습니다. 나는 당시 교수였고, 그 당시 상황을 관찰하고 AI의 영향력이 매우 신속하게 커지고 있다고 깊이 믿었습니다."

그러나 AI 연구가 자금에 대한 높은 수요로 인해, 물리학 교수로서, 학문적 연구만으로는 이러한 발전을 추진할 수 없음을 깨달았습니다. 신뢰할 수 있는 사람들과 함께 일하고, AI의 발전이 올바른 방향으로 전진할 수 있도록 하는 기관을 설립하고 싶어했습니다. 그러나 솔직히 말하자면, 다른 사람들에게 회사를 설립하도록 권장해본 적이 없고, 그러한 의도도 가진 적이 없었습니다. 나에게는 이것이 목표를 달성하는 수단에 불과한 것뿐입니다. 일반적으로, 성공의 핵심은 세상에 의미 있는 목표를 달성하기 위해 정말로 삶게 된 다음, 이를 달성하는 가장 좋은 방법을 찾는 데 있습니다.

신뢰 문화 구축 방법

Daniela Amodei: "나는 팀으로써의 전략적 우위를 자주 고민하며, 그 중 하나는 조금 뜻밖으로 들릴 수도 있지만 매우 중요한 요소는 우리 사이의 높은 신뢰 수준입니다. 대규모 그룹이 공동 미션을 갖도록 하는 것은 매우 어렵지만, Anthropic에서는 우리가 계속해서 이 미션을 점점 더 사람들에게 성공적으로 전달해 왔습니다. 이 팀 안에는 리더십과 모든 구성원을 포함해 모두가 공동의 미션으로 모여 있습니다. 우리의 미션은 명확하고 순수하며, 기술 산업에서 이러한 상황은 드물지요."

저는 우리가 추구하고 있는 목표가 순수한 의미에 충만하다고 느낍니다. 우리 중 아무도가 회사를 설립하기 위해 시작한 것이 아닙니다. 우리는 이렇게 해야만 한다고 느꼈을 뿐입니다. 우리는 이전의 위치에서 일을 진행할 수 없었고, 이 일을 완수하기 위해 스스로만 의존해야 했습니다.

Jack Clark: "그 당시 GPT-3의 등장과 우리 모두가 접하거나 참여한 프로젝트인 스케일링 법칙 등을 통해, 우리는 2020년에 인공지능 발전의 경향을 명확히 알게 되었습니다. 우리는 조속히 행동을 취하지 않으면 불가피한 임계점에 도달할 수 있다는 것을 깨달았습니다. 우리는 이 환경에 영향을 미치기 위해 행동해야 했습니다."

Tom Brown: "Daniela의 의견을 잇겠습니다. 저는 우리 팀이 상호 높은 신뢰를 가지고 있다고 확신합니다. 우리 모두가 이 팀에 합류한 이유는 세상에 기여하고 싶다는 마음 때문이었습니다. 또한 우리는 수입의 80%를 사회 발전을 촉진하는 데 기여할 수 있는 기관에 기부하기로 약속했는데, 이는 아주 당당하게 지원하는 사항입니다: '네, 물론 할 거죠.' 이러한 신뢰는 매우 특별하고 드문 것입니다."

Daniela Amodei: "Anthropic은 매우 정치적으로 중립적인 회사라고 생각합니다. 물론, 우리의 시각은 보통 사람과 조금 다를 수 있으며, 항상 그 점을 명심합니다. 우리는 채용 절차와 팀 구성원의 특성으로 인해 여기 문화가 '사내 정치'에 대한 자연스러운 반감을 느낄 수 있습니다."

Dario Amodei: "그리고 팀의 단결성도 매우 중요합니다. 제품 팀, 연구 팀, 신뢰와 보안 팀, 마케팅 팀, 정책 팀이든, 모두가 회사의 동일한 목표를 달성하기 위해 노력하고 있습니다. 회사 내에서 서로 다른 부서가 각자 완전히 다른 목표를 추구하는 경우 혼란이 초래될 수 있습니다. 다른 부서가 자신들의 작업을 방해하는 것으로 여기며, 그것을 해결하려는 타 부서가 있는 것은 매우 정상적인 현상이 아닙니다."

우리가 이룬 가장 중요한 성과 중 하나는 회사의 통일성을 성공적으로 유지한 것입니다. RSP 같은 메커니즘이 중요한 역할을 하였습니다. 이 메커니즘은 회사 안에서 어떤 부서가 문제를 발생시키고 다른 부서가 문제 해결을 시도하는 것이 아니라, 모든 부서가 각자의 역할을 수행하면서도 통일된 변화 이론 프레임워크 내에서 협업한다는 것을 보장합니다.

Chris Olah：「저는 원래 OpenAI에 참가한 이유가 비영리 기관이라서 AI 안전 연구에 전념할 수 있다고 생각했기 때문이었습니다. 그러나 시간이 지남에 따라 이 패턴이 전적으로 저에게 맞지 않음을 점차 깨달았고, 이는 몇 가지 어려운 결정을 내리도록 만들었습니다. 이과정에서 다리오와 다니엘라의 판단을 매우 신뢰하지만 떠나고 싶지는 않았습니다. AI 연구소를 더욱 많이 확장하는 것이 세계에 도움이 될지 의문이 들어 떠나기에 매우 주저하게 되었습니다.」

마침내 우리가 떠나기로 결정했을 때, 회사를 설립하는 것에 대해 여전히 망설였습니다. 우리는 비영리 기관을 설립하여 안전 연구에 전념해야 한다고 주장했었지만, 최종적으로 더 실용적인 태도와 현실 제한을 직시하면서 우리의 목표를 달성하기 위한 최선의 방법이 Anthropic을 설립하는 것임을 깨달았습니다.

Dario Amodei：「우리가 초기에 배운 중요한 교훈 중 하나는: 약속을 삼가고 실행을 우선시하라. 현실을 유지하고 저울질하라. 신뢰와 신용이 구체적인 정책보다 중요하다.」

Daniela Amodei：「Anthropic의 독특한 점 중 하나는 팀의 높은 신뢰와 일치성입니다. 예를 들어, Mike Krieger가 특정 제품을 안전 상의 이유로 출시하지 않겠다고 단언하며, 동시에 Vinay가 비즈니스 요구 사항을 균형잡아 프로젝트를 추진하는 방법을 논의하는 것을 보면 매우 특별한 것으로 느껴집니다. 또한 기술 안전팀과 추론팀 엔지니어들도 제품이 안전하고 실용적인지 어떻게 보장할지에 대해 논의하고 있습니다. 이러한 통일된 목표와 실용적인 태도는 Anthropic의 작업 환경에서 가장 매혹적인 요소 중 하나입니다.」

Dario Amodei：「건강한 조직 문화는 모든 사람이 공동 목표에 대한 저울질한 선택을 이해하고 수용할 수 있는 것에 있다. 우리가 사는 세상은 완벽하지 않으며, 모든 결정은 서로 다른 이익 사이에서 균형을 찾아야 할 필요가 있습니다. 이러한 균형은 종종 모두를 완전히 만족시키기 어렵기 때문에 상호 이해로운 목표 아래 팀 전체가 이러한 저울질을 직시하고 각자의 위치에서 전체 목표에 기여하는 것이 건강한 생태계라고 생각합니다.」

Sam McCandlish：「어느 면에서는 이것이 '상승 경쟁'입니다. 네, 이것은 실제로 '상승 경쟁'입니다. 비록 완전히 위험 없는 선택은 아니라 변화가 실패할 수 있지만, 우리는 모두 동의합니다: '우리가 한 선택입니다.'」

AI를 위한 경쟁의 정점

Jack Clark: "그러나 시장은 본질적으로 실용적이기 때문에, Anthropic이 성공할수록, 다른 사람들은 우리의 성공을 이끈 방법을 모방하고자 impetus를 얻습니다. 또한, 우리의 성공이 실제 보안 작업과 긴밀히 연관되어 있을 때, 이러한 성공은 산업 내에서 '중력'을 형성하여 다른 회사들도 이 경쟁에 참여하도록 만듭니다. 우리가 시트 벨트를 개발했음으로 다른 회사들도 그것을 모방할 수 있습니다. 이는 건강한 생태계입니다."

Dario Amodei: "그러나 당신이 '우리는 이 기술을 개발하지 않겠다, 그리고 너희는 더 잘할 수 없을 것이다'라고 말한다면 이 방식은 통하지 않습니다, 왜냐하면 당신은 현재 상황에서 미래로 나아가는 경로가 실행 가능하다는 것을 증명하지 못했기 때문입니다. 세상이 필요로 하는 것은 산업이나 특정 회사 모두가 '기술이 없음'에서 '강력한 형태의 기술이 존재하고 사회적으로 효과적으로 관리된다'로 전환할 수 있는 방법을 찾아야 합니다. 나는 이러한 목표를 달성할 수 있는 유일한 방법은 단일 회사 수준에서, 심지어 최종적으로 전체 산업 수준에서 이러한 권혈을 직시하는 것이라고 생각합니다."

당신은 경쟁력을 유지하면서 때로는 산업을 주도할 수 있는 방법을 찾아야 합니다. 그동안 기술의 안전을 보장해야 합니다. 이것을 달성할 수 있다면, 당신의 업계에 대한 매력력은 매우 강할 것입니다. 규제 환경에서부터 다른 기술 회사에 합류하고자 하는 우수한 인재, 심지어 고객의 시선까지, 이 모든 요소들은 산업이 동일한 방향으로 발전하도록 밀어줄 것입니다. 당신이 경쟁력을 희생하지 않고도 안전을 보장할 수 있다는 것을 증명할 수 있다면, 즉, 상호 이익을 가져다 주는 솔루션을 찾을 수 있다면, 다른 회사들도 자극을 받아 이러한 방법을 모방할 것입니다."

Jared Kaplan: "나는 RSP와 같은 메커니즘이 왜 중요한지에 대해 이것이 그 이유입니다. 우리는 기술 발전 방향을 명확히 인식할 수 있기 때문에 특정 문제에 대해 높은 경계를 유지해야 하지만 '늑대가 온다' 잘못된 경보를 울리는 것은 피해야 합니다. 간단히 '혁신은 여기서 멈춰야 한다'고 말할 수는 없습니다. 우리는 고객에게 유용하고 혁신적이며 즐거운 경험을 제공할 수 있는 AI 기술이어야 하지만 시스템의 안전을 보장하며 다른 회사들이 안전한 전제 하에 성공을 이룰 수 있고 우리와 경쟁할 수 있도록 해야 합니다."

Dario Amodei: "몇 달 후, 우리가 RSP를 선보이면서, 세계적으로 가장 유명한 3개의 AI 회사도 유사한 메커니즘을 연이어 선보였습니다. 설명 가능성 연구는 우리의 또 다른 중요한 성과 분야였습니다. 또한, 우리는 AI 보안 연구 기관과 협력하며 이러한 전반적인 안전에 대한 주의가 깊은 영향을 미치고 있습니다."

Jack Clark:「네, Frontier Red Team은 거의 즉시 다른 회사들에 의해 모방되었습니다. 이것은 좋은 일이며, 우리는 모든 실험실이 잠재적으로 높은 위험을 안고 있는 보안 취약점을 테스트할 수 있기를 바랍니다.」

Daniela Amodei:「Jack가 이전에도 언급한 바와 같이, 고객들 또한 보안 문제에 매우 관심이 있습니다. 고객들은 모델이 가짜 정보를 생성하지 않기를 원하며, 모델이 보안 제한을 우회하기 쉽지 않기를 원합니다. 그들은 모델이 유용하고 해롭지 않기를 바라며, 우리는 종종 고객 의사 소통에서 '우리는 Claude를 선택했으며, 그 이유는 더 안전하다고 알고 있기 때문입니다.'라는 발언을 듣습니다. 이는 시장에 엄청난 영향을 미치고 있다고 생각합니다. 우리는 신뢰할 수 있고 안정적인 모델을 제공할 수 있으며, 이로 인해 경쟁사에 상당한 시장 압력을 가하고 있습니다.」

Chris Olah:「아마 Dario가 방금 언급한 견해를 더 발전시킬 수 있을 것 같습니다. 어떤 주장에 따르면, 가장 도덕적인 행동은 '고귀한 실패'라고 할 수 있습니다. 다시 말해, 다른 목표를 희생하지 않고 안전성을 위해 행동하고, 때로는 현실적이지 못한 방식으로 행동함으로써 자신의 사업에 대한 순수성을 나타내야 한다는 것입니다. 그러나 저는 이러한 방식이 실제로 자기 파괴적이라고 생각합니다.」

먼저, 이러한 방식은 안전을 중시하지 않는 사람들에게 의사 결정 권한을 넘겨주게 됩니다. 반면에, 당신이 보안을 중시하고 역할을 적절하게 한 사람을 지지하는 방법을 찾으려고 애를 쓰고, 어려운 결정을 지지하는 사람들을 가장 강력하게 지원하는 곳에 그 결정을 내리는 방식으로 보상 메커니즘을 조절할 수 있다면, Dario가 묘사한 '상승 경쟁'을 일으킬 수 있습니다. 이 경쟁에서는 안전을 중시하지 않는 사람들이 주춤하고 다른 사람들이 당신의 발걸음에 따라 쫓아오도록 강요됩니다.

인공 지능의 미래 전망

Jack Clark:「그렇다면, 우리가 다음에 해야 할 일에 대해 기대되는 점은 무엇인가요?」

Chris Olah:「해석 가능성에 대해 흥분을 느끼는 이유는 많다고 생각해요. 하나는 명백히 안전상의 고려 때문입니다. 그러나 다른 이유로, 개인적으로 그것이 나를 흥분시키고 의미있게 만든다고 생각하는 것이 있습니다. 그것은 내가 신경망이 매우 훌륭하다고 생각하고, 여기에는 아직까지 볼 수 있지 않은 아름다움이 있다고 생각하기 때문입니다. 우리는 항상 신경망을 블랙 박스로 취급하고 내부 구조에 특별히 관심을 두지 않았지만, 그것들을 심층적으로 연구하기 시작하면 그 내부에 놀라운 구조가 가득하다는 사실을 발견하게 됩니다.」

이것은 생물학에 대한 태도와 비슷합니다. 어떤 사람들은 '진화는 지루하다, 그것은 단순한 프로세스이며, 오랜 시간이 걸렸지만 동물을 만들어 냈습니다.'라고 생각할 수도 있습니다. 그러나 실제로, 진화에 의해 만들어진 각 동물은 놀라운 복잡성과 구조로 가득 차 있습니다. 그리고 나는 진화가 최적화 프로세스라고 생각합니다, 마치 신경망을 훈련시키는 것처럼 말이죠. 신경망 내부에도 '인공 생물학'에 해당하는 복잡한 구조가 있습니다. 그것들을 깊숙히 연구하려고 하면 놀라운 것을 발견하게 될 것입니다.

나는 우리가 막 시작점에 불과하다고 생각해요. 그것은 정말 믿기 어려울 정도로 놀라운데, 그 속에는 우리가 발견하기 위해 기다리는 것이 너무 많아요. 우리는 막 문을 열기 시작했을 뿐이라고 생각하고, 앞으로의 발견은 매우 흥미롭고 멋진 것이 될 것 같아요. 가끔 나는 상상해봐요, 10년 뒤에 서점에 들어가서 신경망 해석가능성에 관한 교과서나 실제적인 신경망 '생물학'에 관한 책을 사고, 그 책 안에는 놀라운 내용이 가득할 거라고 생각해요. 믿어지지 않겠지만, 미래에는 10년 안에, 심지어 몇 년 안에 이런 것들을 진정으로 발견하기 시작할 것이고, 그것은 미친 듯하면서도 놀라운 여정이 될 거예요.

Jack Clark: "몇 년 전에 누군가가 말했을 때, '정부가 새로운 기관을 설립하여 AI 시스템을 테스트하고 평가할 것이고, 그 기관들이 매우 전문적이며 기능을 발휘할 것이다.' 라고 하면 진짜인 줄 알았을까요? 그러나 그것은 이미 일어난 일이에요. 정부는 이 새로운 기술 범주에 대처하기 위해 '새로운 대사관'을 세운 셈이고, 이것이 어떻게 전개될지 기대돼요. 이것은 사회적 전환에 대처할 능력을 국가가 가졌다는 것을 실제로 의미한다고 생각하며, 기업들에 의존하는 것뿐만 아니라 이에 참여할 수 있다는 것에 대해 기쁘게 생각해요."

Daniela Amodei: "저는 지금이라도 이에 흥분하고 있지만, 미래 AI가 인류를 위해 무엇을 할 수 있는가를 상상하는 것만으로도 흥분하기 어려워요. 지금 Claude가 백신 개발, 암 연구 및 생물학 연구에 기여할 수 있는 조짐이 놀라운데, 이미 그것이 믿기 어렵운 일이에요. 지금 Claude가 할 수 있는 일을 보고도 이미 놀라울 정도인데, 3년에서 5년 미래를 내다보면 Claude가 정말 많은 인류가 직면한 근본적인 문제를 해결할 수 있다는 것은 더욱 흥미롭게 느껴져요, 특히 건강 분야에서 말이죠. 저는 국제 개발 분야에서 근무했던 날을 생각해봤을 때, 당시 Claude가 제 일을 효율적으로 마무리하는 데 도와준다면 얼마나 놀랍겠느냐고 상상해봅니다."

Tom Brown: "개인적인 측면에서 말씀드리자면, 저는 일에서 Claude를 사용하는 것을 정말 좋아해요. 그래서 최근에 집에서도 Claude를 사용해 몇 가지 이야기를 나누곤 했어요, 최근 가장 큰 변화는 코딩인데요. 6개월 전에는 Claude를 사용하여 프로그래밍 관련 작업을 처리하지 않았는데, 당시 우리 팀도 Claude를 사용하여 코드를 작성하는 일이 거의 없었어요. 그렇지만 지금은 상황이 크게 변했어요. 예를 들어, 지난 주에 Y Combinator에서 개최한 이벤트에서 연설을 했어요. 처음에 제가 물었을 때, '지금 Claude를 사용하여 프로그래밍을 하는 사람이 얼마나 있나요?' 거의 95% 정도의 사람들이 손을 들었어요. 거의 모든 사람이 손을 들었는데, 이게 4개월 전과 완전히 다른 상황이라는 거죠."

Dario Amodei：「나는 흥미로운 것을 고려할 때, 이전에 언급한 것처럼 이미 합의에 도달한 것 같지만 실제로는 이 공통 지점이 곧 깨어질 곳을 생각합니다. 그 중 하나는 해석가능성입니다. 나는 해석가능성이 AI 시스템을 안전하게 이끄는 데 중요할 뿐만 아니라, 지적 최적화 문제 및 인간 뇌 작동에 대한 깊은 통찰을 포함하고 있다고 봅니다. 나는 Chris Olah이 미래에 노벨 생리학상을 받게 될 것이라고 말했었습니다.」

나는 이전에 뇌과학자였기 때문에, 우리가 아직 해결하지 못한 많은 정신 질환들, 예를 들어 조현병이나 정서 장애와 같은 것들이 어떤 더 높은 수준의 시스템적 문제와 관련이 있을 것으로 의심합니다. 그러나 인간 뇌의 복잡성과 직접적인 연구가 어렵다는 특성으로 인해, 이러한 문제를 완전히 이해하기는 어렵습니다. 그러나 신경망은 완벽한 비유는 아니지만, 인간 뇌만큼 해독하기 어렵고 상호작용하기 어렵지 않습니다. 시간이 지남에 따라, 신경망은 더 나은 비유 도구가 될 것입니다.

또 다른 관련 분야는 AI의 생물학적 응용입니다. 생물학은 극도로 복잡한 문제이며 다양한 이유로 여전히 많은 사람들이 의심을 갖고 있지만, 나는 이러한 의심의 합의가 시작되고 있다고 봅니다. 화학 분야의 노벨상이 AlphaFold에 수여되는 것을 이미 본 바 있으며, 이는 놀라운 성취입니다. 우리는 수백 개의 'AlphaFold'를 만들어내도록 도와주는 도구를 개발하는 데 노력해야 합니다.

마지막으로, 민주주의를 강화하기 위해 AI를 활용하는 것입니다. 우리는 AI가 잘못 개발되면 독재주의의 도구가 될 수 있음을 우려합니다. 그렇다면, AI를 어떻게 자유와 자기 결정을 촉진하는 도구로 만들 수 있을까요? 나는 이 분야의 발전이 처음 두 분야보다 조금 일찍 일어날 수 있지만, 그 중요성은 전혀 미미하지 않다고 생각합니다.

Jared Kaplan：「저는 적어도 두 가지 측면에 대해 이전에 언급한 의견과 공감할 수 있는 것이 있다고 생각합니다. 첫째는, 많은 사람들이 Anthropic에 합류한 이유가 AI 과학에 대한 매우 큰 호기심 때문이라고 생각합니다. AI 기술이 발전함에 따라, 그들은 기술 발전을 촉진할 뿐만 아니라 보다 심층적으로 이해하고 안전을 보장해야 한다는 사실을 서서히 받아들였습니다. AI 발전과 책임감에 대해 공동의 비전을 가진 사람들과 점점 더 많이 협업할 수 있다는 것은 흥겁한 일이며, 지난 일 년 동안 이루어진 많은 기술적 발전이 이러한 공감의 형성을 촉진한다고 생각합니다.」

또 다른 측면은, 구체적인 문제로 돌아와서, 우리는 이미 AI 안전성 측면에서 많은 작업을 수행했다고 생각합니다. 그러나 최근의 일부 발전으로, 우리는 매우 고급 시스템이 가져올 수 있는 리스크에 대해 어느 정도의 이해를 갖기 시작했습니다. 이를 통해 우리는 해석성 연구 및 기타 유형의 보안 메커니즘을 통해 그러한 위험을 직접적으로 연구하고 조사할 수 있게 되었습니다.

이러한 방식으로 우리는 고급 AI 시스템이 가지고 있는 위험을 더 명확히 이해할 수 있게 되었으며, 이를 통해 우리의 미션을 더 과학적이고 입증된 방식으로 추진할 수 있게 되었습니다. 따라서 저는 다가오는 여섯 개월 동안 매우 흥분하고 있습니다. 고급 시스템의 잠재적 문제에 대한 이해를 활용하여, 이러한 함정을 피하는 방법을 더 조사하고 찾아내게 될 것입니다.

원본 비디오 링크

BlockBeats 공식 커뮤니티에 참여하세요:

Telegram 구독 그룹：https://t.me/theblockbeats

Telegram 토론 그룹：https://t.me/BlockBeats_App

Twitter 공식 계정：https://twitter.com/BlockBeatsAsia