Anthropic 공개 편지: 위선적인 Sam Altman, PUA 마스터

원문 제목: Anthropic CEO가 OpenAI의 '거짓말쟁이' 펜타곤 발표를 비판하는 메모 읽기
원문 작성자: The Information
번역: Peggy, BlockBeats

편집자 주: OpenAI가 국방성과 AI 협력 계획을 발표한 몇 시간 전, 국방성은 Anthropic이 보안 조항을 요구하여 양측 협력을 중단했다. 이후 Anthropic CEO Dario Amodei는 OpenAI가 주장한 '보안 메커니즘' 대부분이 '보안 공연'일 뿐이라며 자율 무기 및 대규모 감시 문제에 대한 입장을 의심하는 내부 메모를 직원들에게 발송했다.

이 약 1600단어 분량의 이메일에서 Amodei는 미국 국방 체계와의 협상 일부 세부를 공개했을 뿐 아니라, OpenAI CEO Sam Altman을 직접 겨냥하여 협력 구조를 실제로 가리려는 공공 관계 이야기를 비난했다. AI 군사 적용, 안전한 라인, 정치 관계로 둘러싸인 이 논쟁은 실리콘밸리의 두 대형 AI 기업 간의 갈등을 선다.

아래는 원문입니다:

OpenAI가 현재 공개한 정보와 해당 정보에 내재된 위선에 대해 명확하게 이야기하고자 합니다. 이것이 그들의 실제 행동이며, 여러분 모두가 명확히 알아야 합니다.

우리는 DoW(국방부)와의 계약에 대해 여전히 많은 미지가 있습니다(심지어 그들 스스로도 전체 내용을 명확히 이해하지 못할 것이며, 계약 조항이 상당히 모호할 가능성이 높습니다), 그러나 몇 가지 점은 명확합니다. Sam Altman과 국방부의 공개 설명에서 보면(물론 최종적으로 계약 텍스트를 확인해야 합니다), 그들의 협력 모델은 대략 다음과 같습니다. 모델 자체에는 법적 사용 제한이 없으며, 즉, '모든 합법적 용도'라고 할 수 있습니다. 동시에 '보안 층'을 설정합니다. 내견에 따르면 이 '보안 층'은 본질적으로 모델의 차단 메커니즘으로, 특정 작업을 완료하거나 특정 응용에 참여하는 것을 방지하는 데 사용됩니다.

이 '보안 층'은 협력사나(예: Palantir, Anthropic이 미국 정부 고객을 대상으로 할 때의 비즈니스 파트너)가 우리에게 제안하는 솔루션이 될 수도 있습니다. 그들은 일종의 분류기나 기계 학습 시스템을 제안하며, 특정 응용을 허용하고 다른 응용을 차단할 수 있다고 주장합니다. 게다가, OpenAI가 직원(FDE, 즉 전방 배치 엔지니어)을 모델 사용 감시에 배치할 것으로 보여, 부적절한 사용을 방지하려는 것으로 나타났습니다.

우리의 전반적인 판단은 다음과 같습니다: 이러한 방안들은 완전히 효과가 없는 것은 아니지만, 군사 응용 맥락에서 약 20%가 실제 방어이고 80%가 안전한 공연입니다.

문제의 근본은 다음과 같습니다: 모델이 대규모 감시에 사용되는지 또는 완전 자율 무기 시스템에 사용되는지는 종종 더 넓은 맥락 정보에 의해 결정됩니다. 모델 자체는 자신이 어떤 시스템에서 작동 중인지 알지 못하며, 자신이 '루프 안 인간' (human-in-the-loop, 즉 자율 무기 문제의 핵심)이 있는지 알지 못합니다. 또한 분석 중인 데이터 소스가 무엇인지 알지 못합니다. 예를 들어, 미국 내 데이터인지 해외 데이터인지, 기업이 사용자 동의를 받은 데이터인지 또는 그레이 마켓에서 구매한 데이터인지 등입니다.

보안 업무에 종사하는 사람들은 이미 모델 거부 메커니즘이 신뢰할 수 없다는 것을 잘 알고 있습니다. 일반적으로 탈옥 공격은 매우 흔하며, 많은 경우 모델에 데이터의 성격을 거짓으로 보고만 하면 이러한 제한을 우회할 수 있습니다.

여기에는 일반적인 보안 방어보다 복잡한 문제가 있는데, 모델이 네트워크 공격을 수행하고 있는지 여부를 판단하는 것은 입력과 출력에서 힌트를 얻을 수 있지만, 공격의 성격 및 구체적인 맥락을 판단하는 것은 전혀 다른 문제이며, 이것이 여기에서 필요한 판단 능력입니다. 많은 경우 이 작업은 매우 어려우며 때로는 전혀 불가능할 수 있습니다.

Palantir가 우리에게 마케팅하는 '보안 레이어' (아마도 OpenAI에도 유사한 솔루션을 마케팅하고 있을 것입니다)은 상황이 더 좋지 않습니다. 우리의 판단은, 이것이 거의 완전히 안전한 공연에 가깝다는 것입니다.

Palantir의 기본 논리는 다음과 같아 보입니다: '회사 내에서 불만이 있는 직원들이 있을 수 있습니다. 그들을 달래기 위해 무언가를 제공하거나 그들이 일어나고 있는 일을 보지 못하게 해야 할 수도 있습니다. 이것이 우리가 제공하는 서비스입니다.'

Anthropic이나 OpenAI의 직원들이 직접 배포를 감시하게 하는 문제에 대해서는 몇 달 전에 기밀 환경에서 수용 가능한 사용 정책 (AUP)에 대한 내부 논의를 진행했습니다. 결론은 매우 명백했습니다: 이 방법은 드물게나마 특정 상황에서만 적용될 수 있습니다. 우리는 최선을 다해 시도하지만 이것은 신뢰할 수있는 핵심 보호 장치가 아니며, 특히 기밀 환경에서 구현하기가 매우 어려울 수 있습니다. 덧붙여 말하자면, 우리는 실제로 최대한 이를 이행하려고 노력했지만, 이 문제에서 OpenAI와는 별 차이가 없습니다.

따라서 내가 말하고 싶은 것은: OpenAI가 취한 이러한 조치들은 문제를 해결하기에는 거의 기여하지 못합니다.

그들이 이러한 방안을 수용하고, 우리가 그렇지 않은 근본적인 이유는, 그들이 직원을 달래는 방법에 관심을 두는 반면, 우리가 실제로 중요시 하는 것은 남용을 방지하는 것입니다.

이러한 계획들은 아무 가치가 없는 것은 아니며, 우리는 일부를 사용 중이지만, 그것들은 충분한 보안 기준을 충족시키기에는 턱없이 모자라다. 동시에, 군부는 OpenAI와 우리를 대할 때 분명 일관성이 없었다.

실제로, 우리는 이전에 OpenAI와 유사한 몇 가지 보안 조항을 계약에 추가하려는 시도를 했었고 (AUP의 보충으로서, AUP가 더 중요하다고 생각했다), 하지만 군부는 거부했다. 관련 증거는 당시의 이메일 토론 스레드에 있다. 제가 현재 많은 업무가 있어 동료들이 후에 구체적인 내용을 찾도록 할 것입니다. 따라서, "OpenAI의 조항이 우리에게 제안되었으나 우리가 거부했다"는 주장은 사실이 아니며; 마찬가지로, "OpenAI의 조항이 대규모 국내 감시나 완전 자율 무기를 효과적으로 방지할 수 있다"는 주장도 사실이 아니다.

게다가, Sam과 OpenAI의 발언은 우리가 제시한 레드 라인, 즉 완전 자율 무기와 대규모 국내 감시가 이미 불법 행위라는 뜻을 암시하고 있어서, 관련 사용 정책이 불필요하다는 것을 시사한다. 이러한 주장은 군부의 입장과 거의 동일하며, 사전에 조율된 것으로 보인다.

그러나 이는 사실과 다르다.

어제 성명서에서 설명한 대로, 군부는 실제로 국내 감시를 수행할 권한을 가지고 있다. 과거에는 AI가 없었을 때, 이러한 권한의 영향은 상대적으로 제한적이었지만, AI 시대에는 그 의미가 전혀 다르다.

예를 들어: 군부는 합법적으로 공급업체로부터 미국 시민들의 개인 데이터를 대량으로 구매할 수 있으며 (이러한 공급업체는 일반적으로 은밀한 사용자 동의 조항을 통해 재판매 권한을 획들했다), 그런 다음 그 데이터를 대규모로 분석하기 위해 AI를 활용하여 시민 프로필 작성, 정치 성향 평가, 현실 공간에서의 행동 궤적 추적 등에 활용할 수 있으며, 그들이 얻을 수 있는 데이터는 GPS 정보를 포함하여 등등이다.

또 한 가지 주목할 점은, 협상이 마무리 단계에 다다를 때, 군부가 만약 우리가 "대량 획득 데이터 분석"에 대한 계약서에서 특정한 기술을 삭제하면 우리의 다른 모든 조항을 받아들일 것이라고 제안했다는 것이다. 그리고 이 조항은 우리가 가장 우려하는 시나리오와 정확히 일치하는 계약에서 유일하게 구체적으로 언급된 부분이었다. 우리는 이에 대해 매우 의심스러웠다.

자율 무기 문제에서, 군부는 "인간이 반드시 루프에 있어야 한다"고 주장했다. 그러나 사실은 그렇지 않다. 이는 실제로 바이든 정부 시기의 펜타곤 정책으로, 무기 발사 결정에는 인간 참여가 필요하다는 것을 요구했던 것일 뿐이다. 이러한 정책은 현직 국방 장관 Pete Hegseth에 의해 단독으로 변경될 수 있으며 — 이것이 우리가 실제로 우려하는 부분이다. 따라서, 현실적으로 보면, 이것은 실제로는 제한되는 것이 아니다.

OpenAI와 군부 간 이러한 문제에 대한 대규모 홍보 발언은 거짓말인지 고의적인 혼란 조장인지를 드러내었습니다. 이러한 사실은 특정 행동 패턴을 드러내며, 이러한 패턴은 저는 이미 Sam Altman을 통해 여러 차례 본 적이 있습니다. 다들이 그것을 인식할 수 있기를 희망합니다.

오늘 아침, 그는 먼저 Anthropic의 레드 라인에 동의한다고 밝히며 이를 통해 저희를 지원한다는 이미지를 보여주고 일부 영광을 빼앗으며 동시에 그들이 이 계약서를 인수할 때 비난을 피하려고 했습니다. 그는 또한 자신을 「업계 전반에 표준 계약을 수립하고 싶어하는 사람」으로 형상화하려고 시도했습니다 — 즉, 평화 창조자 및 거래 매개인 역할로.

하지만 그의 뒷면에서, 그는 군부와 계약을 맺으면서 우리가 공급망 위험으로 지목된 순간에 우리 자리를 대체할 준비를 하고 있습니다.

동시에, 그는 이 프로세스가 『앤트로픽이 레드 라인을 고수하는 동안 OpenAI가 기본 원칙을 포기한 것으로 보이지 않게』 보장해야 합니다. 이것을 이룩할 수 있는 이유는 다음과 같습니다:

첫째, 그는 우리가 거부한 '안전한 퍼포먼스' 조치를 전부 서명할 수 있으며, 군부와 그 협력자들도 그가 그들의 직원들을 안심시킬 수 있도록 이러한 조치를 충분히 신용할 만큼 꾸러미게 했습니다.

둘째, 군부는 그가 제시한 일부 조항을 받아들일 용의가 있으며, 우리가 처음 제시할 때 거부당했던 것과 일치하는 내용입니다.

바로 이 두 가지 요인이 OpenAI가 합의에 도달할 수 있게 하고 우리는 그것을 이룰 수 없게 합니다.

군부 및 트럼프 정부가 우리를 싫어하는 진짜 이유는 다음과 같습니다: 우리는 트럼프에게 정치적 기부를 하지 않았기 때문입니다(그리고 OpenAI와 Greg Brockman이 많이 기부했습니다); 우리는 트럼프를 독재적으로 찬양하지 않았기 때문입니다(Sam은 그렇게 했습니다); 우리는 AI 규제를 지지하며, 이는 그들의 정책 일정을 위반합니다; 우리는 다양한 AI 정책 문제에서 솔직하게 이야기하는 편입니다(예: 일자리를 대체하는 AI 문제); 그리고 우리는 진짜 레드 라인을 지켰고 직원을 안심시키기 위해 '안전한 퍼포먼스'를 함께 만들기보다는 진행하는 것을 선택했습니다.

Sam은 지금 이 모든 것을 '우리는 협력하기 어려운, 태도가 강경하고 융통성이 없는 회사'로 묘사하려고 합니다. 내가 희망하는 것은 이것이 바로 전형적인 가스라이팅(gaslighting)의 예라는 것을 모두가 인식하게 되는 것입니다.

'어떤 사람과 협업이 어려워'라는 이러한 모호한 주장은 종종 정말 안 좋은 이유를 감추는 데 사용됩니다 — 바로 내가 방금 언급한 것과 같은 정치 기부, 정치적 충성, 그리고 안전한 퍼포먼스입니다.

모든 사람이 이것을 이해하고 비공개로 OpenAI 직원들과 이 이야기에 반박할 수 있기를 희망합니다.

다시 말해서 Sam은 우리의 입장을 약화시키는 자세로 "우리를 지지한다"고 주장하고 있습니다. 모두가 분명히 인식하길 바래요: 그는 우리의 대중 지지를 약화함으로써 정부가 우리를 처벌하는 것을 더 쉽게 만들었습니다. 게다가, 저는 그가 여전히 비밀리에 그 과정을 촉구하고 있다고 의심합니다. 하지만 현재 그에 대한 직접적인 증거는 없습니다.

대중과 언론 측면에서, 이러한 언어와 조작이 이미 효과가 떨어진 것으로 보입니다. 대다수는 OpenAI와 국방부 간 거래를 경계스럽고 불안하게 여기며, 동시에 우리를 원칙적인 측면으로 보고 있습니다. (부가 설명으로, 현재 우리는 App Store 다운로드 순위 2위에 올랐습니다.)

【참고: 그 후 Claude가 App Store 1위로 올랐습니다.】

물론, 이러한 이야기가 일부 트위터 사용자에게는 효과가 있었지만, 이는 중요하지 않습니다. 제가 실제로 걱정하는 것은: 그것이 OpenAI 내부 직원들에게 어떤 영향을 미칠지 확실하게 하는 것입니다.

선별 효과로 그들은 상대적으로 쉽게 설득될 수 있는 그룹입니다. 그러나 Sam이 자신의 직원들에게 판매하려고 하는 이야기에 대한 반박은 여전히 매우 중요합니다.

[원문 링크]

BlockBeats 공식 커뮤니티에 참여하세요:

Telegram 구독 그룹：https://t.me/theblockbeats

Telegram 토론 그룹：https://t.me/BlockBeats_App

Twitter 공식 계정：https://twitter.com/BlockBeatsAsia