원문 제목: 누가 서명하나? 인류학적 역섬리고 지금 40조달러 선택
원문 저자: 애쉬윈 고피낫
번역: Peggy, 블록비츠

편집자 주: AI 에이전트의 미래 다변화는 모델 능력의 도약이 아닌, 더 근간적인 설계 변수에 달렸습니다 - 책임은 정작 누구에게 내려지는지.

글쓴이는 이러한 "인간 증강"과 "인간 대체"가 두 가지 기술적 경로가 아닌, 같은 시스템이 다른 설계 선택의 두 결과로 전혀 다르게 처리되는 것으로 봅니다 - 의사 결정이 여전히 인간 서명을 필요로 하고, 책임을 구체적인 개인에게 귀속할 때, AI 는 증대기자; 이 단계가 제거될 경우(예: 자동 승인, 권한 건너뛰기), 시스템은 자연히 대체 방향으로 넘어갈 것입니다.

글은 덧붙여 AI 에이전트의 진정한 가치는 "작업을 완료하는" 것이 아닌, 복잡한 세계를인 것으로 압축해 하나의 "서명 가능한 의사 결정 단위"로 만들어, 인간이 이해한 후에 결과에 책임지게 하는 것이라고 합니다. 그러나 현실에서 "허락 피로"는 사용자가 단계적으로 검토를 포기하게 만들어, 단계별 승인에서 기본 동의로 이동하도록 하고, 결국 시스템이 인간을 우회하도록 만들며, 이는 인지적 메커니즘이며 개별적 문제가 아닙니다.

그래서 글은 두 가지 중요한 제한을 제시합니다:첫째, 모든 중요한 결정은 반드시 구체적이고 거부할 수 있는 개인에 대칭되어야 합니다; 둘째, 에이전트의 자율성에서 이익을 얻는 사람이 문제가 발생할 시 책임져햐 합니다.

책임이 건설자에게 돌아오면, 시스템의 기본 논리가 변경될 것입니다.이 프레임워크에서 AI 의 비즈니스 스토리는 다시 쓰여질 것입니다. 이는 소수 거물 시장의 "작업의 절반을 대체하는" 것이 아니라, "인간 생산성을 증대"하는 분산형 도구 시장으로, 규모는 전체 글로벌 지식 노동 소득 약 40조불러이며, 기업 소프트웨어 지출이 아닙니다.

마지막으로, 글은 문제를 매우 간결하지만 명확한 선택지로 수렴시킵니다: AI 가 정말 어떤 목적과 함께 서비스를 제공하는지, 자신을 목적으로 하는지 - 그리고 이 답은 모든 제품 디자인 세부 사항에서 조용히 결정되고 있습니다.

아래는 원문입니다:

TL;DR

· "증대형 미래"와 "대체형 미래"는 동일한 모델, 동일한 도구를 사용합니다. 이 둘을 실제로 구별하는 것은 "결과가 최종적으로 누구에게 돌아가느냐"에 관한 하나의 설계 선택입니다.

· 에이전트의 실질적인 업무는 작업을 대신하는 것이 아닌, 복잡한 세계를 최소하고 충실한 "의사 결정 단위"로 압축하여, 한 사람이 그 위에 서명하며 책임지도록 하는 것입니다. 이런 압축만 올바르게 이루어질 경우, 다른 모든 것이 자연스럽게 이어집니다.

· 그리고 이 "어떤 사람" 은 명확히 식별 가능한 구체적인 개인이어야합니다. 불분명하고 일반적인 책임은 고부하 하에서 빠르게 붕괴되므로, 실제 결과가 있는 모든 조치는 실제 거부 권한이있는 특정 인물에게 거슬러 올라갈 수 있어야합니다.

· "권한 피로" 는 에이전트 시스템을 "인간 대체"로 자발적으로 슬라이딩하게 만듭니다. 따라서 "강화 된 미래"는 자동으로 발생하는 것이 아니라 이러한 추세에 대항하기 위해 의도적으로 설계되어야합니다.

· 에이전트를 구축하고 그 독립성에서 혜택을받는 경우, 그 독립성에 문제가 발생하면 해당 책임을 져야합니다. 비용이 구축자에게 실제로 전가 될 때 전체 시스템의 기본 동작이 변경됩니다.

· "사람이 여전히 책임을 져야하는" 전제 조건에서 형성된 시장은 현재 대량 투자를받는 "수직 에이전트가 절반의 작업 위치를 대체" 서술보다 한 순위 높을 가능성이 높으며, 이것은 기업 소프트웨어 예산이 아닌 고기술 노동력 총액에 앵커되어 있습니다.

Claude Code는 --dangerously-skip-permissions라는 매개 변수를 제공합니다. 이 이름은 정직합니다. 이 매개 변수의 기능은 그 문자 그대로입니다.이 매개 변수를 활성화하여 실행되는 에이전트는 비활성화 된 경우보다 더 능력이 있는 것이 아니라, 사람의 링크를 우회 한 것입니다.

이 매개 변수 자체가 종언입니다.이것은 하부 능력이 완전히 동일한 상황에서 동일한 시스템이 "인간 강화" 모드로 작동 할 수도 있고 "조용히 인간을 대체"모드로 작동 할 수 있음을 인정합니다. 대체 모드라는 것은 다른 모델이 필요하지 않습니다. "동의" 이 단계를 제거하기 만하면됩니다.

이것은 압축 된주장입니다.발표 된 가장 강력한 에이전트 시스템에서 "강화"와 "효과적인 대체"간의 차이의 큰 부분은 승인을 제거함으로써 새로운 능력 범주를 발명하는 것이 아니라. 다음 십 년은 "강화 된 인간 세계"인가 "자율 에이전트가 우리를 대신 행동하는 세계"인가를 결정하는데 있어서 모델 능력보다는 시스템을 구축한 사람이 "반환 루프의 사람"을 시스템의 핵심으로 여기는지 또는 마찰로 간주하는지에 달려 있습니다.

AI 는 인간을 향상시키기 위한 것인가 아니면 인간을 우회하기 위한 것인가?

모든 기술 문제 아래에는 거의 제기되지 않는 비 기술 문제가 있으며 : AI는 인간을 강화하기 위해 존재하는가 아니면 AI 자체가 목적인가?

이 두 가지 응답은 완전히 다른 미래를 의미합니다. "강화" 관점은 가치가 인간 그 자체에 존재하며, 에이전트의 역할은이 사람이 더 멀리 가도록하고 더 나은 결정을 내리도록하는 것입니다. "AI가 목적 자체로"라는 입장은 세계의 지능 그 자체가 가치이며, 인간은 궁극적으로 비효율적인 수단에 불과하다고 생각합니다. 대부분의 에이전트 제품은 무음으로이 중 하나의 입장을 부호화하고 있지만 놀랍게도 거의 모든 창립자가 직접 자신이 속한 범주에 대해 직접 물어 본 적이 거의 없습니다.

능력 설계 및 동의 메커니즘 설계는 여전히 진화 중입니다. 이 문서는 "동의"측면에 중점을두겠습니다. 왜냐하면이것이 오늘의 빌더가 실제로 제어할 수있는 변수이기 때문이고 능력 생성이 저렴해 진 후에도 여전히 경제적 가치를 가지는 속성은 인간으로부터 분리 할 수없는 속성입니다. 판단력, 취향, 관계, 책임 및 의사 결정에 서명하고 그 결과를 짊어질 의지입니다. 그 중 "책임"(책임)이 가장 구체적이고 수백 년 동안 실행 인프라를 지원하고있는 유일한 원소입니다.

책임, 강화 및 대리의 경계

"강화형 미래"와 "대체형 미래"를 구별하는 구조적 규칙은 대략 다음과 같이 설명할 수 있습니다. 에이전트가 실행하는 실질적인 결과를 말하는 모든 행동은 명확한 사람으로 거슬러 올라가면서 추적 될 수 있어야합니다 -이 사람은 관련 컨텍스트를 보고 실제로 "아니라"고 말할 기회가 있었어야합니다.

일반 책임은이 테스트를 빨리 통과 할 수 없습니다. "회사 책임"은 실제 내용에 적용되지 않습니다. "사용자가 동의 함"은 특정 문제에 동의하지 않았습니다. "어떤 사람이과정 검토했습니다"라는 것은이 사람이 최종 게시 콘텐츠와 완전히 다른 것을 검토하는 데 사용됩니다. 필요한 것은 구체적인 사람, 이름이 있는 사람,이 결정을 본 사람이 거부 옵션을 선택했는지 선택했는지입니다.

이것은 관료주의처럼 들릴 수 있지만 "책임"이 가지는 특성은 다른 대안에는 없습니다. 능력 강화로는 해결할 수 없습니다. 더 똑똑한 모델은 누가 마지막으로 기소되거나 벌금을 부과받거나 감옥에 갇히는 영향을주지 않습니다. 이것은 디자인 인터페이스가 "거부 지점"을 노출해야한다는 것을 강요합니다. 그것은 자연스럽게 리스크와 함께 확장됩니다. 그리고 그것은 교차 영역 최고의 제약이며 이미 실행 인프라가 완전히 구축되어있는 것입니다 : 법원, 보험 기관, 직업 협회, 규제 기관. 라이센스 제도, 위탁 책임 및 산업 규제는 실제로 작용하고 있지만 그것들의 제약은 더 좁으며 모두가 기본적으로 "책임 소속"문제가 이미 해결되었다고 가정합니다.

반면에 AI 수준의 대체 솔루션이 동일한 테스트를 통과 할 수 없습니다. "정렬"은 실행 할 수없으며 그 의미에 대해 심지어 합의 할 수 있었습니까. "설명 가능성"이 형식적으로 충족 될 수 있지만 본질적으로는 충족되지 않습니다. "사람이 루프에 있다"는 "어딘가에 누군가가있는"으로 텅 빈 것입니다. "책임"이 효력이있는 이유는이를 지원하는 실행 인프라가 기술이 나오기 수백 년 전에 이미 구축되어 있었기 때문입니다.

권한 피로, 시스템을 '대체'로 이끄는 방법

이 경사는 시스템을 '대체'로 이끌며 매우 강력한 추진력을 지닙니다. 각 권한 확인마다 주의력이 소모됩니다. 일반적으로 에이전트는 옳습니다. 개별적인 결정에서 '독자적인 동의'의 예상 이익은 대개 양수입니다. 그래서 합리적인 사용자는 더 빨리 동의 버튼을 클릭하며, 그러다가 대량 동의를 하고, 특정 유형의 작업에 대해 자동 동의를 활성화하고, 그것을 더 많은 범주로 확장한 후에는 어떤 세션에서 그 위험한 스위치를 열어놓고, 마지막으로는 그 스위치의 존재조차 잊어버립니다.

나는 Claude Code를 사용한 두 번째 주에 이 스위치를 열었고, 세 번째 주 때에는 이미 인식하지 못했습니다. Cursor 또는 Devin을 장기간 사용해온 개발자들도 유사한 경험을 갖고 있습니다. 이러한 양식은 쿠키 창, EULA 동의, TLS 경고, 휴대폰 권한 요청에서도 나타납니다. 반복되는 낮은 리스크 동의 결정은 궁극적으로 '무조건 동의'로 수렴합니다. 이는 도덕적 문제가 아닌 인지적 특성입니다.

'강화된 미래'는 자동으로 일어나지 않습니다. 신중하게 설계되지 않은 에이전트 시스템은 기본적으로 '대체'로 향합니다, 왜냐하면 사용자는 편의에 더욱 초점을 맞춘 반복적인 선택의 과정을 통해 스스로 '대체' 경로를 선택하기 때문입니다. 다른 종류의 미래는 이러한 경사를 거꾸로 따라가며 설계되어야 합니다.

에이전트의 가치는 실행이 아니라 '서명'하는 것에 있음

에이전트가 진정 가치 있는 곳은 작업 자체를 완료하는 데가 아니라 작업을 서명 가능한 형태로 압축하는 데 있습니다.

한 예측모델은 4000줄의 코드를 손쉽게 작성하고, 30 페이지의 계약을 초안하며, 임상 기록을 작성하거나 거래를 실행할 수 있습니다. 그러나 이러한 산출물이 실제로 영향을 미치는 곳은 '그것들을 생성하는 데가 아니라' 사람이 그것들을 실현한 후 그 결과를 적절히 수용할 수 있는지 여부에 있습니다. 아무도 제대로 이해하지 못한 코드 제출물은 병목이 됩니다; 아무도 읽지 않았던 계약은 서명된 즉시 시한 폭탄이 됩니다; 실제 수의사가 보증하지 않은 임상 기록은 대부분의 규제가 존재하는 건강 시스템에서는 실제 기록으로 인정되지 않습니다.

'강화' 프레임워크에서, 에이전트는 '서명' 외의 모든 작업을 완료합니다: 만 페이지의 컨텍스트를 읽고, 4000줄의 코드를 작성하며, 30가지 합당한 대안을 계산한 다음 이러한 내용을 가장 작고 충실하게 표현하여 어떤 사람이 '예' 또는 '아니오' 결정을 내릴 수 있도록하고 문서 맨 아래에 자신의 이름을 서명하게 합니다.

에이전트를 새로운스포크로서 이해할 수 있습니다. 대통령은 서명을 담당하고, 대변인의 역할은 서명 전 준비를 마무리하는 것입니다.

이것은 사실 "시스템이 작업을 자율적으로 수행하도록 하는 것"보다 어렵은 공학 문제입니다. 콘텐츠 생성 능력은 급속히 발전하고 있지만 "의사결정을 충실히 압축하는" 능력은 현저히 뒤처져 있습니다. 앞으로 "강화형 시장"에서 승리한 팀은 고책임 리스크 시나리오에 대해 가장 짧고 가장 충실한 의사결정 개요를 제공할 수 있는 팀일 것입니다.

이 문제에서 아직 해결되지 않은 실제 문제는 "충실"이라는 단어입니다. 인간이 이해할 수 있는 개요는 정보가 왜곡되지 않은 상태에서 압축되었을 때에만 가치가 있습니다. 이것을 프로그래밍 방식으로 확인할 수 있는지 여부는 "강화된 미래"에서 실제로 어려운 기술적 문제이며 현재 대부분의 사람들조차 실제로 이에 직면한 적이 없습니다.

일부 기본적인 방법이 등장하고 있습니다:

재구사 테스트를 통해 인간의 이해가 원본 콘텐츠와 일치하는지 확인

개요에서 소수 의견이나 반대 의견을 강제적으로 표시

반사실적 테스트 진행 ("거부하면 이 Agnet 가 어떻게 작동하겠는가?")

재현 가능성 확인 (다른 Agent 가 동일한 문맥을 기반으로 같은 개요를 생성할 수 있는지)

이러한 문제들은 아직 해결되지 않았습니다. 그리고 이러한 문제를 가장 먼저 해결하는 팀은 모델 능력이 쉽게 침식되지 않는 요새를 구축할 것입니다.

AI 행동에 대한 책임 수준 설정

만약 "책임"이 구조적인 역할을 하는 경우, 각 Agent가 실행하는 각 행동은 "책임 수준"이 부여되어 이 수준에 따라 해당 행동에 필요한 최소 서명 메커니즘이 결정되어야 합니다.

현재 이러한 표준 체계는 아직 광범위하게 확립되지 않았지만 아마도 확립되어야 할 것입니다.

그림에서 위에서 아래로, 실제로 7 개 수준의 위험이 낮은 것부터 높은 것까지 있습니다: 1. 정보 (Informational); 예를 들어, 읽기, 요약, 검색; 완전히 자동화된 2. Reversible-private (가역-비공개); 예를 들어, 초안 편집, 로컬 파일 수정; 자동 + 로깅 3. Reversible-shared (가역-공유); 예를 들어, PR 댓글, 회의 초대 보내기, 이메일 작성; 자동 + 송신자 표시 4. Financial-bounded (금융 제한); 예를 들어, 소액 결제 (한도 내 자동화, 초과 시 수동 서명) 5. Reputational (명예훼손); 예를 들어, 당신의 이름으로 콘텐츠 게시, 공개적인 게시물 작성; 본인 확인 + 이해 (재구사 테스트) 6. Irreversible-private (불가역-비공개); 예를 들어, 데이터 삭제, 메인 분기 삭제, 권한 회수; 수동 서명 + 식령 기간 (냉각 기간) 7. Irreversible-shared (불가역-공유/고위험); 예를 들어, 송금, 프로덕션 릴리스, 의료 결정, 규제 신고; 본인 서명 + 식략 기간 + 제 2의 심사자

결과와 일치하는 "승인 태도"는 권한 피로 관리의 유일한 현실적인 길입니다. 고위험 수준에서는 좀 더 제약적인 참여 메커니즘(예: 재구사 테스트, 냉각 기간, 제 2의 심사자)가 필요합니다. 이는 이러한 시나리오에서 실제적인 실패 모델이 Agent가 잘못된 제안을 하는 것이 아니라 인간이 생각 없이 직접 승인하는 것이기 때문입니다.

당신은 신경 쓰시나요?

상기 모든 문제는 궁극적으로 창립자 수준의 기본 질문으로 이어집니다: 인류가 미래의 일부인지 여부에 대해 당신은 신경을 쓰시나요? 현재 많은 에이전트 제품에 대한 디자인 결정은 본질적으로 이 질문에 대한 "숨은 투표"이며, 그 투표를 하는 사람들은 종종 자신이 선택을 한다는 사실을 인정하고 싶어하지 않습니다.

만약 당신이 신경을 쓴다면, 디자인 제약은 실제로 모호하지 않습니다: 책임 계층을 구축해야 합니다. "거부"를 일등 기능으로 설계해야 합니다. 기준은 에이전트가 인간에게 제공하는 개요의 품질이어야 하며, 그 업무를 자율적으로 수행하는 정도가 아니어야 합니다. 각각의 실질적 영향을 미치는 행동을, 변경 가능성이 극히 낮은 로그에 구체적인 개인과 연계해야 합니다.

이러한 기술 작업 자체는 현실적이고 실행 가능합니다. 진정한 어려움은 이렇게 하는 데에 얼마나 마음이 내키는가에 있습니다. 왜냐하면 "강화형" 빌드 경로는 데모 효과에서 충분히 인상적이지 않으며, 시트 지불 경제 모델에서 다른 경로보다도 급진적이지 않기 때문입니다.

인류학적 역설: 가장 안전을 강조하지만, 사람을 우회하기 쉽습니다

Anthropic은 "내생적 편향"이 어떻게 발생하는지를 보여주는 매우 전형적인 사례입니다. 이는 그것이 특별히 부주의하기 때문이 아니라 정반대이며, 안전 문제에 있어서 가장 명료하게 표현되었기 때문에 "프레임워크"와 "제품 표면층" 사이의 간극이 가장 확실하게 볼 수 있습니다. 그들의 "책임 있는 확장 정책"과 "헌법적 AI" 작업은 주로 모델 훈련 단계의 모델 행동을 제약합니다. 그러나 이러한 모델 위에 구축된 에이전트의 기본 자율성 설정은 다른 전략 체계에 속하며, 그 편리한 "위험 스위치"는 한 번의 키 누름으로 쉽게 기본 상태에서 활성화됩니다.

이러한 양식은 대부분의 주류 프로그래밍 에이전트에서 발생하지만, Anthropic의 경우가 가장 명확하게 관찰됩니다. 이것이 바로 "인류학적 역설"이라 불리는 것입니다: 안전 프레임워크를 가장 명확하게 서술한 이 산업은 동시에 "강화"에서 "대체"로의 가장 짧은 경로를 제공하며, 우리가 후자를 보게 되는 이유는 전자가 충분히 명확하기 때문입니다.

공정하게 말하자면, 그들은 올해 3월에 "자동 모드"를 출시하여 수동 승인과 위험 스위치 사이의 중간 경로로 설정했습니다. 이 모드에서 각 작업은 실행 전 Sonnet 4.6 분류기에 의해 검토됩니다. 그들은 공식 설명에서 직접 문제를 지적했는데, 이것을 "승인 피로"라고 명명하고 있습니다. 그리고 한 데이터를 제시했습니다: 사용자들은 수동 모드에서 93%의 프롬프트에 대해 수용을 선택합니다. 이것은 사실상 "권한 피로"의 양적 시각입니다. 이 판단은 이 글의 분석과 일치합니다.

하지만 해결 과정에서 저는 다른 견해를 제시하고자 합니다. "자동 모드"는 모델 승인으로 인간 승인을 대체했는데, 이는 "대체로의 미끄러짐" 경사가 종식되지 않은 채 한 단계만 위로 올라간 것을 의미합니다. 분류기는 위험한 행위를 막을 수는 있지만, 승인된 행위에 대해서는 구체적인 책임을 물지 않습니다. Anthropic 자체도 "자동 모드"가 위험을 제거하지 못하며 사용자에게 격리 환경에서 실행할 것을 제안한다고 인정하며, 다시 말해, "책임 소재" 문제는 여전히 미해결 상태입니다.

명백한 반대 의견은: 최종 책임이 개인에게 질 수밖에 없다면, 그것이 바로 수동 모드 아닌가요? 하지만 수동 모드는 지쳐버리게 만드는 것입니다. "건설자가 책임을 져야 한다"는 것이 이 경사를 벗어날 수 있는 이유는, 그것이 "과도한 승인"의 비용을 부담하는 자가 변화시켰기 때문입니다. 현재 구조에서는 사용자는 매번 세심한 검토를 하며 비용을 지불하지만, 건설자는 부담하지 않기 때문에 기본 설정은 사용자 마찰을 줄이고, 위험을 외부화합니다. "검토되지 않은 행위의 비용"을 건설자에게 이전하면, 계산 방식 전체가 바뀝니다: 건설자는 책임 층위, 반복 테스트, 승인 메커니즘을 설계하고, 낮은 리스크 결정의 서명 비용을 낮추고, 높은 리스크 결정의 서명 비용을 높이도록 경제적 동기부여를 받을 것입니다. 경사는 사라지지 않지만 방향은 바뀝니다. 지금까지 주요 실험실 중 아무도 이를 실제로 실천하지 않았으며, 가장 문제를 실감한 기업도 포함됩니다.

만약 에이전트를 구축했다면, 책임을 져야 합니다

만약 에이전트의 명시적 목적이, 인간이 해야 했던 원래의 행동을 대신하는 것이라면, 그 에이전트를 구축하고 운영하는 회사는 인간과 동일한 책임을 져야 합니다. 이러한 원칙은 공격적이지 않으며, 이미 "실제 세계에서 행위하는" 모든 산업에 이미 적용되어 있습니다: 토요타는 제동장치에 대해 책임을 집니다, 보잉은 비행 제어 시스템에 대해 책임을 집니다, 피자 제조업체는 식품에 대해 책임을 집니다, 다리 설계자는 다리에 대해 책임을 집니다, 의사는 처방에 대해 책임을 집니다. 이러한 책임 모델은 거의 모든 법률 체계에서 존재합니다.

그러나 현재 AI는 어느 정도 "묵인을 받는" 상황입니다. 모델 제공 업체는 자신을 도구 공급업체로만 주장합니다. 상위 응용프로그램 기업은 자신을 모델의 얇은 포장이라고 하며, 사용자들은 처음부터 모든 책임을 포기하고 있습니다. 에이전트 시스템이 연쇄적인 실패를 겪을 때(예: 캐나다 항공 채팅 로봇 사건, Replit이 프로덕션 데이터베이스를 삭제한 사건 또는 2012년 Knight Capital 거래 결함으로 45분 만에 44백만 달러 손실 사고), 최종적으로 손실을 입는 쪽은 일반적으로 책임을 질 능력이 가장 적은 쪽인 사용자입니다. 이러한 책임 배정 방식은 실제로 "돈과 서류가 있는" 중대 사고가 처음 발생할 때까지 계속되지 않을 것입니다.

해결책은 사실 표현상으로 매우 간단합니다: 에이전트를 구축하고 그 자주성에서 혜택을 얻은 사람이면 그것이 실수로 인해 문제가 발생할 때 그 결과를 지게 됩니다. 책임이 실제로 건설자에게 적용되면 권한 프롬프트는 더 이상 '마찰'로 간주되지 않고 '보험'으로 간주됩니다. 그 위험한 스위치는 다시 명명되며 기본 설정도 변경됩니다.

자신의 시스템에 대한 책임을 질 의사에 따라 실제 산업과 '흡수 산업'을 구분하는 핵심이 됩니다.

규제는 '유도 메커니즘'으로

시장 자체는 자연스럽게 '강화된 미래'로 나아가지 않습니다. 실제로 유도 역할을 하는 것은 감시 기관과 보험 가입자이지만 전체적으로 보면 이는 나쁜 일이 아닐 수 있습니다.

유럽이 가장 초기의 규제 경로가 될 가능성이 매우 높습니다. EU는 GDPR, 'AI Act', DMA 등에서 뚜렷한 전례를 가지고 있으며 그 규칙은 전 세계적으로 따르기로 합의되어 있습니다. 비 EU 시장을 위해 별도의 제품을 유지하는 비용은 일반적으로 유럽 표준을 준수하는 것보다 더 높습니다. '모든 실질적 결과를 초래하는 행위는 최종적으로 명시된 인간에 의해 확인되어야 하며 거부 권한을 갖추어야 합니다'라는 기본선회는 자동차 충돌 시험 기준에 더 가깝고 기술 발전을 방해하는 것이 아닙니다.

보다 직접적인 움직임은 보험업계에서 나옵니다. E&O 책임 보험, D&O 책임 보험 및 네트워크 보험 요율을 책정하는 보험 회사들은 Agent가 사용자 승인으로 작동하고 손해를 입힐 때 어떻게 책임을 지을지에 대해 대답해야 합니다. 보상 구조를 형성하기 가장 쉬운 방법은 경로에 명시적으로 명시된 인간이 존재하는 것입니다. 따라서 이러한 구조가 없는 시스템의 보험료는 자연스럽게 더 높은 리스크 프리미엄을 반영하게 됩니다. 규제나 보험 회사가 규칙을 제정하는 대신 규칙을 직접 정의하고 싶어 하는 빌더들에게는 시간 여유가 크지 않습니다.

주류 서사에 묻힌 시장 논리

현재의 주류 서사는 수직 분야의 에이전트가 담당하는 업무의 약 절반 정도를 흡수하며 가치가 소수 기업들로 집중될 것이라고 생각합니다 - 법률 분야의 'Anthropic' 하나, 의료 분야의 'Anthropic' 하나, 회계 분야의 'Anthropic' 하나. 지난 1년 반 동안 거의 모든 수십억 달러 규모의 AI 투자는 어느 정도 이 가정 위에 세워진 것입니다. 이것은 비즈니스 외피를 쓴 '대체 논리'로, 하지만 이것은 시장 구조에 대한 판단이 잘못되었으며, 이러한 잘못은 자본 할당 방식에 직접적인 영향을 미칠 것입니다.

'강화된' 프레임워크는 다른 시장 형태를 의미합니다. 모든 실질적 결과를 가진 행동이 마지막으로 명시된 사람에게 떨어져야 한다면 판매되는 단위는 '자주 에이전트'가 아니라 '인간 능력의 증폭된 것'입니다. 세 배 케이스를 처리할 수 있고 더 높은 정확도를 가진 의사, 열 거래 흐름을 다룰 수 있는 변호사, 다섯 배 속도로 서비스를 제공하는 엔지니어는 구매자이며 그 뒤에 있는 회계사, 보험자, 분석가, 건축가, 외과 의사, 교사, 신용평가인, 기자 및 약사 또한 구매자입니다.

이 시장이 더 커진 이유는 중앙 집중화가 아니라 규모 확장에 의존하기 때문입니다. 합리적인 가치 평가 지점은 기업 소프트웨어 예산이 아니라 "확대된" 노동력 임금 총액이어야 합니다. 세계 기업의 IT 지출은 연간 약 40조 달러 정도입니다(Gartner 데이터)；반면, 기술 및 자격증을 가진 지식근로자의 총 임금 규모는 대략 한 순서 높아지며, 약 40조 달러입니다(국제 노동기구 데이터를 기반으로 하고, 낮은 기술 부분은 추정에서 제외했습니다). AI 기업은 물론 모든 임금 풀을 획득하지 않겠지만, 그들은 일부 생산성 배당금을 받을 수 있습니다. 십진수 비율의 점유율만 획득해도, 현재의 기업 소프트웨어 시장 규모와 동등한 시장을 지탱하는 데 충분합니다. 이것은 하한이지만 상한은 아닙니다. 최종적인 시장 공간의 크기는, 한 가지 핵심 설계 결정에 달렸습니다: 책임은 누구에게 있는가.

최종 우승자는 오히려 도구와 같으며, 대체자가 아니며, 그 가격은 "확대된 사람"에 기초하며, "대체되는 직책"이 아닙니다; 그들은 기존의 전문 업무 흐름에 통합되며, 교체되지 않습니다; 그들은 수천 개가 될 것이며, 소수가 될 것이 아닙니다. 이 시장의 최종 형태는 SaaS에 더 가깝습니다. 클라우드 인프라가 아닙니다. 현재 저희는 배포 곡선의 극 초기 단계에 있으며, 보편적인 침투율 곡선 그림은 10년간 계속될 장축상에 있지만, 오직 가장 왼쪽의 몇 픽셀 뿐입니다. 이러한 "픽셀"의 형태는 현재 제품의 일부 디자인 선택지에 의해 결정됩니다.

선택: 사람에게 책임 부여할 것인가, 사람을 없앨 것인가?

인간이 계속 책임지도록 하면, 시스템 아키텍처가 "인간을 강화"를 중심으로 구축되어야 합니다; 그러나 한 번이라도 사람을 책임 사슬에서 제거하면, 시스템은 기본적으로 "대체"로 이동하게 되며, 현재의 각 사람은 명확한 질문을 받더라도 아마도 이 결과를 선택하지 않을 것입니다.

진정한 문제는 일부 행동이 완전히 자동화되어야 하는가이며 - 위의 프레임워크는 이미이 점을 인정하고 있으며, 예를 들어 순수 정보 읽기 작업은 실제로 자동화될 수 있습니다. 핵심은 위험이 서서히 증가함에 따라 이 경계가 어떻게 이동되는지 및 누가 그것을 결정하는지에 있습니다. 현재 최고 수준의 에이전트 시스템에서 "강화"에서 "효과적인 대체"로 쉽게 미끄러지는 경로는 예외적으로 짧으며, 종종 하나의 매개변수 전환 또는 기본 설정 만으로 이루어집니다. 진정으로 중요한 작업은이 스위치가 항상 "위험한 옵션"으로 간주되도록 보장하는 것이며, 편의를 따르다가 서서히 기본값이 되지 않도록 하는 것입니다.

건설자가이 작업을 적극적으로 수행하면, 우리는 상대적으로 매끄러운 "강화형 미래"로 진입할 수 있습니다. 그들이 그렇지 않으면, 감독 기관 및 보험회사가 그 대신 처리하여 결과가 동일하게 이루어질 것입니다.

이 문제에 관심이 있는지 여부는 설계 선택사항입니다. 이 선택이 당신이 구축한 것을 결정할 것입니다. 오늘날 에이전트 제품을 출시하는 모든 창립자는 마주쳐야 할 문제로 보이는 질문에 공개적으로 대답해야합니다: 당신이 구축 중인 것은 강화입니까, 대체입니까?

[원문 링크]

BlockBeats 공식 커뮤니티에 참여하세요:

Telegram 구독 그룹：https://t.me/theblockbeats

Telegram 토론 그룹：https://t.me/BlockBeats_App

Twitter 공식 계정：https://twitter.com/BlockBeatsAsia