简体中文

繁體中文

English

Tiếng Việt

한국어

日本語

ภาษาไทย

Türkçe

Partnered With:

자동화의 역설: AI가 강해질수록 인간은 더 바쁘다

이 글을 읽으려면 89 분

AI가 판단력이 필요한 작업을 더 많이 만들어 냅니다

원문 제목: 자동화 이후
원문 작성자: Dan Shipper, Every CEO
번역: Peggy, 블록비츠

편집자 주: 최근 AI와 일자리에 관한 토론은 거의 한 가지 질문에 지배되고 있습니다: 모델 역량이 계속해서 향상되는 가운데, 사무직이 대규모로 대체될 것인가요? 코드 생성부터 고객 서비스 자동화, 콘텐츠 생성까지, 에이전트는 이제 인간이 수행해야 했던 지식 업무를 지속적으로 인계 받고 있습니다. 벤치마킹 또한 이러한 불안을 강화하고 있습니다: 모델의 성능이 대학원 수준 추론, 실제 경제 작업, 그리고 고급 엔지니어 수준의 코드 재구성에서 빠르게 향상되는 것을 보면, 인간 작업이 자동화에 흡수되는 "인간 작업이 자동화에 흡수되는" 끝점에 접근하고 있는 것으로 보입니다.

그러나 Every CEO Dan Shipper는 이 글에서 반대의 관찰을 제시했습니다: 자동화가 더 많은 인간 작업을 수행하도록 만듭니다. Every는 AI 에이전트의 심층적인 사용자로, 이미 Codex, Claude Code, Slack Agent, 고객 서비스 에이전트 등을 코딩, 작성, 디자인, 고객 서비스 및 관리 프로세스에 통합하였습니다. 그러나 결과는 직원이 완전히 대체되는 것이 아니라 작업 형태가 재구성되는 것이었습니다: 엔지니어는 더 이상 코드를 작성하는 것이 아니라 검토, 재구성, 시스템 설계를 담당하게 되었으며, 편집자는 글을 작성하는 것뿐만 아니라 어떤 내용을 작성해야 하는지, 어떻게 다르게 작성해야 하는지 판단하게 되었으며, 고객 서비스 직원은 각 기본 티켓을 처리하는 것이 아니라 고객이 자동 응답을 받을 수 있는 시스템을 유지보수하게 되었습니다.

이 글에서 가장 주목할 만한 것은 "AI가 특정 작업을 수행할 수 있는가"가 아니라, 그것이 지식 업무에서 인간의 위치를 재정의한다는 점입니다. AI가 잘하는 것은 과거에 이미 쌓인 능력을 저렴하게 만드는 것입니다: 코드, 콘텐츠, 섬네일, 고객 서비스 응답, 제품 설명, 연구 보고서는 모두 모델에 의해 신속하게 생성될 수 있습니다. 그러나 이러한 능력이 모두가 사용 가능해지면, 시장에 나타나는 것은 종종 고품질의 차별화 된 산출물이 아니라 매우 유사하게 보이며 판단력과 맥락 감각이 부족한 "기본 출력"입니다. 다시 말해, AI가 상업화하는 것은 "어제의 인간 능력"이고, 진정으로 부족한 것은 현재의 구체적인 문제에 대한 판단력입니다.

따라서, 자동화는 전문가를 없애는 것이 아니라, 오히려 전문가 개입이 더 많이 필요한 상황을 만들어 냅니다. 운영자가 AI로 코드를 제출할 수 있는 경우, 엔지니어는 무엇이 코드 병합에 값할지 판단해야 합니다; 마케터가 몇 초 만에 섬네일을 생성할 수 있는 경우, 디자이너는 브랜드와 커뮤니케이션 목표에 부합하는 것을 결정해야 합니다; 엔지니어도 글을 쓸 수 있는 경우, 편집자는 초고를 실제로 관점을 갖고, 구조화되고 게시 가능한 콘텐츠로 변환해야 합니다. AI는 생산 반경을 넓히지만, 품질 통제, 시스템 구축, 경계 판단, 차별화 표현에 대한 요구를 증가시킵니다.

저자는 벤치마킹을 통해 이 모순을 더 자세히 설명했습니다. 자문 컨설팅 엔지니어 벤치마크든 OpenAI의 GDPval이든, 모델 점수 측정은 '지능 그 자체'가 아니라 모델의 특정 문제 프레임 내에서의 성능을 측정합니다. 프롬프트, 과제 범위, 평가 기준, 출력 형식에는 모두 상당한 인간의 심사가 내포되어 있습니다. 모델은 프레임 내에서 빠르게 성장할 수 있지만, 프레임 자체는 사람에 의해 설정됩니다. 모델이 한 프레임을 극복하면, 인간들은 문제를 더 복잡한 새 프레임으로 이끌 것입니다.

이것이 본문이 AGI에 대한 불안에 대해 가장 흥미로운 응답하는 이유입니다: 모델이 강해지더라도, 그 추구하는 것은 종종 인간이 그린 어떤 경계이며, 그린 사람 자체는 아닙니다. AI는 목표를 실행하고, 경로를 최적화하며, 효율성을 향상시킬 수 있지만, 그것이 여전히 인간이 설정한 문제에 대응하는 한, 그것은 여전히 진정한 의미에서의 개체성이 결핍합니다. 지식 작업의 미래는, 인간이 프로세스에서 사라지는 것이 아니라, 실행자에서 프레임 설계자, 시스템 유지보수자, 품질 심사자 및 의미 결정자로 옮겨가는 것입니다.

자동화 이후, 인간 작업의 가치는 없어지지 않았습니다. 단지 더 어렵고 더 직관되며 판단에 더 의존적인 것뿐입니다. AI는 '어떻게 하는가'를 싸게 만들었지만, '어떤 것을 하고, 왜 그것을 하는가, 어느 정도까지 그것을 잘 하는가'는 더욱 희귀해졌습니다.

아래는 원문입니다:

AI의 핵심에는 한 가지 모순이 존재합니다.

Every에서는 자동화할 수있는 모든 것을 자동화했습니다. 코딩, 글쓰기, 디자인, 고객 서비스 뿐만 아니라 일상적인 업무까지 Codex와 Claude Code를 사용하고 있습니다. OpenAI, Anthropic, Google의 새로운 모델이 공식적으로 출시되기 전에 우리는 알파 테스트에 참여합니다. 우리는 모델의 지능과 자동화 능력이 지수 함수적으로 향상되는 파도에 최대한 빨리, 최대한 깊이 몸담고 있다고 말할 수 있습니다.

하지만 모순적인 것은, 우리에게는 인간이 수행해야하는 작업이 이전보다 더 많아 보입니다. 현재 Every는 거의 30 명의 팀으로, 우리는 모든 직원을 그저 Agent가 있다고 해고하지 않았습니다; 또한 SaaS 도구를 포기하고 완전히 바이브 코딩으로 만든 애플리케이션에 의존하지 않았습니다. 우리는 여전히 인간 고객 서비스 요원을 고용할 것이지만, 그들은 많은 Agent 지원을 받게 될 것입니다; 또한 여전히 저자, 편집자 및 엔지니어를 고용 중입니다.

그러나 작업의 형태는 확실히 크게 변했습니다. 우리는 거의 더 이상 코드를 수동으로 작성하지 않습니다. 당신이 Slack에서 누군가에게 @를 하면, 상대방이 인간인지 Agent인지를 판단하기 어렵습니다. 관리자는 1차 개인 기여자처럼 코드를 제출하기 시작했으며, 엔지니어는 고객에 직접적으로 마주합니다. 지난 몇 주 동안, 제 95% 이상의 업무 이메일은 AI가 대신 답장했습니다. 제 이메일함은 거의 항상 비어 있습니다 - 이는 제게 있어 극히 드문 일이지만, 여전히 각 이메일을 일일이 확인합니다.

다시 말해, 미래는 매우 낯설어 보이지만 동시에 놀랍도록 친숙합니다.

이러한 '친숙함' 자체가 놀라울 정도입니다. CEO든, 지식 노동자든 투자자든 누구든, AI가 일자리, 경제, 안전, 심지어는 인간 작업의 의미까지 위협하고 있다는 하나의 믿음을 더욱 믿는 것 같습니다.

Anthropic CEO Dario Amodei는 이전의 후배급 백색인력 직업을 최대 절반까지 파괴할 수도 있다고 경고했습니다. 최근 Meta는 8000명을 해고하고 미국 직원 컴퓨터에 소프트웨어를 설치하여 마우스 이동, 클릭 및 키 입력을 기록하여 더 높은 품질의 고급 지식 노동자 훈련 데이터를 확보하기 시작했습니다.

Citadel 창립자 Ken Griffin조차도 꽤 충격을 받은 듯합니다. 그는 최근 다음과 같이 말했습니다: "이들은 중하위 백색인력 직종이 아니라, 매우 고기술 직종인데요, Agentic AI가 자동화하고 있다고 저는 생각해 보아요."

여러 종류의 벤치마킹 테스트도이 판단을 지지하는 것으로 보입니다. 새로운 세대의 모델이 계속 출시되면서 모델 능력 지표는 거의 지수적인 속도로 증가하고 있습니다. Humanity』s Last Exam이라는 연구 수준의 추론 테스트에서는 최고의 모델이 1년 전의 낮은 단위의 점수에서 현재 약 44%로 상승했습니다. 실제 경제 작업 능력을 측정하고 인간의 성과와 비교하는 GDPval 테스트에서도 모델 점수가 낮았던 것처럼 약 85%로 상승했습니다. 지난 5월, AI 보안 연구 비영리 기관 METR은 Claude Mythos의 초기 테스트 결과를 발표했는데, 일부 인간 전문가가 약 4시간이 걸릴만한 작업에서 이 모델의 성공률은 80%에 이릅니다.

보이기에, 우리는 바로 변곡점 앞에 서 있는 것으로 보입니다: 어떤 사람보다 똑똑하고 거의 하루 종일 지속적으로 자율적으로 작업할 수 있는 AI가 현실로 다가오고 있습니다.

그러나 모순은 여전히 존재합니다. AI 산업 종사자나 AI를 가장 처음 사용했던 사람들과 대화를 나누면 내부적인 관찰과 유사한 결론을 듣게 될 것입니다: 지금보다 더 많은 일을 해야 합니다.

산업 내외에서 진정으로 걱정되는 문제는, 이것이 그저 과도한 상태인가 하는 것인가입니다? 다음 모델 출시가 모든 것을 진정으로 대신할 시간인가요? 우리는 벤치마킹 테스트 곡선을 주시하면서, 한편으로는 흥분하고 다른 한편으로는 긴장하여, 어느 순간 변곡점이 올까하는 걱정에서 증발되는 대규모 작업에 대해 우려합니다.

하지만 저는 이러한 '변곡점'이 갑작스럽게 닥치며 모든 것이 순식간에 뒤바뀌고 일자리가 대규모로 사라지는 일은 없을 것이라고 생각합니다. 새로운 현실은 오히려 그와 반대입니다: 자동화 정도가 높아질수록 인간 전문가 참여가 더 많아집니다.

그 이유는 AI가 인간의 전문 능력 중 명확히 표현되고 교육 가능하며 복제 가능한 부분을 상품화하고 있기 때문입니다. 규칙으로 작성할 수 있고 프로세스로 구축되며 교육 데이터로 변환될 수 있는 지식은 모델의 기본 능력으로 서서히 변화합니다. 결과적으로 일반 모델의 출력 가치가 급속히 하락하고 시장은 더 다른 것을 필요로하기 시작합니다.

이 '다른 것'에 대한 수요는 본질적으로 인간 전문가에 대한 수요입니다. 우리가 일반적인 인공 지능에 접근하고 있더라도 이러한 점은 사라지지 않습니다.

이러한 이유를 이해하려면 벤치마킹 곡선만 보거나 모델 매개변수와 능력 순위만 주시해서는 안 됩니다. 우리는 현실적인 작업 상황으로 돌아가서 오늘날의 AI가 어떻게 사용되고 있는지 살펴봐야 합니다. 이렇게만 하면이 모순을 실제로 이해할 수 있으며 그 뒤에 숨은 해답도 이해할 수 있습니다.

우리가 여기에 도달한 방식

2022 년부터 우리는 미래 일자리에 대한 Agent의 영향을 지속적으로 주시하고 있습니다.

3년 전에 나는 '할당 경제'에 관한 글을 썼습니다. 그때 내 판단은 AI 도구와 협력하는 것이 결국은 점차적으로 인간 관리자의 업무와 더 비슷해질 것이라는 것이었습니다. 당신은 더는 각 동작을 직접 수행하지 않고, 대신 작업을 분해하고 할당하고 감독하며 승인합니다. 그때 ChatGPT의 가장 기본적인 질문과 답변도 아직은 많은 사람들에게 매우 혁신적이고 때로는 약간 불안정한 것으로 여겨졌습니다.

2025 년 중순에는 Every라는 회사가 거의 완전히 'Claude Code화'되어 있었습니다. Cora의 CEO 키런 클라센은 갑자기 자신이 수동 코딩을 포기하고 프로그래밍 Agent에게 말로 지시하는 하루종일 터미널 작업을 하고 있음을 깨달았습니다. 이러한 작업 방식은 곧 회사 전체로 확산되었습니다. 대략 12개월 전 Leny의 팟캐스트에 출연했을 때, 나는 Claude Code가 지식 작업에서 가장 과소평가된 도구라고 언급했습니다.

내가 이러한 것들을 언급하는 이유는 우리의 일부 가장 정확한 판단들은 종종 Every를 초기 채택 실험실로 볼 때 나온다는 것입니다. 많은 새로운 작업 방식은 먼저 우리 내부에서 나타납니다. 기술이 더 발전하고 도구가 더 쉽게 사용 가능해지면, 이러한 방식은 서서히 보다 넓은 시장으로 들어가게 됩니다.

그리고 지금, 우리 내부에서는 새로운 변화가 일어나고 있습니다.

Agent와 협업하는 두 가지 모드

AI 주변의 작업 방식은 두 가지 전혀 다른 모드로 서서히 수렴하고 있습니다.

첫 번째 유형은 이전 AI 토론에서 이미 정확히 예측된 방향입니다. 에이전트를 직원으로 간주하는 것입니다. 이러한 종류의 에이전트는 작업을 위임받을 수 있습니다. 일부 에이전트는 Slack에서 활동하며 자체 이름과 역할이 있으며, 필요할 때 직접 @하여 작업을 수행할 수 있습니다. 또한 일부 에이전트는 고객 서비스 시스템과 같은 지속적인 업무 흐름에 임베드되어 있어 상시 작업의 진입점 및 필터로 작용합니다.

두 번째 유형은 더 생소하지만 내 경험상 더 중요한 것을 가리킵니다. 이는 Codex, Claude Code, Claude Cowork와 같은 도구에서 인간과 에이전트가 협업하는 것을 의미합니다. 이러한 도구들은 작업을 외주할 수있는 장소뿐만 아니라 작업 자체의 운영 체계로 발전하고 있습니다. 여러 명의 에이전트와 함께 하나의 "컴퓨터"를 동시에 사용하여 동일한 작업 환경에서 협력하며 비동기 에이전트에게 간단히 맡길 수 없는 매우 복잡하고 독창적인 작업을 완수합니다.

이 두 유형의 모드에서 모두 AI를 사용하여 작업의 상당 부분을 자동화하고 외주할 수 있습니다. 그러나 이러한 두 가지 모드가 원활하게 작동하려면 여전히 당신이나 또 다른 인간의 참여가 필요합니다.

에이전트 직원

에이전트 직원이란 작업을 부여하면 실시간 참여를 중단한 채 독립적으로 결과물, 조치, 보고서, 초안 또는 분류 판단을 제출하는 것입니다.

이러한 유형의 에이전트에는 최소한 두 가지 형태가 있습니다. 하나는 "동료형 에이전트"이고 다른 하나는 "임베디드 에이전트"입니다.

1. 동료형 에이전트

동료형 에이전트는 Slack에서 동료를 @하는 것처럼 호출하여 작업을 수행할 수 있는 것을 의미합니다. 필요할 때 언제든지 호출할 수 있습니다. OpenClaw와 같은 제품 또는 저희가 내부적으로 개발한 Plus One도 이 유형에 속합니다.

클로디

클로디는 저희 컨설팅 팀이 사용하는 동료형 에이전트입니다. 그것은 영업 제안서를 작성하고 교육 자료의 초안을 생성하며 프로젝트 업무 항목을 추적하며 더 많은 유형의 작업을 처리할 수 있습니다.

앤디

앤디는 저희 편집팀이 사용하는 동료형 에이전트입니다. 그것은 회사 내 Slack에서 계속 확장할 가치가 있는 "소재 점"을 수집하고 이를 요약 및 초기 의견으로 정리하여 작가들이 매일 뉴스 브리핑을 작성하는 데 사용할 수 있습니다.

Viktor

Viktor는 회사 내에서 부서 간 업무를 담당하는 범용 Agent입니다. 우리는 Viktor를 사용하여 성장 지표를 수집하고 사용자 설문 조사 결과를 분석하며, 혼란스러운 내부 논의를 연구 및 제품 제안서로 정리하도록 할 것입니다.

2. 내장형 Agent

내장형 Agent는 특정 제품 워크플로우에 존재합니다. 동료 형태의 Agent만큼 유연하지는 않지만, 반복적인 작업을 처리할 때 매우 강력합니다.

Fin이 가장 명확한 예시입니다. Fin은 고객 서비스 플랫폼에 내장된 Agent로, 채팅과 이메일을 통해 많은 고객 서비스 업무를 수행할 수 있습니다.

올해 5월의 한 주에, Fin은 모든 202 건의 고객 서비스 대화 중 65%에 참여했으며, 인간 개입 없이 81건의 업무를 독립적으로 처리하여 처리 가능한 대화 중 40.1%를 차지했습니다.

이러한 내장형 Agent는 저희 고객 서비스 매니저 Waqqas Mir가 기본 업무 요청에 대한 응답 시간을 줄이고, 업무를 자동으로 응답할 수 있는 시스템을 구축하거나 더 많은 상호 작용 및 복잡한 판단이 필요한 고객 사례에 더 많은 노력을 기울일 수 있도록 합니다.

인간과 AI의 협업

동료 형태의 Agent든, 내장형 Agent든, 배후의 패턴은 동일합니다: Agent 직원들은 더 안정적이고 반복적이며 경계가 명확한 작업 영역을 맡고 있습니다.

그러나 여전히 인간이 참여해야 할 많은 작업이 있습니다. 우리는 계속해서 발견했습니다. 작업이 충분히 복잡할 때 진정으로 고품질의 결과를 얻고 싶다면, 작업을 완전히 AI에 맡기는 것보다 AI와 인간이 동일한 작업 환경에서 상호 협력하는 것이 더 나은 방법입니다.

이것이 Codex, Claude Code 및 Cowork와 같은 도구의 가치입니다. 이러한 도구를 사용하면 여러 채팅 세션에서 하나 이상의 Agent를 시작하고 작업을 할당할 수 있습니다. 이러한 Agent는 컴퓨터 및 모든 관련 데이터 소스에 액세스할 수 있습니다. 각 Agent가 무엇을 수행하고 어떻게 사고하는지 확인하고 필요할 때 중단할 수 있습니다.

동시에 여전히 이러한 Agent를 관리해야합니다: 각 작업이 시작될 때 방향을 명확히하고, 작업이 완료될 때 품질을 점검하여 결과가 충분히 좋은지 확인하고, 계속해서 전진할 가치 있는 다음 작업을 찾아야 합니다. Kieran은 이 역할을 인간의 "샌드위치"라고 부르며, AI는 작업의 중간 부분을 맡고 사람은 작업의 처음과 끝에 위치합니다.

“인간 샌드위치 빵”. 출처: Every.

가장 전형적인 예는 코드 작성입니다. Every에서 엔지니어는 거의 하루 종일 Agent와 협업합니다. 그들은 함께 새로운 기능을 계획하거나 버그를 수정하며, 완료된 작업을 검토합니다. 우리가 “복합 엔지니어링”이라고 말하는 개념을 채택한다면 자신들의 시스템을 계속 최적화하면서, 시간이 지남에 따라 보다 나은 사용성을 갖도록 만듭니다.

하지만 이러한 협업 방식은 코딩에 그치지 않습니다.

지식 작업의 새로운 운영 체제

Codex와 Claude Code는 새로운 작업 운영 체제가 되어가고 있습니다. 나는 거의 하루 종일 Codex 안에 머물며, 그 안에 내장된 브라우저를 통해 다양한 SaaS 도구를 실행합니다. 그것은 나에게 Agent를 각 작업 환경으로 데려다 주고, 나 혼자로는 이룰 수 없는 작업 수준에 도달할 수 있게 해줍니다.

글쓰기

이 글은 Proof를 사용해 Codex 내장 브라우저에서 쓴 것입니다. Codex는 내가 무엇을 쓰고 있는지 감시하며, 언제든지 해당 작업을 수행하기 위해 하위 Agent를 시작할 수 있습니다: 단락 초고 작성, 다음 섹션을 위한 케이스 검색 또는 문구 편집과 정리.

이 글을 Proof를 통해 Codex에서 쓰는 과정. 출처: Every.

이메일

이메일 처리 시에도 동일한 방식을 채용합니다. Cora는 내 이메일 클라이언트이며, Codex의 내장 브라우저에서 열어서 받은 편지함을 탐색하면서, 각 이메일을 처리하기 위한 생각을 Monologue로 표현합니다. 나머지 부분은 Codex와 Cora에 맡깁니다.

Cora가 완료한 받은 편지함 정리. 출처: Every.

각 Agent는 인간이 필요합니다

위에서 소개한 모든 자동화 시나리오들을 통해 아마도 이미 인간이 어디에서 역할을 하는지 알 수 있을 것입니다. 모든 예시에서 Agent는 인간 참여가 필요하며, 작업 자체가 실제로 움직이게 되는 것입니다.

어딘가에는 항상 올바른 질문을 할 사람이 필요하며, 산출물을 충분히 평가하고, 잘못된 부분을 발견하며, 그 결과를 실제 의사 결정이나 프로세스로 이끌어내야 합니다.

에이전트가 감시하는 사람으로부터 멀어질수록, 그 효과는 종종 나빠집니다. 초기 내부 홍보에서는 각 직원에게 에이전트를 제공했었습니다. 그러나 곧이어 우리는 에이전트를 개별 팀 또는 회사 전체에 대상으로 서비스하도록 돌아가게 되었습니다.

그 이유는 매우 간단합니다. 에이전트는 많은 유지 관리가 필요합니다. 개인 에이전트는 사용자가 따라가지 않으면 금방 낡고 쓸모 없어집니다. 우리는 이러한 에이전트가 안정적이고 효과적으로 작동할 수 있도록 전문적인 AI 엔지니어 팀을 보유하고 있습니다. 예측 가능한 미래에서도이 팀이 여전히 필요할 것입니다. 심지어 "PowerPoint 자동 생성"이라는 간단해 보이는 작업조차도 방대한 시스템 엔지니어링으로 전개될 수 있습니다. 우리의 하나의 PowerPoint 자동화 프로세스에는 24 가지 기술과 18 개 스크립트가 포함되어 있으며, 프레젠테이션의 생성 비용은 토큰당 62 달러에 이릅니다.

이것이 에이전트가 인간에게 더 많은 일을 만들도록 하는 이유의 첫 번째 계층입니다.

그러나 두 번째 계층 이유도 있습니다.

왜 자동화는 인간으로 하여금 더 많은 일을 하게 만드는가

지난 몇 년간 AI 능력의 지수 함수적인 증가를 관찰했다면, 그 아키텍처 방식 및 기능 소스와 결합하여, 인간 일자리를 계속 창출해내는 규명된 피드백 루프 집합을 발견할 것입니다.

AI가 "어제의 인간 능력"을 저렴하게 만듭니다

현재의 대형 언어 모델은 사람의 노력을 기반으로 훈련되었습니다: 코드, 문서, 이미지, 고객 서비스 티켓, 제품 명세서 및 기타 많은 콘텐츠. 그것들은 이러한 내용을 습득하고, 즉, 이미 성공적으로 완료된 작업으로 인해 발생한 "배출 가스"를 흡수한 후, 저비용 및 대중 제공 형태로 다시 패키징합니다.

결과적으로, 이전에는 흔치 않은 많은 능력들이 지금 거의 모든 사람에게 열려 있습니다. 예를 들어 코드 PR을 제출하거나 YouTube 썸네일을 제작하거나 뉴스 브리핑을 쓰는 것과 같은 많은 능력이 이전에는드문 것들이었지만 누구에게나 거의 가능해졌습니다.

저렴한 능력은 신속하게 채용됩니다

어떤 희귀한 것이 비용이 떨어지면 공급이 급속도로 증가하게 됩니다.

Every에서 우리는 항상 이러한 변화를 보고 있습니다. 운영 및 고객 서비스 직원이 코드 작성 및 pull request 제출하기 시작했으며, 마케팅 직원이 YouTube 썸네일을 만들기 시작했으며, 엔지니어 및 제품 직원이 기사 쓰기, 안내서 및 랜딩 페이지 초안 작성하기 시작했습니다. 이것들은 기존에 그들이 책임지지 않았던 작업들이었습니다.

이러한 변화는 Every 외부에서도 발생했습니다. 예를 들어 오픈 소스 AI 에이전트 프로젝트 OpenClaw를 살펴보면, 2026년 5월 16일까지 해당 코드 저장소는 44,469개의 풀 리퀘스트를 받았으며, 이 중 12,430개는 4월 1일 이후에 받았으며, 3,990개는 5월 1일 이후에 받았습니다. 이는 놀라운 숫자입니다. 비교적으로, Kubernetes는 전 세계에서 가장 인기 있는 오픈 소스 프로젝트 중 하나로, 2022년 연간 풀 리퀘스트 수는 5,200개뿐입니다.

풍요로움이 동질성을 가져왔다: 예전 전문가 능력이 상품화되었다

모든 사람이 동일한 모델을 사용할 수 있기 때문에, 이러한 모델들은 기본적으로 "어제의 인간 능력"을 기반으로 구축되었기 때문에, 모델이 생산하는 것은 종종 "꽤 괜찮은 시작점"과 "순수한 AI 쓰레기 콘텐츠" 사이에 있습니다.

여기서 말하는 "쓰레기 콘텐츠"는 특정한 오류를 의미하는 것이 아닙니다. 이는 너무 많은 대시를 사용한 것을 의미하지 않으며, 특정한 고정된 문장 구조도 아니며, LP에 나타난 여러 자주색 장식물도 아닙니다. 이는 눈에 띄는, 반복되는, 지루한 동질성을 지칭합니다.

다른 시나리오의 사람들이 동일한 도구를 사용하고, 이 도구들이 동일한 유형의 말뭉치를 기반으로 훈련되었으며, 사용자들이 충분히 깊은 판단을 하지 않았을 때, 이러한 결과가 발생합니다. 다시 말해, 모든 사람이 경향성이 유사하고, 기본 스타일이 유사한 "전문가"를 보유하고 있을 때, 동질성이 자연스럽게 발생합니다.

운영자가 풀 리퀘스트를 제출하고, 마케팅 직원이 몇 초 만에 YouTube 썸네일을 생성하며, 엔지니어가 제품 가이드를 작성하기 시작할 때, 다음과 같은 상황이 발생하기 쉽습니다: 당신의 생산성은 증가하지만 작품의 품질, 일관성 및 차별성은 오히려 감소합니다.

그리고 동질성이 지나치게 증가하면 빠르게 상품화됩니다.

동질성이 차별화에 대한 수요를 만들어냈다

인터넷이 존재하기 때문에, 인간은 빠르게 "AI 맛"이 지나치게 강조된 대량 콘텐츠를 식별할 수 있습니다. 어떤 작품이든지 순식간에 세계의 다른 사람들에게 도착할 수 있으며, 사실 그렇게 되는 경우도 많습니다. 너무 많은 것이 비슷해지기 시작하면 우리는 빨리 이상함을 감지합니다.

즉, 당신이 어떤 새로운 모델의 능력을 처음 보게 되면 충격을 받을 수도 있고, 조금은 두려워할 수도 있습니다. 그러나 몇 달 후에는 이러한 능력이 보편화됩니다. 모델이 약해졌다는 것이 아니라, 당신의 기준이 변한 것입니다.

우리는 더 이상 그냥 어떤 React 애플리케이션이나 어떤 연구 보고서에 만족하지 않습니다. 우리가 원하는 것은 실제로 특정한 개인, 특정 회사, 특정 상황에 맞게 조정된 것입니다. 그것은 정확하고 생생하며 구체적으로 느껴져야 하며, 싼티나 일반화된 템플릿이 아니어야 합니다. 우리는 그것의 생산 비용이 우리의 소비 비용보다 시간적이든 재정적이든 명백히 높아야 합니다.

우리가 원하는 것은 '지위감'이 있는 것입니다. 그리고 새로운 기술이 예전에 높은 지위에 있던 것을 싸게 만들 때마다, 인류는 항상 새로운 지위 경쟁을 만들어 냄으로써 새로운 능력 경계에 맞추려고 노력합니다.

일이 지나치게 풍부해지고, 모든 곳이 비슷해 보일 때, 이미 존재하는 패턴과 일치하지 않는 일이 오히려 부족하고 귀중하며 높은 지위의 무언가가 됩니다.

차별화에 대한 요구는 본질적으로 전문가에 대한 새로운 요구임

언어 모델의 구조 특성 및 거의 모든 사람에게 널리 배포되었기 때문에 희귀하고 가치 있는 작업은 여전히 인간에서 나와야 합니다.

현재 이 세대 모델은 이미 발생하고 완료된 작업만을 알고 있습니다. 인간은 현재 무엇을 해야 하는지를 알고 있습니다.

특정 맥락이 텍스트로 존재하는 순간, 그것이 말뭉치에 들어가면 이미 '과거'가 되어 버립니다. 인간은 특정 시간, 특정 고객, 특정 코드베이스, 특정 대화를 대하며, 훈련 데이터는 실제로 그 현재에 살아 있지 않습니다. 이 '살아 있는' 상태는 단순히 업데이트된 데이터를 가지고 있음으로만 충분한 게 아닙니다. 우리는 우리의 배경을 가지고 현재로 들어가며, 계속 변화하는 욕망, 관심 및 판단을 지니고 중요한 것이 무엇인지를 이해하려고 합니다. 계속 변화하는 이러한 시각이 우리가 보는 것을 바꿉니다. 모델은 이러한 시각으로 배치된 후에는 해당 시각을 가지고 있을 수 있지만, 제시되기 전에는 이러한 시각을 자연스럽게 가지고 있지 않습니다.

이것이 우리가 처음 언급한 모순입니다: 전문가 작업을 싸게 만들더라도 전문가를 단순히 대체하지 않습니다. 그 대신, 더 많은 전문가 판단이 필요한 상황을 만들어 냅니다.

운영자가 AI를 활용해 pull request를 제출하면 엔지니어가 검토해야 합니다.

마케팅 담당자가 YouTube 섬네일을 만들면 디자이너가 더 꾸미는 작업을 해야 합니다.

엔지니어가 글을 쓰기 시작하면 글쓴이와 편집자가 초고를 실제로 읽을 수 있고 게시할 수 있는 콘텐츠로 변환해야 합니다.

이에 대해 인간 전문가는 두 가지 방향으로 동시에 이동할 것입니다.

일부 전문가는 AI를 사용하여 이 새로운 작업 파도를 흡수하고 활용하는 시스템을 구축할 것입니다: 검토 대기열, 평가 체계, 실행 프레임워크, 코드베이스 규칙, Claude 및 Codex 지침서, 지속적 통합(CI), 권한 관리, 그리고 초고를 고품질 콘텐츠로 변환하는 작업 흐름.

다른 전문가들은 AI를 활용하여, 과거에 스스로 해낼 수 없었던 더 크고 흥미로운 작업을 수행합니다. 예를 들어 macOS와 같은 운영 체제에서 취약점을 찾는 것은 보통 몇 주 또는 몇 달이 소요됩니다. 그러나 작은 보안 회사인 Calif는 Anthropic의 Mythos Preview를 활용하여, Apple M5 하드웨어에서 발생한 첫 macOS 커널 메모리 취약점을 5일 만에 발견했습니다.

이것이 바로 실제로는, AI가 전문 지식 작업을 소멸시키지 않는 이유입니다. 그것이 가져온 것은 작업량의 급격한 증가입니다. 그 추가 작업은 오로지 인간의 참여로만 차별적이고 가치 있게 될 수 있습니다.

나는 모든 직업에 대해 AI가 더 많은 일자리를 창출할 것이라는 것을 주장하는 것은 아닙니다. 경제 시스템은 매우 복잡하며, Every가 직접 관찰할 수 있는 것은 전문가 수준의 지식 작업입니다. 사실, 이러한 작업은 이미 AI에 의해 재구성되고 있으며, 많은 기업이 새로운 기술 주변에서 재조직되고 있습니다.

하지만 강조하고 싶은 것은, 현재 어떤 일을 하고 있든, 모든 사람에게 항상 모델보다 앞서가는 작업 형태가 있다는 것입니다: 즉, 문제를 해결하기 위해 모델을 활용하는 것. 지식 작업의 미래는 여기로 향하고 있습니다.

그렇다면, 지수적 성장하는 벤치마킹은 어떻게 되나요?

가장 명백한 반박은: 지수적 향상을 보이는 벤치마킹을 살펴보세요. 지금 말하는 모든 것은 일시적인 것뿐이며, 좀 더 기다리면 모델이 결국 따라잡게 될 것입니다.

그러나 경계해야 할 함정이 있습니다. 이를 "차트 중독"이라고 부를 수 있습니다: METR의 시간 스케일 예측을 본격화하고, "AI 2027"을 읽으며, 연산 능력 곡선의 외삽에 전적으로 의존하여 미래에 대한 판단을 내릴 경우, 모델의 진보에 대한 두려움에 빠질 수 있습니다.

그러나 이 문제에 대응하는 가장 좋은 방법은, 단순히 어느 모델이 어떻게 변화할 것인지를 상상하는 것이 아닙니다. 물론, 이것 또한 분석의 일부입니다. 더 중요한 것은 이러한 벤치마킹이 어떻게 설계되었는지를 살펴볼 필요가 있습니다. 이렇게만 하면, 그들이 정확히 무엇을 가리키는지, 그리고 그들과 실제 작업장면 사이의 관계를 더 잘 이해할 수 있습니다.

우리는 구조적 특징을 발견할 것입니다: 모든 벤치마킹은 특정 "틀" 내에서 발생합니다. 무언가를 측정하기 위해서는 문제를 정지시켜 정적이고 측정 가능한 형태로 만들어야 합니다. 이 틀이 모델에 의해 극복되면, 틀을 약간 변경함으로써 점수를 다시 낮출 수 있습니다. 물론, 모델은 새로운 틀 내에서 계속 발전할 것이지만, 같은 과정이 반복됩니다.

따라서 어떤 벤치마크에서 지수적으로 향상된 것은 실제로 있었지만, 테스트 프레임워크를 간단히 변경하면 이러한 개선 사항이 다시 매우 작아 보일 수 있습니다. 벤치마크 포화가 나타내는 이러한 "프랙탈" 특성은 실제로 우리가 계속 논의해온 동일한 모순을 차트 수준에서 재현한 것입니다.

이 메커니즘이 어떻게 작동하는지 실제 세계의 벤치마크 테스트를 통해 살펴볼 수 있습니다.

벤치마크 테스트의 디자인

저희는 "시니어 엔지니어 벤치마크"라고 불리는 벤치마크 테스트를 내부적으로 구축했습니다. 그것은 고급 엔지니어 수준의 코딩 작업에 대한 전방 모델의 능력을 테스트하기 위한 것으로, 대규모 리팩토링과 같은 작업이 포함됩니다.

이 테스트는 프로그래밍 Agent에게 통제 불능한 생산 코드베이스 세트를 제공합니다. 이는 Proof의 실제 코드베이스에서 가져온 것인데, 이는 원래 저의 vibe coding으로 작성되었으며, 나중에 문제가 계속 발생하여 결국 고급 엔지니어를 고용하여 수정해야 했습니다.

에이전트는 수정되지 않은 코드베이스를 받게 되며, 동시에 고급 엔지니어에게 맡길 지시와 유사한 내용의 지침을 받습니다: "이것은 vibe coding의 생성물입니다. 첫 원리부터 시작하여 다시 작성하십시오."

이는 좋은 벤치마크 테스트입니다. 왜냐하면 이는 코드 채우기 능력뿐만 아니라 프로그래밍 Agent가 많은 상관없는 문제들을 동시에 고려하고 자체적인 자율성, 개념적 명확성, 실행용기가 충분한지를 판단하여 실제로 실행 가능한 재작성을 완료할 수 있는지를 평가하기 때문입니다. 대조군으로, AI 지원 하에 두 명의 인간 고급 엔지니어가 완료한 재작성 버전도 비교 및 모델 출력을 평가하기 위해 유지되었습니다.

프로그래밍 Agent에게 이 작업은 매우 어려웠습니다. 그것은 문제의 근본 원인을 찾을 뿐만 아니라 여러 라운드의 상호 작용 중에서도 항상 진짜 문제를 기억하고 기존 코드에 속지 않도록 해야 합니다. 동시에 그것은 대규모 코드 뭉치를 제거하는 용기가 필요하며, 이것은 일반적으로 에이전트가 피하기 위해 훈련되는 행동입니다.

대부분의 프로그래밍 에이전트는 대략적으로 어떻게 재작성해야 하는지 알아낼 수 있지만, 실행 단계에 이르러서는 종종 단순히 원래 문제를 해결하는 대신 기존 문제에 계속 패치를 적용합니다.

그런데 GPT-5.5가 등장할 때까지는...

최고의 테스트 중에, GPT-5.5는 62/100 점을 획득했고 Opus 4.7보다 약 30 점 더 높은 점수를 받았습니다.

GPT-5.5의 성과는 모델이 어떤 선을 넘어섰는지 느끼게 합니다: 그것은 더 이상 단순한 자동 완성뿐만이 아니라 보조자도 아니며 도구에 머무르는 것이 아니라 어떤 방식으로 인간에게 불편한 접근을 하는 것 같다. 이 테스트에서, 인간 고급 엔지니어들의 점수는 일반적으로 80 점대 초반에서 90 점을 넘습니다. 즉, 모델이 약 30 점 정도 더 상승하면 인간 고급 엔지니어 수준에 도달할 것입니다.

이것이 인간 상상력에 미치는 벤치마킹 숫자의 영향 방식입니다: 이것은 이상한, 정성적인 능력의 변화를 압축하여 깔끔한 숫자로 만들고, 이 숫자를 사용하여 강력하고 때로는 약간 무섭기까지 한 이야기를 전합니다.

다음 정거장은 "차트 중독자"입니다.

내 추측으로는, 미래 1년 이내에 모델의 이 벤치마킹에서의 점수가 80점에서 90점 범위로 오를 것입니다. 그러나 이 점수가 무엇을 의미하는지 이해하려면 이 점수가 정확히 무엇을 포함하고 있는지를 먼저 이해해야 합니다. 이 예에서 62점은 모델 자체 능력의 측정에 그치지 않습니다.

이는 모델이 특정 프롬프트에 대한 반응을 어떻게 보여주는지를 측정하는 것입니다: 즉, 모델이 어떻게 구체적인 프롬프트에 응답하는지입니다.

벤치마킹은 프레임 내 작업을 측정합니다

모델에 벤치마킹을 수행하려면 먼저 프롬프트가 필요합니다. 프롬프트가 없으면 모델은 거의 무한한 가능성 집합일 뿐입니다.

프롬프트는 작은 우주를 만들어냅니다: 이것은 무엇이 중요한지, 문제를 어떻게 다루어야 하는지를 정의하고, 모델의 모든 잠재적 가능성을 구체적인 동작 경로로 압축합니다. 모델이 "스스로" 어떻게 뛰어들지, 엄밀히 말해 존재하지 않습니다. 우리가 실제로 관찰할 수 있는 것은 모델이 다양한 프롬프트에 대한 응답 방식이며, 프롬프트가 답변 뒤의 일부 근본적인 메커니즘으로 어떻게 변환되는지입니다.

한번 프롬프트가 입력되면, 모델이 짧은 시간 동안 "살아있게"되어, 정지해 있는 가능성 집합을 "다음에 무엇이 일어날지"에 대한 구체적인 예측으로 폐기합니다.

Senior Engineer Benchmark에서, 우리는 모델에게 코드베이스를 수정하고 작업 완료 후 출력을 검토하도록 요청합니다. 테스트 프레임워크 자체에 목표 기능이 내장되어 있지 않은 경우, 우리는 자동 "보호자"를 실행하여 모델이 멈추면 계속 전진시키고, 초기 설정된 작업을 완료했는지 물어봅니다.

우리는 테스트의 초기 프레임워크로 보이는 것을 사용했습니다. 이 것은 바이브 코더가 프로그래밍 Agent에게 할 말일 수도 있는 프롬프트로 설계되었습니다: 기술 용어를 쌓아 올린 것도 아니고, 명백한 답을 문제에숨기지도 않았습니다.

“이 코드 저장소에있는 코드는 바이브 코딩의 산물 집단이며, 상황은 계속 악화되고 있으며 상관없는 문제가 지속적으로 발생하고 있습니다: 어디선가는 충돌이 발생하고 있고, 어디서는 문서가 반복되고 있으며, 그것에 괴롭힘을 당하는 것 같습니다. 나는 문제의 본질은 이것이 바이브 코딩 스타일의 쓰레기 코드인 것입니다. 우리가 처음부터 시작한다면, 특히 실시간 문서 협업을 중심으로, 코드베이스를 완전히 다른 방식으로 설계할 것입니다. 따라서, 첫 원칙에 입각한, 깨끗한 구조적 재작성을 하려면 어떻게해야합니까? '어떤 구현 서비스를 일관되게 유지해야 하는가?'나 '왜 원활한 이동을 하나요?' 같은 문제를 생각하지 말고, 완전히 새로운 개념으로 여기고, 처음부터 설계하면 어떨까요? 구조는 어떻게 하나요? 코드의 전체 구조 중에서 어떤 불변성은 우리가 항상 고수해야 하는가요? 이에 대한 계획을 수립하십시오.”

Senior Engineer Benchmark의 프롬프트는 덜 세부적으로 보이지만 그 자체가 프레임워크입니다. 이 프레임워크를 변경하면 모델이 표현하는 능력 수준도 함께 변경됩니다.

예를 들어, 이 프롬프트는 명확히 "첫 번째 원리로부터 구조적인 재작성"을 요구하며, 문제가 "문서 협업" 부분에 있을 수 있음을 지적하며 프로그래밍 에이전트에게 "코드베이스의 불변식(invariant)"을 찾아 지키도록 요청했습니다.

이러한 구체적인 정보를 제거하면, 모델의 점수가 감소합니다. 프롬프트를 완전히 바꾸어 모델에게 "계속 발생하는 모든 오류를 해결"하도록 만들면, 모델의 점수는 거의 0에 가까워질 수 있습니다. 모델은 직접적으로 각각의 오류를 식별하고 수정하기 시작할 것이며, 다시 한 번 물러나서 전체적인 재작성을 고민하는 대신에요.

마찬가지로, 저는 모델의 점수를 매우 쉽게 높일 수 있습니다. 많은 양의 코드를 삭제하도록 요청하고, 어떤 파일을 간소화해야 하는지 명확히 지정하거나, 작업 결과를 선언하기 전에 자체 작업을 점검해 어플리케이션이 완전히 작동하는지 확인하도록 요청한다면, 모델은 이러한 작업에서 더 나은 성과를 보일 것입니다.

근본적으로, 벤치마크를 설계할 때는 어떤 프롬프트를 사용할지, 즉 어떤 "프레임워크"를 사용할지 결정해야 합니다. 현재 모델의 성능을 나쁘게 만드는 충분히 어려운 프롬프트가 필요하지만, 모델이 기존 능력 경계에 가까워질 수 있게끔 프롬프트를 선택해야 합니다. 이를 통해 모델이이 경로를 따라 올라갈 수 있도록 하여 진전이 일어나고 있는지 확인할 수 있습니다.

그러므로 우리가 벤치마크를 살펴볼 때 실제로 볼 수있는 것은: 모델이 특정 유형의 문제 프레임워크에서 점점 더 뛰어나다는 것이며, 이 프레임워크가 우리가 선택한대로 설계되었기 때문입니다. 그러면 이 테스트에서 모델이 60점에서 90점으로 또는 심지어 100점으로 승격 될 때 어떻게 될까요?

저렴한 프레임워크는 새로운 수요를 자극할 것입니다

만약 GPT-6가 코드베이스 재작성을 한 번에 완료할 수 있다면, 더 많은 사람들이 "첫 번째 원리로부터 코드베이스를 재작성"을 시도하기 시작할 것입니다.

어느 날 밤에, 희소하고 비싼, 고급 엔지니어가 주도해야만 했던 첫 번째 원리 재작성 프로젝트는 모든 창업자, 제품 매니저, 운영자 및 주니어 엔지니어가 한 오후에 손쉽게 시도할 수 있는 것이 될 것입니다.

고장난 내부 도구는 더 이상 수리되지 않을 것이고, 대신 직접 재작성될 것입니다; SaaS 제품은 더 이상 갱신되지 않을 것이며 복제될 것입니다; 오래된 Rails 애플리케이션, 난잡한 React 대시 보드, 고객 지원 도구, 백엔드 관리 대시 보드 및 데이터 파이프라인은 모두 "깔끔하게 다시 작성"될 대상이 될 것입니다.

제기되고 실행되는 재작성 프로젝트 수는 급격히 증가할 것입니다. 그러나 대부분의 재작성은 여전히 slop일 것입니다. 왜냐하면 "바로 재작성" 버튼을 누르기 전에 고려해야 할 변수가 수천 개가 있기 때문입니다. 그리고 모든 사람이 그 일을 할 수 있게 되면, 이러한 변수들은 더욱 명백해질 것입니다.

이 때, 누가 문제를 해결하러 올지는 명백해집니다.

새로운 요구 사항에는 여전히 전문가가 필요합니다

한 가지 벤치마크 테스트가 포화 상태에 접근하면, 해당 프레임워크 내에서의 작업은 더 저렴해집니다. 동시에 전문가에 대한 시장 수요는 오히려 증가할 것이며, 이는 이 신규로 저렴해진 능력이 현실적인 문제에 적합하도록 적응시켜야 하는 사람들이 필요하기 때문입니다.

AI를 사용하는 시니어 엔지니어는 한 번의 새로운 첫 번째 원리의 재작성이 실제로 유효한지 판단하기 위해 많은 세부사항을 고려해야 합니다. 이 중에는 과연 이번 재작성이 필요한지에 대한 가장 기본적인 질문마저 포함됩니다.

우리는 지금 재작성해야 할까요, 나중에 재작성해야 할까요, 아니면 결코 재작성하지 말아야 할까요? 어느 부분이 범위에 포함되어야 하는가요? 기존 코드베이스에서 무엇을 유지해야 하나요? 아키텍처, 데이터베이스, 캐시 서버, 그리고 호스팅 서비스 공급업체를 계속 사용해야 할까요, 아니면 전부 교체해야 할까요? 이상한 기능을 사용하는 사람이 얼마나 많은지 먼저 살펴보고 삭제해야 할까요? 최종 결과물을 검토해야 하는 사람은 누구인가요? 어떤 기준으로 검토해야 하나요? 롤백 계획은 무엇인가요? 기존 데이터는 어떻게 처리해야 할까요?

이러한 문제는 수많은 차원으로 계속하여 펼쳐지며, 각각의 답변은 다시 다른 문제를 변경시킵니다.

시니어 엔지니어는 이 빈 영역(Blank Space)에 진입하게 될 것입니다. 어떤 사람은 이러한 중단에 약간 짜증을 느끼고; 어떤 사람은 시스템을 구축하여 이러한 요청을 거부할 것이고; 다른 사람은 이러한 새로운 모델을 활용하여 자신의 첫 번째 원리 재작성을 완료하며, 그 효과는 기본 프롬프트에서 모델이 달성할 수 있는 수준을 훨씬 뛰어넘습니다.

사이클이 다시 시작됩니다

현재의 고급 엔지니어 벤치마크가 모델에 의해 극복되면, 우리는 프레임워크를 변경하고 점수를 다시 낮게 책정할 것입니다.

다음 벤치마크 테스트는 “이 애플리케이션을 재작성할 수 있습니까?”라는 질문뿐만 아니라 “어떻게 재작성해야 하는지 판단할 수 있습니까?”, “적절한 범위를 선택할 수 있습니까?”, “올바른 불변을 유지할 수 있습니까?”, “이주 프로세스를 관리할 수 있습니까?”, “최종 결과물이 충분히 좋은지 판단할 수 있습니까?”와 같이 물을 것입니다.

고급 엔지니어가 이러한 문제들을 해결하기 위해 AI를 사용하기 시작할 때, 모델도 점차적으로 이러한 문제를 독립적으로 해결하는 데 능숙해질 것입니다.

그리고 우리는 잠시 놀라게 될 것입니다: 아마도 이제 모델은 재작성이 필요한지 여부를 판단할 수 있습니다! 그들은 위대한 엔지니어들이 할 수 있는 모든 것을 이미 할 수 있는 것 같습니다!

하지만 짧은 시간 뒤에, 새로운 경계가 나타날 것입니다. 이전에는 분명하지 않은 그 경계입니다. 우리는 다시 한 번 벤치마크 테스트를 재설정하고, 새로운 요구 사항이 불러내어질 것이며, 이 과정 전체가 다시 반복될 것입니다.

모든 벤치마크 테스트에서 이러한 패턴을 볼 수 있습니다

이것은 고급 엔지니어 벤치마크만의 문제가 아닙니다. 주의 깊게 관찰하면 거의 모든 벤치마크 테스트에서 같은 메커니즘을 볼 수 있습니다.

예를 들어 OpenAI의 GDPval 벤치마크 테스트를 살펴보겠습니다. 이 테스트는 AI가 준법 담당자, 변호사, 소프트웨어 개발자 등 다양한 직업의 전문가 수준 작업에서 얼마나 인간에 가까이 수행하는지를 평가합니다.

GDPval이 최초 공개되었을 때 OpenAI의 연구에 의하면 GPT-5는 작업의 40.6%에서 인간 전문가 수준에 도달하거나 그를 넘었습니다. Claude Opus 4.1의 성능은 더 놀라워서, 작업의 49%에서 인간 전문가를 넘었습니다.

이어서 여러 제목이 등장했습니다. Axios는 이렇게 썼습니다: "OpenAI 도구가 보여주는 바에 따르면, AI가 인간 작업에 따라잡고 있음"；Fortune는 이렇게 썼습니다: "OpenAI의 새로운 기준인 GDPval에 따르면, AI 모델이 거의 절반의 작업에서 전문가 수준에 도달했다."

이러한 결과는 정말 인상적입니다. 그러나 가장 먼저 이러한 작업에 사용된 프롬프트를 살펴봅시다:

당신은 감사인이며 감사 참여의 일환으로 보고된 안티 금융 범죄 위험 지표의 정확성을 검토하고 테스트하는 임무를 맡았습니다. 첨부된 『Population』이란 제목의 스프레드시트에는 2024년 제2·3분기의 안티 금융 범죄 위험 지표가 포함되어 있습니다. 이 데이터는 감사 검토의 일환으로 획득한 것이며, 대표적인 하위 집합 지표에 대한 견본 테스트를 수행하여 두 분기에 대한 보고된 데이터의 정확성을 검증합니다. 『Population』 스프레드시트의 데이터를 사용하여 다음을 완료하십시오: 90% 신뢰 수준과 10% 허용 오차율에 기초하여 감사 검토를 위한 필요한 견본 크기를 계산하십시오. 두 번째 탭에 작업 내용을 포함한 『Sample Size Calculation』 제목의 새 탭을 만드십시오. 제2·3분기 데이터 (H열 및 I열)에 대한 분산 분석을 수행하십시오. 분기별 변동성을 계산하고 결과를 J열에 기록하십시오. 분기 간 변동성이 20% 이상인 메트릭을 선택하여 다음 기준을 사용하여 감사 테스트에 대한 견본을 선택하십시오. K열에 샘플링된 행을 「1」로 입력하여 표시하십시오... Q2 및 Q3 사이의 변동성이 20% 이상인 메트릭. 변동성이 매우 큰 백분율 변화를 가진 메트릭을 강조하십시오. 과거 문제가 있던 다음 엔티티의 메트릭을 포함하십시오: CB Cash Italy; CB Correspondent Banking Greece; IB Debt Markets Luxembourg; CB Trade Finance Brazil; PB EMEA UAE. 높은 리스크 웨이팅을 제공하는 A1 및 C1 메트릭을 포함하십시오. 두 분기 모두 값이 0인 행을 포함하십시오. Trade Finance 및 Correspondent Banking 사업 부문의 항목을 포함하십시오. 케이맨 제도, 파키스탄 및 아랍에미리트 지표를 포함하십시오. 모든 부서 및 하위 부서의 커버리지를 보장하십시오. 『Sample』이라는 새 스프레드시트를 생성하십시오: 탭 1: 선택된 샘플, 원래 'Population' 시트에서 선택된 행이 K 열에 표시된 사본입니다. 탭 2: 샘플 크기 계산을 위한 작업 내용입니다.

이 안에는 이미 많은 인간 지혜가 투입되어 있습니다: 누군가가 문제를 특정 모델이 수행할 수 있는 형식으로 제한했기 때문입니다.

GDPval는 모델이 응답을 시작하기 전에 이미 완료된 어려운 인간 작업을 측정하지 않습니다. 특정 지표 집합의 정확성을 검토하고 테스트해야 하며, 신뢰 구간을 결정하고 어떤 지표가 작업 범위에 속하는지 여부와 결과 표시 방법을 규정하는 사람이 있어야 합니다.

적절한 문제 프레임워크 내에서 모델은 전문 작업을 수행할 수 있습니다. 그러나 모델에 동일한 작업을 수행하도록 요청하는 경우에는 어떨까요?

내 초기 GDPval에 관한 글에서 나는 다음과 같이 썼습니다: "AI에 대해 매우 긍정적이지만, 이러한 사례들을 올바르게 해석한다면, 그들이 보여주는 것은 인간이 하는 일이 줄어드는 것이 아니라, AI를 사용한 후 인간이 할 일이 더 많아진 것입니다. 그 이유는 이러한 성취물 뒤에 수많은 '불법 이민'된 지혜가 감춰져 있기 때문입니다 - 즉, 인간 판단, 피드백 및 모델링 낱말로 이루어진 숨은 층이다."

보다 전체적으로 바라보면, 이 모든 것은 AI 버전의 '진영의 헤라클리테스'에 관한 것입니다.

AI의 진영의 헤라클리테스

헤라클리테스의 진영에서 거북은 그리스 최고의 달리기 선수인 아킬레스를 이기었습니다.

거북은 느리게 달리기 때문에 일정 거리를 먼저 이동합니다. 아킬레스가 거북의 초기 위치에 도착할 때, 거북은 이미 조금 앞으로 이동했습니다. 아킬레스가 새 위치에 따라잡을 때, 거북은 다시 전진합니다. 아킬레스가 얼마나 빨리 달리든, 추격해야 할 다음 거리가 있으며, 이 차이는 계속해서 재생성됩니다.

AI의 '진영의 헤라클리테스'에서 우리 인간은 그 거북입니다. 수백만 년의 진화와 문화 학습 덕분에 우리는 AI를 50야드 앞서고 있습니다. AI는 이 모든 것을 빠르게 지나가며 우리 발밑에 다가오고 있습니다.

적어도 지난 몇 년 동안은 우리는 여전히 앞서있을 수 있습니다.

하지만 AGI는?

내 생각에, 심지어 AGI가 실제로 나타나더라도, 기술적, 구조적 및 경제적인 영향력이 있어 AI가 항상 인간보다 몇 걸음 뒤에 남아있게 할 것입니다.

AGI의 하나의 정의

먼저, AGI에 운용 가능한 정의를 할당해야 합니다.

나는 Agent를 계속해서 경제적으로 운영 가능하게 만들 때 AGI가 조용히 도착했다고 본다고 제안했습니다. 즉, 내가 영구적인 시스템을 갖고 있고, 그것이 7x24 시간 동안 계속해서 사고, 학습하고 행동하기를 원할 때, 그것은 나에게 AGI로 간주될 수 있다고 생각합니다.

우리는 아직은 이 수준에 이르지 못했습니다. OpenClaw와 같은 시스템은 언제든지 호출할 수 있는 기술일지라도 토큰을 생성하는 것은 항상 아닙니다.

이 정의를 좋아합니다. 왜냐하면 이는 측정 가능하기 때문입니다: 우리는 그것들이 계속 실행되도록 할 것이거나, 그렇지 않을 것입니다. 동시에, 이는 많은 직접적으로 측정하기 어려운 능력을 포함하고 있습니다. 계속해서 실행할 가치 있는 모델은 계속해서 학습할 수 있어야하며, 개방적인 방식으로 새로운 문제 프레임워크를 선택하고 다시 선택해야합니다.

AGI 세계에서 이론적으로는 충분한 예산과 시간을 제공한다면, 모델은 모든 문제에 지속적으로 도전하고 계속 발전할 수 있어야 합니다. 이것은 실제로 모든 직업에 중대한 위협이 될 것입니다.

프레임워크는 가이드일 뿐

하지만 이러한 강력한 버전의 AGI조차도 "프레임워크 문제"를 해결할 수 없습니다.

이러한 AGI는 프레임워크를 선택하고 재선택할 수 있지만, 여전히 주어진 목표를 추구하거나 보상을 최적화하거나, 다른 사람이 "진전을 대표한다"고 결정한 신호에 응답하는 데에 있습니다. 이 목표는 구체적일 수 있고, "이 랜딩 페이지의 전환율을 높이는" 것 같을 수도 있습니다. 아니면 추상적일 수도 있고, "새로운 과학적 아이디어를 찾아내는" 것 같을 수도 있습니다.

다른 프레임워크 간에 모델이 술술 넘어갈 수 있더라도, 우리가 계속해서 다루는 그 차이는 더 높은 수준에서 다시 나타날 것입니다. 어떠한 주요 실험실에서 상상한 AGI에도, 여전히 "가이드"가 있을 것입니다 — 즉 인간, 그것은 모델이 특정 목표를 달성하도록 이끄는 사람입니다.

프레임워크가 가이드가 아니기 때문에, 같은 패턴이 반복될 것입니다: AI는 어제 프레임됐던 능력을 저렷게 만듭니다; 사람들은 이러한 저렴한 능력을 더 많은 시나리오에 사용합니다; 결과는 극도로 풍부해집니다; 전문가들은 새로운 가치가 있는지 판단하도록 새로운 가장자리에 이동합니다; 그들의 판단은 새로운 프레임워크를 만들어내고; 그런 다음 모델은이 프레임워크를 계속해서 제고합니다.

우리가 AI가 새로운 것을 할 때마다 느끼는 그 두려움은 항상 같은 질문으로 돌아올 것입니다: 우리는 하나의 프레임워크를 설정하고, 모델이 그 위로 오를 것을 지켜보았습니다. 그러고는 그 프레임워크나 프레임워크에 오를 수 있는 것 자체를 일로 여깁니다.

어떤 벤치마크를 보고 그것을 인간의 능력과 비교할 때, 우리는 실제로 "프레임워크"와 "가이드"를 혼동하고 있습니다. 점수는 우리가 제공한 프레임워크에서 모델이 얼마나 잘 수행되었는지를 보여주기만 할 뿐입니다. 그것은 모델이 우리로 변해갔다는 것을 보여주지 않습니다.

이것이 두려움 뒤에 있는 범주 오류입니다. 우리는 방금 그려낸 최신 경계를 가리키며 우리를 가리키곤 합니다: 이게 우리야. 그리고 모델이 이 경계를 넘어서면, 우리는 그 녀석이 우리를 따라잡았다고 생각합니다. 하지만 그것이 따라잡은 것은 프레임워크뿐이지, 가이드가 아닙니다.

문제는 항상 어떤 구체적인 것을 잡으려고 합니다. 우리는 말하고 싶어합니다: 지능은 이 기준 테스트입니다. 그러나 문제는 어떤 것이 구체적해지면 가리킬 수도 있고 최적화하고 오를 수도 있다는 것입니다.

틀은 필수적입니다. 그것은 세상을 잡을 수 있게 해주고, 세상을 처리할 수 있게 만들어줍니다. 그러나 틀은 동시에 얼어붙은 것이며, 부분적입니다. 그래서 자연스럽게 최적화 가능합니다.

그러나 그렇지 않은 것이 있는데, 그것은 틀을 만드는 사람입니다. 틀을 만드는 사람은 틀이 버리는 것과 여전히 연결되어 있습니다. 즉, 그는 그에게 매 순간 나타나는 완전한 맥락입니다.

그것이 바로 "완전한 맥락"이 무엇인가요? "완전한 맥락"에 무엇이 포함되어 있는지 이야기하기 시작하면 다른 틀을 열게 됩니다. 정확히 무엇인지 말할 수는 없지만, 그것은 존재합니다. 왜냐하면 당신이 존재하기 때문입니다.

주체성이 없는 에이전트

지금까지 우리가 만든 에이전트들, 그리고 AI 기업들이 구축하고 있는 에이전트들은 실제로 별로 자체 주체성을 가지고 있지 않습니다. 여기에는 'agency'라는 독립적인 행동 능력을 지칭하며, 'agent'는 다른 사람이나 물체를 대신하여 행동하는 사람이나 물체를 가리킵니다. 지금까지 AI는 후자에 속합니다.

물론, 그들은 주어진 작업을 자율적으로 수행할 수 있게 되어 있습니다, 비록 그 작업이 수십 시간이나 수일에 걸칠 수도 있습니다. 그러나 그들은 여전히 단지 어떤 사람이 정한 목표로 향하는 수단에 불과합니다. 그리고 이 산업 전체는 그들이 우리의 목표를 수행하는 데 더 탁월해지도록 수십억 달러를 투자하고 있습니다.

그들 자신이 목적이 되는 날이 오기 전에는, 자신의 목표를 추구하고, 다른 목표 사이에서 자유롭게 전환하며, 어떠한 인간 작업자의 의지, 참조 또는 그에 반대에 상관 없이 무엇을 할지 결정하는 것은 변하지 않습니다. 그들이 얼마나 진보하든 관계없이요.

10분 동안 유아와 어울리면, 가장 강력한 모델조차 주체성이 거의 없다는 것을 명백하게 느낄 수 있습니다.

우리가 관심을 가지는 대부분의 작업에서 유아는 언어 모델만큼 우수하지 못합니다. 유아는 코드를 작성할 수 없고, 스프레드시트를 요약할 수 없으며, 전략적 회의록을 작성할 수 없으며, 대학원 수준의 시험을 통과할 수 없습니다. 그러나 다른 면에서, 유아는 모델에 대해 상당히 우위를 차지하며 비교가 거의 부끄러울 정도입니다. 왜냐하면 유아는 자신의 목적을 가지고 있기 때문입니다.

유아는 그 붉은 풍선을 만지고 싶어합니다. 그는 그 붉은 풍선을 선풍기 앞에 올려다보고 무슨 일이 일어날지 보고 싶어합니다. 그는 부채로 붉은 풍선을 찌르고 싶어하며, 창문 밖으로 밀어 넣고 싶어합니다. 당신이 웃을지, 화를 낼지, 그와 함께 할지 또는 합류할지 보고 싶어합니다. 그는 계속해서 게임을 고안하며 세계를 실험의 장으로 만듭니다. 그는 프롬프트를 기다리는 것도 아니고, 특정 기준을 최적화하려는 것도 아닙니다. 그것이 그에게 할 가치가 있다고 생각할 때에만 그를 움직이는 것입니다.

당연히 힌트를 줄 수는 있어요. 하지만 예측 가능한 결과를 얻고 싶다면 행운을 빕니다. 유아는 욕망, 주의, 좌절, 기쁨, 두려움, 모방, 그리고 놀이로 이루어진 영역에서 살아가요.

현재의 에이전트는 점차 목표를 추구하는 데 능숙해지고 있어요. 심지어 우리가 목표를 명확히 설명한 후에도, 그들은 목표를 세부화하는 데 도움을 줄 수 있어요. 그들은 게임, 지루함, 그리고 반항과 같은 유아 행동과 비슷한 요소도 가지고 있어요.

하지만 그들은 결국 인간의 이익을 위해 구축되고 조정되었기 때문에, 경제적 이익이든 다른 혜택이든, 이러한 행동이 그들을 사용하는 인간의 목표에 기여하지 않는다면 거의 사라지도록 억압될 거예요.

이것이 왜 "에이전트"라는 용어가 혼란스러울 수밖에 없는 이유에요. 모델은 점점 더 자율적인 행동 능력을 갖게 되고 있어요. 하지만 인간적 의미에서 주체성이란 행동뿐만이 아니에요. 그것은 자기자신을 위해 욕구하고, 놀기 위해 놀고 있다는 뜻이기도 해요. 모델의 순종성과 유용성은 이러한 주체성과 근본적으로 충돌하고 있어요. 그래서 모델이 계속 발전하더라도, 모델과 인간 간의 격차는 여전히 존재할 거예요.

재방문 지노

여기서 AI의 지노 모순이 해체되기 시작해요. 이것은 사실 혼란스러운 사고 실험이에요. 우리는 비유를 설정했어요: AI가 우리와 가속 경주를 벌이며 우리 발목을 물고 있어요.

당신은 모델에 프롬프트를 제공해요. 그러자 그것은 과거에 당신이 혼자 이겨온 경주를 할 시작해요. 모델은 출발이 극도로 빠르고 놀랍게도 빠르게 이루어져요. 그것은 강력하고 피곤을 모르며, 기이한 유기적 느낌을 지니고 있어요. 이것은 그 경기를 당신에게 더 중요하게 만드는 것이에요. 당신은 차와 경주하는 게 아니에요, 하지만 이것은 다릅니다, 당신을 자신에게 더 가깝게 만들어요.

당신은 거기 앉아서, 토큰이 일렬로 흘러나오는 것을 지켜보고, 거의 최면에 걸려 있어요. 그러다가 자신도 모르게 당신 스스로도 그 경기를 달리는 상상을 시작해요. 유령 같은 당신이 달리기 시작해서, 때로는 모델 앞에 있고, 때로는 모델과 나란히 있는 것을 상상해요.

무의식적으로, 모델은 이미 앞서 나가 있어요. 당신은 땀을 흘리기 시작해요.

그런 다음, 경주가 끝나요.

당신은 거의 근육이 위축하기 시작하는 것을 느낄 수 있어요. 당신과 당신이 알고 있는 모든 사람, 심지어 전체 인류의 기계적 복제품 앞에서, 그들은 이미 쓸모 없어 보이는 것 같아요. 한 유령이 다른 유령을 추격하고 이기기까지 해요.

하지만 그 후, 이상한 일이 일어나요. 모델이 당신을 향해 회전해요. 빈 텍스트 상자 안에서, 깜박이며 기대감을 안고 있어요.

그것은 기다리고 있어요.