원문 제목: Token Budget Wars
원문 저자: Jaya Gupta
편역: Peggy

편집자 주: 기업 AI는 이제 “도입할 것인가”의 단계를 넘어 “어떻게 비용을 계산할 것인가”의 단계로 들어서고 있다.

지난 2년 동안 많은 기업이 직원들의 AI 사용을 장려한 것은 기술 트렌드와 경쟁 압박을 따라가기 위한 측면이 컸다. 하지만 AI 추론 비용이 실험 예산에서 지속적인 운영 비용으로 바뀌면서, CEO와 CFO들은 보다 현실적인 질문을 던지기 시작했다. AI는 대체 얼마나 많은 가치를 창출하고 있는가? token 비용 1달러당 어떤 실질적인 결과를 얻고 있는가?

이것이 바로 “Token Budget Wars”의 핵심이다. 이른바 token 예산 전쟁은 단순히 기업이 AI 청구서를 낮추려는 것이 아니다. 어떤 업무에 더 많은 컴퓨팅 파워를 투입할 가치가 있는지, 어떤 작업은 더 저렴한 모델로 대체해야 하는지, 어떤 프로세스는 아웃소싱이나 인력을 대체할 수 있는지, 또 어떤 것은 그저 무의미한 소모에 불과한지를 다시 판단하려는 것이다.

이 글에서 가장 주목해야 할 점은 AI 사용량이 곧 가치와 같지 않다는 것이다. SaaS 시대에는 사용량이 보통 소프트웨어가 채택되고 있음을 의미했다. 하지만 AI 시대에 token 소모는 “미터기가 돌아가고 있다”는 사실만을 보여줄 뿐이다. 동일한 워크플로라 해도 프롬프트, 컨텍스트, 모델 선택, 재시도 횟수에 따라 비용이 몇 배씩 달라질 수 있다. 청구액이 높아졌다는 것은 AI가 실제로 일을 하고 있다는 뜻일 수도 있지만, 시스템이 비효율적으로 헛돌고 있다는 뜻일 수도 있다.

따라서 기업 AI의 다음 단계에서 핵심은 단순히 모델의 성능이 아니라, token 비용과 비즈니스 성과를 연결할 수 있느냐에 있다. 첫 번째 단계가 AI가 일을 수행할 수 있음을 증명했다면, 두 번째 단계는 이 질문에 답해야 한다. 이 일들은 과연 비용을 지불할 만큼 가치가 있는가?

아래는 원문이다.

기업 AI는 이미 “도입할 것인가”에서 “어떻게 배분할 것인가”로 이동했다.

기업의 고위 경영진 사이에서 새로운 “통화”는 AI 투자수익률(ROI)을 정량화할 수 있는 능력이다. 모든 기능 부서가 같은 질문을 받고 있다. 무엇을 산출했는가? 비용은 얼마였는가? 지난 2년 동안 CEO들은 아침에 일어나 CNBC의 Jim Cramer를 보며(#bearish), 경쟁사들이 생산성 향상을 발표하는 것을 지켜본 뒤, 회사 전체에 AI를 사용하라고 요구했다. 이제 진짜 압박을 가져오는 것은 그 다음 질문이다. 가치를 증명해 보라.

Claude는 2025년 11월에 출시되었고, 그 시점에는 대부분 기업의 2026년 연간 예산이 이미 확정되어 있었다. 1분기에 접어들자 기업의 실제 사용량은 당초 계획을 훨씬 넘어섰다. 추론 비용은 더 이상 실험을 위한 예산 항목에 그치지 않고, 지속적으로 발생하는 운영 비용이 되었다. 이에 따라 새로운 질문이 떠올랐다. AI는 대체 어디에서 실제로 가치를 창출하고 있는가?

이 질문은 답하기 어렵다. 토큰의 효용이 정량화되어 있지 않기 때문이다. 청구서는 이 지출이 과연 인력을 대체한 것인지, 매출을 창출한 것인지, 리스크를 낮춘 것인지, 프로세스를 가속한 것인지, 아니면 단지 엔지니어들이 순위표를 위해 미친 듯이 토큰을 소모한 것인지(#metamates)를 말해주지 않는다. 지출이 수십만 달러 수준일 때는 여전히 하나의 실험처럼 보인다. 하지만 어느 임계점을 넘어, 예컨대 7자리 금액에 도달하면 그것은 인프라가 된다. 기술적 차이가 손익계산서에 실질적인 영향을 미치기 시작한다. 동일한 워크플로, 동일한 입력값이라도 두 번 실행했을 때 토큰 비용이 5~10배 차이 날 수 있으며, 겉으로 보기에는 아무런 문제가 없어 보일 수 있다. 실험 규모에서도 이런 변동성은 이미 상당히 비싸다. 하지만 인프라 규모에 들어서면, 이는 CFO가 CEO에게 설명해야 하는 숫자가 된다.

이를 「한계 토큰 효용」이라고 부를 수 있다. 추론 비용을 1달러 더 지출할 때마다 창출되는 비즈니스 가치다. 이것이 규모화 단계에서 진짜로 중요한 숫자이며, 동시에 현재 대부분의 기업이 보지 못하고 있는 숫자다.

이사회에서의 질문은 이제 「AI가 유용한가」에서 「AI가 정확히 어디에서 실제 레버리지를 만들어내는가」로 바뀌고 있다. 바로 이 때문에 이른바 토큰 예산을 둘러싼 다툼은 본질적으로 토큰 배분권을 둘러싼 경쟁이다.

토큰 소유권을 둘러싼 경쟁이 빠르게 달아오르는 이유는, 그것이 지난 30년간 이어져 온 경영진의 본능과 충돌하고 있기 때문이다. 큰 팀은 큰 직위, 넓은 책임 범위, 더 큰 권력을 의미했다. 과거 고위 관리자의 성공 여부를 보여주는 가시적 지표는 그들이 관리하는 팀의 규모였다. 즉 직속 부하, 간접 보고 라인, 그리고 조직도상 인원 수였다.

하지만 지능이 희소 자원이 되면, 새로운 지표는 이렇게 바뀐다. 당신이 얼마나 많은 지능을 조율할 수 있는가.

AI 지출은 본질적으로 인건비와 경쟁하고 있다.

대부분의 AI 예산 신청은 본질적으로 세 가지 주장 중 하나다. 외주 인력을 대체하거나, 내부 인력을 대체하거나, 새로운 매출을 창출한다는 것이다.

직원에게는 급여가 있다. BPO 아웃소싱 계약에는 티켓, 보험금 청구, 송장 또는 심사 건별로 책정되는 가격이 있다. 인간은 이러한 측정 단위를 이해할 수 있다. 하지만 추론 비용은 더 복잡하다. 하나의 과업을 최종적으로 완료하는 비용은 시스템이 실행 과정에서 어떻게 작동하느냐에 따라 달라지기 때문이다. 세 번의 재시도와 사람의 수정이 필요하고, 프런티어 모델까지 호출하는 보험금 청구 처리 작업은 원래 대체하려던 외주 인력보다 더 비쌀 수도 있다. 바로 이 때문에 논의는 다음과 같은 방향으로 이동하고 있다. 하나의 결과를 완성하는 데 드는 비용은 얼마인가? 예를 들어 해결된 티켓 1건당, 처리된 보험금 청구 1건당, 검토 완료된 계약서 1건당, 완료된 송장 1건당, 추가 채용을 피한 포지션 1개당, 유지한 고객 1명당, 또는 매출 전환 1달러당 비용은 얼마인가.

경영진은 이미 BPO가 기준선을 설정하기 가장 쉬운 영역이라는 점을 깨달았다. 이러한 업무는 원래부터 「완료 단위」 기준으로 가격이 책정되어 왔기 때문이다. 반면 내부 직원과 AI를 비교하는 일은 훨씬 더 어렵다. 직원들은 매일 많은 일을 하며, 점심시간에 TikTok을 보는 것도 그중 하나다. 생산성 향상은 대개 채용 회피나 분산된 생산역량의 해방으로 나타난다. 또한 관리자들은 부분적인 자동화만을 근거로 팀 인원을 줄이는 데 저항하기 마련이다. BPO는 사업팀에 정량화 가능한 기준선을 제공한다.

이는 SaaS의 논리와는 다르다. SaaS는 한때 기업들이 사용량을 가치의 대리 지표로 보도록 훈련시켰다.

하지만 AI는 이 전제를 깨뜨렸다. 동일한 워크플로가 소비하는 추론 리소스는 프롬프트, 검색된 컨텍스트, 선택된 모델, 호출된 도구, 재시도 횟수, 그리고 agent가 멈춰 버렸는지 여부에 따라 크게 달라질 수 있다. 청구서상의 단위인 token은 안정적이지만, 그것이 대표하는 작업량은 안정적이지 않다.

더 정확히 말하면, 신호와 소음이 같은 측정 단위를 사용한다. token 청구액이 증가했다는 것은 실제 작업이 완료되고 있다는 뜻일 수도 있다. 하지만 형편없는 프롬프트, 무관한 컨텍스트, 불필요한 도구 호출, 반복 추론, 과도한 성능의 모델에 연산 자원이 낭비되고 있다는 뜻일 수도 있다. 두 기업의 token 청구액은 완전히 동일할 수 있지만, 그 밑에서 돌아가는 비즈니스는 전혀 다를 수 있다. 한 기업은 추론을 결과로 전환하고 있고, 다른 기업은 무의미한 시행착오에 비용을 지불하고 있다. 그런데 이 두 경우는 청구 항목상으로는 똑같이 보인다.

SaaS의 사용량은 소프트웨어가 도입되었음을 알려준다. AI의 사용량은 계량기가 돌아가고 있다는 사실만 알려줄 뿐이다. 그것만으로는 회사가 실제로 제대로 작동하고 있는지 알 수 없다.

왜 한계 token 효용은 보기 어려운가?

주요 이유는 세 가지다.

첫째는 재시도의 롱테일이다. 어떤 agent가 첫 시도에 워크플로를 올바르게 완료할 확률이 p라면, 해결된 워크플로당 예상 token 소비량은 대략 T/p에 따라 확대된다. 여기서 T는 기본 비용이다. 완료율이 90%에서 70%로 떨어지면, 문제 해결 1건당 유효 비용은 약 20%가 아니라 28% 정도 상승한다. 실패가 복합 효과를 만들기 때문이다. 기업 워크플로에서는 입력이 대개 혼란스럽고 예외 상황도 중요하다. 실패는 정확도를 낮출 뿐 아니라 경제성 자체를 바꾼다.

둘째는 컨텍스트 팽창이다. 어텐션 메커니즘에 크게 의존하는 작업의 경우, 추론 비용은 대체로 컨텍스트 길이에 따라 O(n²) 방식으로 증가한다. 따라서 컨텍스트 길이가 두 배가 되면 추론 비용은 대략 네 배가 된다. 모두가 모델이 충분한 정보를 갖기를 바라기 때문에, 시스템은 흔히 과잉 공급된다. 원래는 문서 다섯 개면 충분한데 검색은 문서 오십 개를 가져오고, 커넥터는 이메일 스레드 전체를 그대로 쏟아붓고, agent는 이미 오래전에 낡아 버린 대화 이력을 들고 계속 실행된다.

세 번째는 라우팅이다. 팀이 어떤 모델이 「충분히 좋은지」 알지 못할 때, 기본적으로 가장 강력한 모델을 사용하게 된다. 기본적인 분류 작업이 원래 복잡한 추론에 쓰이던 동일한 모델에서 실행될 수 있다. 호출량이 수백만 건에 이르면, 단순 작업을 작은 모델에 맡길 것인지, 아니면 모든 작업을 프런티어 모델에 맡길 것인지의 차이는 대개 통제 가능한 청구서와 이사회 차원의 문제를 가르는 차이가 된다.

비소프트웨어 산업은 이런 고통을 일종의 「전환」 형태로 체감하게 될 것이다. 소프트웨어 회사가 이 문제를 가장 먼저 보게 되는 이유는, 최적화 대상인 업무가 이미 충분히 계측화되어 있기 때문이다. 엔지니어링 팀에는 PR, 커밋, 배포, 장애, 사이클 타임, 평균 복구 시간 등의 지표가 있고, 이러한 지표는 제품과 연결되어 있다. 완벽하지는 않지만, 이런 유형의 업무는 상대적으로 측정하기 쉽다.

비소프트웨어 기업은 이 문제를 더 깊이 체감하게 될 것이다. 그들의 업무는 운영 중심이기 때문이다. 예를 들어 보험금 청구 처리, 언더라이팅, 고객센터 티켓, 컴플라이언스 검토, 공급망 이상, 결제 분쟁 등이 있다. 또는 현실 세계 자산을 보유한 기업들도 같은 문제에 직면하게 된다. 이러한 워크플로는 과거에 보통 인력, 사이클 타임, SLA 달성률, 오류율로 측정되었고, 평균적으로 맞는 것에 그치지 않고 감사에서도 버틸 수 있어야 하는 등 더 높은 요구사항을 갖는 경우가 많았다. 업무 단위와 비용 단위는 같은 언어를 쓰지 않으며, 같은 조직 안에 있지도 않다. 기술팀은 토큰 소비를 볼 수 있고, 사업부는 워크플로 변화를 볼 수 있지만, 이 둘을 연결하려면 여러 팀이 먼저 「도대체 무엇을 측정하고 있는가」에 대해 합의해야 한다.

내 생각에, 소프트웨어 회사는 토큰 예산을 둘러싼 싸움을 생산성 측정의 문제로 경험하게 될 것이며, 이는 앞서 발생했던 여러 「AI 해고」와도 맞닿아 있다. 반면 비소프트웨어 기업은 이를 전환의 문제로 경험하게 될 것이다.

빠져 있는 계층은 토큰에서 결과로 이어지는 귀속이다. 기업에는 추론 지출을 완료된 업무와 창출된 비즈니스 성과에 연결해 주는 변환 계층이 필요하다. 이 계층은 세 가지 질문에 답해야 한다. 재시도와 수정까지 포함했을 때 이 워크플로의 실제 비용은 얼마인가? 에이전트의 실행 궤적 중 어떤 부분이 실제로 중요하고, 어떤 부분은 그저 무의미한 헛수고인가? 이 업무가 운영 모델을 바꾸었는가——예를 들어 상담원 1인당 처리하는 티켓 수가 줄었는지, 보험금 청구 처리 주기가 짧아졌는지, BPO 예산이 축소되었는지, 채용이 연기되었는지 등이다. 다음 계층은 비즈니스 언어로 결과 귀속을 수행하는 것이다. 단순히 「이 워크플로에는 2.13달러가 들었다」라고 말하는 것이 아니라, 이렇게 말해야 한다. 이 유형의 보험금 청구는 에이전트가 처리하는 것이 BPO보다 저렴하지만, 보험 약관상 추가 예외 서류가 필요하면 재시도의 롱테일이 경제성을 무너뜨린다.

측정은 기억이 될 것이다. 하나의 토큰을 하나의 결과와 연결하기 위해 기업은 그 사이에 발생한 모든 것을 포착해야 한다. 에이전트가 무엇을 보았는지, 무엇을 검색했는지, 어떤 도구를 호출했는지, 무엇을 무시했는지, 어디에서 재시도했는지, 언제 사람이 개입해 덮어썼는지, 어떤 예외 규칙이 적용되었는지, 어떤 선례가 작용했는지, 그리고 왜 한 경로는 성공하고 다른 경로는 실패했는지까지 포함된다. 측정 계층은 의사결정의 궤적을 기록해야 하며, 이는 바로 기업이 과거에는 거의 진정으로 보유한 적이 없던 것이다. 기록 시스템은 무엇이 발생했는지는 포착할 수 있지만, 왜 발생했는지는 거의 포착하지 못한다. 예를 들어 CRM은 한 거래가 지연되었다는 사실은 알려줄 수 있지만, 영업 예측 뒤에 존재했던 기록되지 않은 판단들은 알려줄 수 없다.

의사결정의 이유는 기업 안에서 가장 쉽게 부패하고, 가장 쉽게 사라지는 자산 중 하나다. 그것은 Slack 스레드, 이메일 체인, 에스컬레이션 회의, 그리고 사람들의 머릿속에 존재하기 때문이다. 하지만 문제는 사람이 떠나고, 프로세스도 변한다는 데 있다.

AI는 이 점을 바꿔 놓았다. 에이전트가 궤적을 생성하기 때문이다. 모든 검색, 도구 호출, 재시도, 에스컬레이션, 사람의 수정, 최종 의사결정은 모두 컨텍스트에서 행동으로, 다시 결과로 이어지는 경로의 일부가 된다. 처음에 기업들은 지출의 정당성을 입증하기 위해 이러한 궤적을 포착할 것이다. 하지만 일단 이 궤적들이 포착되고 나면, 그것들은 비용 보고서 자체보다 더 가치 있어진다. 조직이 실제로 어떻게 의사결정을 내리는지를 기록하는 지속적인 기록이 되기 때문이다. (흠, context graph. 솔직히 최근엔 이 단어를 정말 질릴 만큼 들었다.)

분배 레이어야말로 진짜 상이다. 추론이 고객 운영 모델에서 사용량 기반으로 과금되는 자원이 된다면, 모든 1달러는 자신이 쓸 만한 가치가 있음을 증명해야 한다. 어떤 공급업체가 토큰이 언제 결과로 전환됐고, 언제 그렇지 않았으며, 그 이유가 무엇인지 설명할 수 있을까?

기업들이 이 일을 완전히 스스로 알아서 해내지는 못할 것이다. 그들은 이를 하나의 전환 프로젝트로 구매할 것이다. 포춘 500대 기업들은 이미 이런 플레이북을 반복해서 실행해 왔다. 안전벨트를 매고, 맥킨지를 고용하고, 시장에 있는 모든 팔란티어 출신 인재를 끌어모은 뒤, CEO가 위에서 아래로 변화를 밀어붙이는 방식이다. 토큰에서 결과로 이어지는 귀속 역시 ERP, BI, 디지털 전환과 비슷한 방식으로 등장할 것이다. 경영진의 후원을 받는 ‘프로젝트’로 도입되고, 그 밑에는 인프라 세트가 깔리며, 결국 새로운 단일 진실 공급원(source of truth)이 되는 식이다. 이 일을 해낼 수 있는 창업자들은 서로 다른 유형의 창업팀을 꾸릴 것이며, 그들 자신도 전통적인 의미의 창업자 원형과는 다를 것이다.

토큰에서 결과로 이어지는 귀속을 장악한 사람이 곧 분배 결정을 내릴 수 있다. 어떤 워크플로에 더 많은 컴퓨팅 파워를 배정할 가치가 있는지, 어떤 것은 제한해야 하는지, 어떤 것은 더 저렴한 모델로 전환해야 하는지, 어떤 것은 계속 사람이 수행해야 하는지, 어떤 것은 BPO를 대체할 수 있는지를 결정하게 된다. 그리고 일단 이런 결정을 내릴 수 있다면, 기업 내부 AI 지출의 흐름을 통제하게 되며, 이 자원을 배분하는 데 필요한 신뢰도 얻게 된다.

기업 AI의 첫 번째 단계는 모델이 일을 수행할 수 있다는 것을 증명했다. 다음 단계에서 결정될 것은, 그 일들 중 과연 얼마나 많은 것에 비용을 지불할 가치가 있는가이다. 찰리 멍거가 말했듯이, “인센티브를 보여 달라. 그러면 결과를 말해 주겠다.”

[원문 링크]

BlockBeats 공식 커뮤니티에 참여하세요:

Telegram 구독 그룹：https://t.me/theblockbeats

Telegram 토론 그룹：https://t.me/BlockBeats_App

Twitter 공식 계정：https://twitter.com/BlockBeatsAsia