「토큰 종말」 도래: 생산성 수익을 비용이 압도할 때, 누가 비용을 부담할까?

이 글을 읽으려면 9 분

한 명의 직원이 회사의 월 예산을 다 써버릴 수 있다. 우버는 긴급히 한도를 설정했고, 변호사들은 AI 없이는 일을 못 한다. 이 청구서 위기는 'AI가 인간을 대체하는 것'보다 더 빠르게 다가오고 있다.

원문 제목: 「'토큰 종말'이 왔다! AI가 가격 쓰나미를 맞이하고 있다」
원문 출처: 기계지심

최근, 새로운 단어가 광범위한 논의를 불러일으켰다: 'Tokenpocalypse'(토큰 종말).

발단은 마이크로소프트가 GitHub Copilot의 가격 체계를 재구성한 것이다. 6월 1일부터 Copilot은 완전히 토큰 기반 과금 모델로 전환되었으며, 모델 간 토큰 비용 승수가 크게 차이 나 일부 모델의 단일 토큰 가격은 다른 모델의 60배에 달한다.

그리고 사용자들이 '진짜 쓸 만하다'고 인정하는 고급 모델들이 바로 가장 큰 폭으로 오른 그룹이다.

Anthropic, OpenAI 등 여러 주요 AI 기업이 상장을 준비하면서 AI 기업들은 더욱 심각한 수익 압박에 직면할 것이며, 이는 더 많은 업체들이 가격 인상에 동참하도록 강제할 수 있다.

AI 사용 비용은 기업이 생산성을 확장하는 데 있어 항상 피할 수 없는 문제다. 얼마 전 유행했던 'tokenmaxxing' 열풍, 즉 직원의 토큰 사용량을 겨루는 동력은 토큰 종말이 다가옴에 따라 끝나게 될 것이다.

'tokenmaxxxing 열풍 전체가 시작부터 절정, 그리고 외면받기까지 단 6개월이 걸렸다.'

기업의 딜레마

한 대기업 개발자는 황당한 딜레마를 설명했다: 회사는 오랫동안 직원들에게 AI 도구 사용을 강제해 왔으며, 토큰을 적게 쓰면 면담을 받았다. 하지만 새로운 가격 체계가 도입되자 토큰을 많이 써도 면담을 받게 되었다.

더 큰 문제는 Copilot 팀이 아직 '직원 수준 토큰 한도' 기능을 출시하지 못했다는 점이다. 이는 새로운 과금 모델에서 한 직원이 하루 만에 회사의 한 달 치 토큰 예산을 모두 소진할 수 있음을 의미한다.

'내 업무는 더 이상 소프트웨어로 비즈니스 문제를 해결하는 것이 아니다,'라고 이 개발자는 썼다. '내 업무는 토큰 사용 문제를 해결하는 것이 되었다.'

댓글란의 불평은 더욱 흥미진진했다. 한 사용자는 이렇게 요약했다: '회사 정책이 이렇게 변했다: '모든 일에 AI를 사용하라, 하지만 너무 많이 쓰지 마라. LLM이 너무 많은 토큰을 소모하면 사용이 중단될 수 있고, 그러면 이번 달 남은 기간 동안 AI를 사용하지 않았다고 비판받을 것이다.''

기업이 AI 생산성을 지나치게 중시하는 것은 양날의 검이 될 수 있다.

한 대형 로펌의 정보 책임자는 AI 세미나에서 "우리 AI 시스템이 다운되자 변호사들이 거의 업무를 중단했다. AI 없이는 일할 수 없게 됐기 때문"이라고 자랑하기도 했다.

수년간 전문 교육을 받은 사람이 AI 채팅창 없이는 일할 수 없다고 당당히 인정하다니? 나는 부끄러워서 내 커리어를 되돌아보게 될 것이다."

Uber 예산 초과 사건: 업계의 축소판

현재 대부분의 AI 모델은 사용량 패키지를 제공하며, 기업의 예산 통제 문제는 Token이 점차 사용량에 따라 과금되는 추세 속에서 더욱 심각해지고 있다.

Uber는 한 달 반 만에 완전한 호를 그렸다: 먼저 "AI 예산이 예상보다 훨씬 빨리 소진된다"는 사실을 발견한 후, 긴급히 사용 상한선과 직원 제한을 설정했다.

"Uber처럼 AI를 많이 사용하는 회사조차 이렇게 빨리 한계에 부딪힌다고 상상해보라," TechCrunch의 팟캐스트에서 언급했다. "문제는 AI 연구소가 비용을 고객의 지불 의사와 맞출 수 있느냐는 것이다."

흥미로운 사실: ChatGPT Plus의 초기 가격이 월 20달러로 책정된 것은 전략적 고려 때문이 아니라 "그냥 대충 숫자를 뱉은 것"이었다. 업계 전체가 아직도 이 출발점 때문에 고생하고 있다.

"당신의 일자리는 AI에 대체되지 않을 수 있지만, 예산은 대체될 수 있다"

Reddit에는 더 흥미로운 세부 사항이 있다. 어떤 사람은 회사에 AWS Bedrock 비용 모니터링 대시보드를 구축해 각 모델과 각 token(캐시 token 포함)의 비용을 실시간으로 CloudWatch에 표시했다. "개발자와 재무팀이 함께 돈이 타는 모습을 보게 하려고." 댓글 반응은 "축하한다, 방금 그들에게 새로운 KPI 지표를 제공했다."였다.