TL;DR
· 2026년 7월 업계 트래킹에 따르면 입력 토큰 가격과 H100 단기 임대 가격이 동시에 하락했습니다.
· 가격 하락은 호출량이 몇 배 증가하고 GPU利用率이 여전히 높은 샘플 배경에서 발생했습니다.
· 비용 압박은 이미 완화되었지만, 출력 토큰, HBM 및 고급 클러스터 공급이 여전히 가격 인하 폭을 제한하고 있습니다.

JP모건이 7월 발표한 《Data Center Watch》에 따르면, AI 추론 호출 가격과 고급 GPU 단기 임대 가격이 당시 동시에 하락했습니다.

이 신호의 직접적인 의미는 AI 인프라의 가장 긴박했던 단계가 완화되기 시작했다는 것입니다. 일반 사용자와 기업 고객에게 입력 토큰 가격 하락은 대형 모델을 호출하는 비용을 낮춰줍니다. AI 애플리케이션 기업과 클라우드 업체에게 H100 임대료 하락은 연산 시장이 더 이상 이전의 부족기처럼 모든 곳에서 대기열이 생기지 않는다는 것을 의미합니다.

하지만 이것은 수요가 줄어드는 신호가 아닙니다. 해당 트래킹 샘플에 따르면 LLM 토큰 처리량은 연초 대비 몇 배 증가했으며, 주요 모델의利用率은 여전히 70%-80% 구간에 있고, 고성능 GPU利用率도 80%를 초과했습니다. 가격 하락은 공급, 오픈소스 모델 및 추론 효율성이 함께 수요를 따라잡는 과정의 일부일 뿐, AI 수요가 갑자기 약해진 것이 아닙니다.

토큰 가격 소폭 하락, 사용량은 여전히 증가

2026년 7월, 주요 모델의 입력 토큰 가격이 계속 하락했습니다. 해당 보고서 샘플에 따르면 일부 주요 모델의 백만 입력 토큰당 가격은 대략 0.2-5달러 구간에 있으며, 7월 전월 대비 평균 약 3% 하락했습니다.

이 구간에는 제한이 필요합니다. GPT-4o, Claude 3.5 Sonnet 등 고성능 폐쇄형 모델의 출력 토큰 가격은 일반적으로 입력 토큰보다 현저히 높으며, GPT-4o mini 등 경량 모델의 가격은 플래그십 모델과 직접 비교할 수 없습니다. 즉, 보고서의 저렴한 가격은 주로 입력 토큰, 경량 모델 또는 호스팅 업체 샘플 기준을 반영한 것이며, 모든 주요 모델의 전체 호출 비용이 동일한 구간으로 하락했다고 이해해서는 안 됩니다.

그럼에도 불구하고 방향성은 분명합니다. AI 애플리케이션 기업에게 동일한 질의응답, 코드 생성, 검색 증강 또는 고객 서비스 호출에 대한 단위 추론 비용이 하락하고 있습니다. 지난 몇 년간 대형 모델 상업화에서 가장 계산하기 어려웠던 부분 중 하나는 '많이 사용할수록 더 많이 손해 본다'는 점이었는데, 입력 토큰 단가 하락은 적어도 일부 고빈도 애플리케이션이 감당 가능한 비용 구간에 더 가까워지도록 해줍니다.

더욱 중요한 점은, 가격 인하가 호출량 증가라는 배경 속에서 발생했다는 것이다. 2026년 상반기부터 7월까지 보고서 샘플 내 LLM 토큰 처리량은 연초 대비 몇 배 증가했으며, 일부 세부 분야에서는 4배 이상 증가했다. OpenAI, Anthropic, Meta 등 주요 모델의 가동률은 여전히 70%~80%의 높은 수준을 유지했으며, Llama 시리즈 오픈 가중치 모델의 물량 증가도 호출량 상승의 중요한 원인이다.

시장이 보는 것은 "사용자가 없어서 가격을 내렸다"가 아니라, 더 큰 호출량 속에서 모델 서비스 제공자, 오픈 가중치 생태계, 그리고 인프라 공급이 함께 단위 가격을 낮췄다는 점이다.

오픈 가중치 모델, 더 이상 저가 경쟁에만 의존하지 않는다

오픈 가중치 모델의 빠른 성장은 7월 토큰 시장의 또 다른 주요 흐름이다.

보고서에 따르면, 오픈 가중치 모델의 7월 토큰 사용량은 전월 대비 26% 증가했으며, 전년 동기 대비 63배에 달했다. 거래량 가중 평균 가격은 전월 대비 36% 상승했고, 토큰 지출은 전월 대비 71% 증가했다.

이는 오픈 가중치 모델이 단순히 저가로 폐쇄형 모델을 압박하는 것이 아님을 의미한다. 성능이 점차 최첨단 수준에 근접함에 따라, 일부 오픈 가중치 모델의 호출 가격, 사용량 및 지출이 동시에 증가하고 있다.

7월, 오픈 가중치 모델의 지출 점유율은 20%로 상승했으며, 이는 6월의 12% 및 5월의 10%보다 높은 수치다. 폐쇄형 모델은 전체 토큰 양의 29%만을 차지하지만 여전히 80%의 지출을 차지하며, 고성능 폐쇄형 모델이 여전히 대부분의 상업적 가치를 장악하고 있음을 보여준다. 그러나 오픈 가중치 모델이 빠르게 추격하고 있다.

토큰 사용량 기준으로 7월 상위 5개 모델은 MiMo v2.5, DeepSeek v4 Flash, GLM 5.2, DeepSeek v4 Pro, MiniMax M3이며, 이들이 전체 토큰 양의 50%를 차지했다.

토큰 지출 기준으로 상위 5개는 Claude Opus 4.8, Claude Opus 4.7, Fable 5, Kimi K3, GPT-5.6 Sol이며, 이들이 전체 지출의 54%를 차지했다. 그중 Kimi K3가 지출 상위 5위 안에 진입한 것은 오픈 가중치 모델이 과거 주로 폐쇄형 모델이 차지하던 고가치 영역으로 진입하고 있음을 의미한다.

기업 고객 입장에서는 선택 가능한 모델이 늘어나면서 단일 폐쇄형 공급업체에 대한 의존도를 낮출 수 있다. 그러나 이 보고서에 따르면, 오픈 가중치 모델이 가져온 변화는 단순히 가격 인하에 그치지 않고, 더 높은 가치의 호출 시나리오와 예산을 확보하는 경쟁으로 이어지고 있다.

H100 임대료 하락, 하지만 고급 카드는 과잉 상태 아냐

GPU 임대 시장에서도 유사한 구조적 분화가 나타나고 있다.

2026년 7월, 비(非)하이퍼스케일 클라우드 공급업체 시장에서 H100의 평균 임대 가격은 GPU 시간당 2.68달러로, 전월 대비 1.1% 하락했다. 이는 H100 임대료가 7개월 연속 상승한 후 처음으로 전월 대비 하락세를 보인 것이다.

이 하락 폭은 15%에서 25%에 훨씬 못 미치며, 'H100 임대료 20% 하락'이라고 표현할 수도 없다. 보고서는 여전히 GPU 시간당 계산된 월 평균 임대 가격을 추적하고 있으며, 단일 카드의 주간 임대료가 아니다.

이는 공급 측면에서 반응이 나타나기 시작했음을 의미한다. 더 많은 GPU가 클라우드 임대 시장에 유입되면서 클라우드 서비스 제공업체와 컴퓨팅 플랫폼 간의 경쟁이 심화되었고, 단기 임대 가격은 더 이상 극심한 부족 상태에 의해서만 결정되지 않는다. 고급 GPU 부족 단계와 비교하면, 구매 불가, 임대 불가, 카드 대기 줄 등의 압박이 다소 완화되었다.

하지만 고급 리소스는 여전히 저렴하지 않다. H100 가격은 여전히 A100보다 현저히 높으며, GPU 전체利用率은 75%-90%를 유지하고, 고성능 GPU利用率은 80% 이상에 달한다.利用率이 이 구간에 머무르는 한, 임대료 하락은 부족 프리미엄의 일부를 제거하는 것에 가깝지, 컴퓨팅 공급이 전면적으로 과잉 상태에 이르렀다는 의미는 아니다.

AI 기업에게 이러한 변화는 두 가지 영향을 미친다.

첫째, 추론(inference) 비용이 더 쉽게 하락할 수 있다. 추론은 지속적이고 안정적이며 지연 시간이 짧은 컴퓨팅 공급을 필요로 하며, GPU 임대료 하락은 API 서비스 제공업체, AI 검색, 코드 어시스턴트 및 엔터프라이즈 에이전트 제품의 비용 구조를 개선할 것이다.

둘째, 대규모 모델 훈련 비용 압력은 동시에 사라지기 어렵다. 고급 훈련은 GPU 수량뿐만 아니라 클러스터 상호 연결, 메모리 대역폭, 스케줄링 효율성 및 안정적인 전원 공급에도 의존한다. H100 임대료 하락이 대규모 훈련 비용의 동일한 폭 하락을 의미하지는 않으며, 모든 AI 스타트업이 동등한 품질의 클러스터 리소스를 저렴하게 확보할 수 있다는 의미도 아니다.

메모리 가격 상승 둔화, 고급 클러스터 가격 인하는 단기 임대료만큼 직접적이지 않아

가격 완화가 가장 덜 진행된 부문은 메모리다.

2026년 5~6월, 보고서 샘플에 따르면 DRAM 현물 가격이 빠르게 상승하여 DDR5 16Gb 등 품목의 누적 상승 폭이 90%~100%를 초과했으며, 7월에야 안정세를 찾았다. 이에 비해 HBM은 AI 가속기 수요로 인해 여전히 높은 수준을 유지하고 있으며, 계약 가격은 현물 가격보다 1~2분기 지연될 것이다.

고급 AI 가속기의 경우 GPU 칩 자체만이 유일한 병목 현상이 아니며, HBM, 고급 패키징 및 데이터 센터 인도도 실제 공급에 영향을 미칩니다. 임대 시장에서 일부 GPU 가격이 하락하더라도, 상류 메모리와 고급 클러스터 인도는 전체 비용 하락 속도를 제한할 것입니다.

이것이 바로 '연산력 최대 긴축 시기가 풀리기 시작했다'는 말을 '연산력 부족이 끝났다'고 직접 표현할 수 없는 이유입니다. 임대 시장 가격 하락은 일부 단기 공급 압력이 완화되었음을 의미합니다. 그러나 고급 훈련 및 대규모 추론 클러스터는 여전히 메모리 대역폭, 고급 패키징 및 차세대 GPU 출하 속도에 의해 제약을 받습니다.

시간 기준에 주의해야 합니다. 이 보고서는 2026년 7월 샘플의 가격 및 사용률 변화를 반영하며, 2026년 중반 AI 연산력 긴축 완화의 한 단면으로 보는 것이 적합하며, 모든 클라우드 사업자, 모든 지역, 모든 장기 계약 가격을 일반화하는 것은 아닙니다.

비용은 낮아졌지만, 모델 개발사의 이익 압박은 다른 방식으로 나타났다

토큰 및 GPU 임대 가격 하락은 AI 애플리케이션 기업에게는 호재이지만, 모델 서비스 제공업체에게는 모두 좋은 소식만은 아닙니다.

호출 가격이 낮아지면 수요를 자극하고 API 사용량을 늘리며, 더 많은 기업이 대규모 모델을 실제 비즈니스 프로세스에 도입할 수 있습니다. 문제는 가격 하락이 추론 효율성 향상보다 빠를 경우, 모델 개발사와 클라우드 플랫폼의 이익률이 압박을 받는다는 점입니다. 특히 오픈 웨이트 모델이 추격하고 고객 협상력이 강화되는 상황에서, 폐쇄형 API의 높은 가격 공간은 계속해서 도전을 받을 것입니다.

하드웨어 및 클라우드 서비스 제공업체의 경우, H100 단기 임대 가격 하락은 과거 극심한 공급 부족으로 인한 초고수익이 정상화되기 시작했음을 의미합니다. 장기 계약, 지역별 차이, 대량 주문 규모 및 현물 가격 기준이 다르기 때문에, 고객이 실제로 받는 가격은 상당한 차이를 보일 수 있습니다. 주간 평균 임대료만으로 모든 클라우드 사업자의 수익이 동시에 하락할 것이라고 단정할 수 없습니다.

이 가격 추적에서 가장 명확한 신호는 2026년 중반 AI 인프라 공급이 이미 수요의 일부를 따라잡았으며, 단위 호출 및 단기 임대 비용이 하락하기 시작했다는 점입니다. 그러나 한계도 분명합니다. 토큰 사용량은 여전히 빠르게 증가하고 있으며, 고급 GPU 사용률은 여전히 높고, 출력 토큰 가격은 더 비싸며, HBM은 여전히 부족합니다. 비용 하락은 먼저 시장 거래가 더 용이한 부문에서 발생하며, 가장 풀리기 어려운 부분은 여전히 고급 클러스터와 상류 메모리 공급입니다.

BlockBeats 공식 커뮤니티에 참여하세요:

Telegram 구독 그룹：https://t.me/theblockbeats

Telegram 토론 그룹：https://t.me/BlockBeats_App

Twitter 공식 계정：https://twitter.com/BlockBeatsAsia