동찰 Beating AI 속보, AMD가 캐나다 AI 칩 회사 Taalas 인수를 완료했다고 발표했습니다. 양측은 올해 8월에 합의에 도달했으며, 거래 총액은 최대 약 29억 달러로, 그중 최대 14억 달러는 약정 조건을 충족해야 지급됩니다.
Taalas는 전통적인 GPU와 완전히 다른 노선을 걸었습니다. 칩을 제조할 때 AI 모델의 파라미터를 회로에 직접 고정시키는 방식입니다.
일반 GPU는 모델 파라미터를 메모리에서 반복적으로 읽어야 합니다. Taalas는 저장과 연산을 함께 배치해 데이터 이동을 줄였고, 값비싼 고대역폭 메모리(HBM)와 관련 복잡한 패키징도 생략했습니다.
올해 2월 Taalas는 첫 번째 칩 HC1을 출시했으며, Meta의 Llama 3.1 8B 모델을 전용으로 실행합니다. 공식 테스트에 따르면 입력과 출력이 각각 1000 Token인 조건에서 단일 사용자 생성 속도가 초당 약 1만 7천 Token에 달해 당시 Cerebras의 약 9배에 이르렀습니다.
하지만 이러한 설계는 유연성을 희생했습니다. 일반 GPU는 언제든 다양한 모델을 로드할 수 있지만, HC1은 LoRA 미세 조정을 지원하더라도 기본 모델을 교체하려면 여전히 제조 마스크를 수정하고 칩을 재생산해야 합니다. Taalas가 제시한 주기는 약 두 달입니다.
HC1은 또한 공격적인 3-bit 및 6-bit 양자화를 채택했는데, 모델 파라미터를 크게 압축했지만 일부 모델 품질도 손실했습니다. 현재 초당 1만 7천 Token의 성과는 Llama 3.1 8B에서만 나온 것이며, 더 큰 모델의 실제 성능은 아직 검증이 필요합니다.
AMD는 이 기술을 향후 AI 가속기 제품에 포함시켜 기존 Instinct GPU와 함께 사용함으로써, 전용 칩이 고정 모델의 고빈도 추론 작업을 담당하도록 할 계획입니다.