원문 제목: Cerebras와 함께한 10년, 반성문
원문 작가: Steve Vassallo
번역: Peggy, 블록비츠

편집자 주: 5월 14일, Cerebras가 나스닥에 상장하였으며, 주식 코드는 CBRS로, 첫 거래일 종가는 발행가 대비 약 68% 상승하여, 2026년 이래 가장 주목받는 AI 하드웨어 IPO 중 하나가 되었습니다.

본문은 Cerebras 초기 투자자인 Steve Vassallo가 쓴 글로, SeaMicro부터 Cerebras까지의 Andrew Feldman과의 19년간의 협업을 회고한 내용입니다. 이 글은 term sheet부터 IPO까지의 벤처 투자 이야기인 것처럼 보이지만, 사실은 한 회사가 공감을 얻지 못하는 시기에 AI 컴퓨팅 아키텍처에 대한 하부 재구성에 베팅한 과정을 기록한 것입니다: 반도체 수준의 칩, 메모리 대역폭, 전원 공급, 열 배출, 전기적 일관성 등 일련의 엔지니어링 난제에 직면한 Cerebras는 단일 기술적 과제가 아니라 모던 컴퓨팅 시스템 전체를 처음부터 재창조하는 것이었습니다.

가장 주목할 만한 점은 Cerebras가 전통적인 칩보다 58배 큰 반도체 수준 칩을 만들었다는 것이 아니라, 이 회사가 처음부터 산업의 관행과 반대 방향을 선택했다는 것입니다: GPU가 AI 학습의 기본적인 해답이 되는 시기에, Cerebras는 "AI에 적합한 컴퓨터가 무엇인가"를 재정의하려고 했습니다. 이러한 선택에는 기술적 판단 뿐만 아니라, 자본의 인내심이 필요했으며, 투자자와 창업 팀 간의 장기적이고 거래 이외의 신뢰 관계가 필요했습니다.

현재의 AI 하드웨어 경쟁에서 Cerebras의 의미는 시장에게, 연산 능력의 혁명은 단순히 더 많은 GPU를 쌓는 것뿐만이 아니라, 컴퓨팅 아키텍처 자체를 재상상하는 것에서 올 수도 있다는 점을 상기시키는 데 있습니다.

다음은 원문입니다:

2016년 4월 1일, 금요일, 나는 Andrew Feldman에게 이메일을 보냈고, 그가 차고 뒷문을 열고 있다고 말하고, Cerebras에 투자하기로 한 term sheet을 그에게 직접 넘겨줄 것임을 말했습니다.

그 날이 만우절이었지만, 내가 농담을 하는 것은 아니었습니다.

엄밀히 말하면, 이것은 벤처 투자 기관의 표준 작업은 아닙니다. 그러나 그 시점에는 나는 이미 Andrew를 9년째 알고 있었고, 그와 함께 다음 회사를 논의한 지 2년이 넘었습니다. 나는 한 토요일 오후 계약서 문구를 여러 차례 수정 중인 것을 놓칠 수 없었습니다.

나는 Andrew를 처음 만난 건 2007년 10월이었다. 당시 그는 Gary Lauterbach과 함께 SeaMicro를 막 시작한 상태였다. 그 라운드에는 투자하지 않았지만, 나는 그들과 매우 마음이 통했고, 특히 그들이 첫 원칙부터 문제를 생각하는 방식을 감탄했다. 그 이후로 계속 그들을 주목했다.

진정으로 가치 있는 관계는 시간이 걸린다. 진정으로 가치 있는 회사도 마찬가지다. 오늘날 외부에서 보면 Cerebras는 설립 10년 차이자 곧 상장할 기업으로 보인다. 그러나 내게는 이것이 19년에 걸친 관계의 일등 자리를 차지한 결국 졸업하는 순간이다.

2019년 8월, 나와 Andrew는 스탠포드 캠퍼스에서 개최된 Hot Chips 컨퍼런스에 참석했다. 그 때, Cerebras는 최초 세대인 Wafer-Scale Engine을 발표했다.

심도 있는 관계와 부당한 야망

2012년 AMD가 SeaMicro를 인수할 때, 나는 Andrew가 대기업에서 오래 머물지 않을 것이라는 예감을 했다. 그는 단연 트집이 잘 따르지 않는데다가 반항 정신이 깃들어 있다. 2014년 초에는 이미 떠날 기회를 찾기 시작했고, 우리는 다음 단계에 대해 빈번히 만나 의논했다.

그 당시에는 두 가지가 아직 합의점에 이르지 않았다: 첫째, AI가 정말 유용해질 것인가; 둘째, GPU가 AI에 가장 적합한 컴퓨팅 아키텍처는 아니었을 것인가.

첫 번째 문제에 대해선 나도 아는 많은 현명한 사람들과 의견이 엇갈렸다. 2012년 AlexNet이 나온 이후, 연구 커뮤니티 일각에서는 합성곱 신경망으로 마법 같은 결과물을 만들어내고 있었다. 그러나 보다 광범위한 소프트웨어 업계에서는 AI가 여전히 마케팅 용어와 과학 연구 프로젝트 사이에 머물고 있는데 불과했다.

두 번째 문제, 즉 하드웨어 문제는 거의 제기조차 되지 않았다. GPU는 이미 신경망 훈련에 대한 기본 선택지로 자리 잡았는데, 이는 연구자들이 우연히 CPU보다 "나쁘지 않다"고 발견했기 때문이다. AI 워크로드를 위해 새로운 컴퓨팅 시스템을 특별히 개발하려는 것은 당시 전 세계 연구자들이 사용하는 주류 아키텍처에 도전하는 것을 의미했다.

하지만 Andrew, Gary, 그리고 공동 창업자인 Sean, Michael, JP는 다른 방향을 보았다. 그들은 각자 칩과 시스템 영역에서 수십 년의 경험을 쌓았는데, Gary는 1980년대에 데이터 흐름과 비순차 실행에서 혁신적인 작업을 했으며, Sean은 첨단 서버 아키텍처에 집중했고, Michael은 소프트웨어와 컴파일러를 담당했으며, JP는 하드웨어 엔지니어링을 깊게 파고들었다. 그들은 매우 희귀한 그룹이었는데, 개별적으로 봤을 땐 모두 뛰어났지만 함께 모이면 능력은 제곱수 효과를 낸다. 그들은 새로운 컴퓨터 형태를 상상할 수 있었다.

그들은 AI가 실제 잠재력을 발휘하면 그로 인해 발생하는 시장 규모가 현재 존재하는 모든 컴퓨팅 형태의 총합을 훨씬 초월할 것이라고 믿습니다.

그들은 GPU의 본질도 알아보았습니다. GPU는 원래 그래픽 처리를 위해 설계된 칩이었지만 새로운 전장에서 일시적으로 AI 교육 도구로 불쾌하게 끌어올려졌습니다. 그것은 병렬 처리에서 CPU보다 우수하긴 하지만 AI 작업 부하용으로 제로 베이스 구조를 디자인한다면 아마도 누구도 GPU와 같은 아키텍처를 디자인하지 않을 것입니다. 신경망 능력을 실제로 제한하는 것은 초기 알고리즘력이 아니라 메모리 대역폭입니다. 이것은 즉, 그들이 창조하려는 칩이란 것은 신경망을 최적화하며 중요한 것은 단일 코어 내의 행렬 곱셈이 아니라 데이터가 전체 계산 구조 내에서 효율적으로 흐르는 방법입니다.

회사 내에서 Cerebras에 투자하는 것은 일반적인 합의가 아니었습니다. 몇몇 파트너들은 이전 반도체 투자가 거의 손실만 가져왔다는 사실을 직접 목격했으며 그들은 우려를 매우 솔직하게 표현했습니다. 하지만 결국 우리는 팀으로 합의에 이르렀습니다. 2016년 4월의 어느 주말, 우리는 Andrew에게 단독 초기 투자 용어서를 제공하겠다고 명확히 전했습니다.

몇 주 후, Andrew, Gary, Sean, Michael 및 JP는 우리가 250 Middlefield에 위치한 2층의 EIR 사무실 공간으로 이사했습니다. 나는 아직 그 당시 사무실 관리자가 그린 평면도를 소유하고 있습니다. 그 그림에서 Cerebras는 Foundation의 공동 창립자 옆에 앉아 있으며, 나중에 Moveworks를 설립한 Bhavin Shah와도 몇 개의 문만 떨어져 있었습니다. 그곳은 스타트업이 성장하기에 매우 적합한 층이었습니다.

Cerebras의 첫 번째 본사는 우리가 250 Middlefield에 위치한 이전 2층 사무실에 있었습니다.

구부릴 수 있는 규칙과 깨야 할 규칙을 아는 것

Cerebras 이전에, 컴퓨팅 역사상 가장 큰 칩은 대략 840 제곱 밀리미터였으며, 거의 우표 크기의 실리콘 칩과 비슷했습니다. 그러나 Cerebras가 만든 칩은 46,000 제곱 밀리미터에 이르며 전자의 58배입니다.

웨이퍼급 칩을 선택하면 다른 모든 하위 설계 문제를 선택한 것과 같습니다. 약 80년의 컴퓨팅 역사에서, 아무도 실제로 이 작업을 수행하지 못했습니다. 이것은 또한 아무도 이러한 문제를 체계적으로 해결한 적이 없음을 의미합니다: 이렇게 거대한 칩에 전원을 공급하는 방법은? 그것을 냉각하는 방법은? 수만 개의 연결 지점 간에 전기적 연속성을 유지하는 방법은 무엇인가?

웨이퍼급 컴퓨팅을 실현하기 위해서, Cerebras는 현대 컴퓨팅의 각 부분을 거의 동시에 재발명해야 했습니다: 반도체, 시스템, 데이터 구조, 소프트웨어 및 알고리즘. 각 방향은 그 자체로 창업 기업이 될 만큼 까다로웠습니다. Andrew와 그의 팀은 가장 어려운 기술적 문제부터 해결하기로 선택했습니다. 그들의 고강도이자 지칠 줄 모르는 노력 덕분에 이러한 문제들은 하나씩 해결되었습니다.

6~8주마다 이사회 회의를 개최합니다. 그들은 이전 회의 이후의 시도를 소개합니다: 새로운 시스템 디자인 변형, 새로운 전원 공급 방식 또는 열 관리 조정 등. 다양한 각도에서 체계적인 문제에 직면하면서 반복적으로 싸우는 과정을 통해, 그들은 어렵게 습득한 명확한 표현 능력을 갖추었습니다. 그들은 어디가 잘못되었다고 생각하고 다음에 무엇을 시도할 준비가 되어 있는지 설명할 것입니다.

우리는 질문을 제기한 다음 팀과 함께 심층적으로 진전시키기 위해 필요한 사람, 자원 및 관계를 동원하여 새로운 개척 지점을 찾도록 도와줍니다. 6~8주가 지난 후 우리가 다시 회의를 개최할 때, 이야기는 또 다른 기술 문제에 대한 탐구로 되풀이됩니다. 각 해결책은 다음으로 해결해야 할 문제를 드러냅니다.

그들의 첫 번째 프로토타입 웨이퍼는 처음 시동 시 연기를 뿜었습니다. 팀은 그것을 '열 사건'이라고 부르며, 일반적으로 둘도 없이 공포스럽거나 선주민되지 않은 상태를 설명할 때 사용하는 용어입니다.

당시 나는 각 제곱 밀리미터당 전력 소비를 계속 계산하고 있었습니다. 한편으로는 호기심 때문이었지만, 다른 면에선 이 숫자들이 실제로 높아 보이지 않았기 때문이었습니다. 그래서 저희는 Exponent의 엔지니어들을 찾아왔습니다. 이 회사는 고장 분석 기관으로, 이전에 회사 이름이 바로 "Failure Analysis"였습니다. 그들은 그 전력 소비 숫자가 실제로 그리 대담하게 보였고, 열 역학 제 2 법칙을 도전할 필요가 없는 다양한 해결책에 대해 고민하는 데 도움을 주었습니다. 끝토로, Andrew는 충분히 똑똑해서 다투고 싶어하지 않을 이 법칙을 잘 알고 있습니다.

엔지니어의 질서는 어떤 규칙을 어겨야 할지, 어떤 규칙을 굽히고 어떤 규칙을 존중해야 하는지를 압니다. Andrew와 그의 팀은 이 차이에 대한 실험적으로 검증된 판단력을 갖고 있습니다. 그들은 상식을 도전하는 일을 할 때와 물리 법칙에 도전하는 일을 할 때를 분명히 구분하고 있습니다.

전선 기술을 구축할 때, 실패는 불가피합니다. 실패를 통과하는 유일한 방법은 질서, 인내, 그리고 가장 중요한 것은 신뢰입니다: 사명을 신뢰하고, 서로를 신뢰하며, 또 이것을 신뢰하는 것입니다—첫 번째 프로토타입이 파괴된 후, 다음 날 아침에 여전히 실험실로 돌아가 다음 반복을 시작할 것임을 신뢰하는 것입니다.

이 작업에는 트랜잭션형 버전이 없습니다. 이 작업에는 장기 버전만 있습니다. 그 해결책이 완전하지 않고 참을성있게 설명되는 곳에 항상 머물러 있습니다. 그렇게 하면 성공했을 때 직접 목격할 수 있습니다.

그 순간은 2019년 8월에 찾아왔습니다. 안드류, 션, 그리고 그들의 팀이 자신들이 개발한 새 컴퓨터가 처음 실행되는 것을 바라보고 실험실에서 서 있었습니다. 외부인에게는 그것이 아무런 재미있는 것을 하지 않은 것처럼 보였습니다. 안드류의 말에 따르면, 그 장면은 아마도 말라 올라가는 유산이나 보는 것과 같이 무미건조했을 것입니다. 그러나 이번에는 다르았습니다. 이전까지 이런 종류의 '유산'이 한 번도 말라본 적이 없었기 때문입니다. 그들은 함께 30분 동안 그 자리에 섰다가 다시 일하러 돌아갔습니다.

함께 건설하는 것이 매우 중요합니다

일부 사람들은 자신이 해결할 수 있는 문제를 선택합니다. 안드류는 해결할 가치가 있는 문제를 선택했습니다. 점진적인 반복에는 그를 흥분시킬 수 없었고, 그는 1000배의 도약을 원했습니다. 그가 첫날부터 Cerebras를 세대 간 회사로 만들기를 원했습니다.

이러한 역동성은 그의 성격 일부에서 비롯됩니다. 안드류는 그것을 컴퓨터 아키텍처자의 '질병'으로 설명했습니다. 몇십 년 동안 하나의 아이디어에 사로 잡힌 채 있었습니다. 그러나 나는 보다 넓게 보면 이는 창업자의 '질병'이라고 할 수 있습니다. 그는 문제를 보고, 먼저 '점프 변화를 일으키는 게 가능할까?'라고 자문합니다. 그런 다음 '성공한다면 누가 신경 쓰게 될까?'라고 물어봅니다. 만약 두 질문에 대답이 확실하다면, 그는 다음 열 년을 그것에 투자합니다.

이 역동성의 다른 일부는 그의 성장 환경에서 비롯됩니다. 안드류는 천재로 가득한 환경에서 자랐습니다. 그는 대부분의 아이들이 TV를 보는 것처럼 당연하게 여러 천재들 사이에서 자랐습니다. 그의 아버지는 혁신적인 진화 생물학 교수로, 매주 일요일마다 여섯 명의 사람들과 번갈아가면 이중스윙을 쳤습니다. 그 여섯 명 가운데 세 명이 후에 노벨상을 수상한 사람들이었고, 하나는 필즈상을 수상했습니다.

안드류의 설명에 따르면, 이런 거인들은 어린이가 이해할 수 있는 언어로 자신들의 물리학, 수학, 그리고 분자 생물학 연구를 인내심을 가지고 설명해주었습니다. 그는 이로써 '진정한 지혜가 어떤 모습인지'를 몸소 깨달았고, 동시에 그의 어머니가 말한 대로, '지혜가 필요한 사람이 되어야만 한다'는 것을 이해했습니다.

나는 나중에 이를 통해 안드류의 가장 핵심적인 특성 중 하나가 무엇인지에 대해 서서히 깨닫게 되었습니다. 그는 그의 반항적인 야망, 참으로 해결해야 할 문제에 대한 본능적인 열망과 함께, 만난 가장 뛰어난 사람들이 종종 특별히 친절하다고 깊은 믿음을 가지고 있습니다.

이러한 신념은 그의 팀이 어떻게 함께 모이고 매우 어려운 일을 완수하는지를 형성했습니다. Cerebras가 초창기에 고용한 30명의 사람은 모두 그와 함께 일한 경력이 있었으며, 그 중 일부는 1996년부터 그를 따르고 있습니다. 현재 Cerebras에는 약 700명의 직원이 있으며, 그 중 약 100명은 그를 따라 다니면서 여러 회사를 옮겼습니다.

2022년 8월, 컴퓨터 역사 박물관에서 Cerebras 설립 팀. 왼쪽부터 오른쪽으로: Sean Lie, Gary Lauterbach, Michael James, JP Fricker 및 Andrew Feldman.

중요한 점은, 선량함과 경쟁심은 상반됨이 아닙니다. Andrew는 승리에 대해 극도로 열망합니다. 그는 자신이 골리앗과 맞서 싸우고 있는 직업판 다윗이라고 말하는 것을 좋아합니다. 골리앗은 움직임이 느리며 항상 정면 공격을 경계하고 있는데, 이는 다른 모든 전략에 공간을 남기게 합니다. 다윗의 강점은, 골리앗이 나타날 수 없는 방식과 위치에서 나타나는 데 있습니다.

SeaMicro 시절에 Andrew는 일본의 최대 유통 파트너인 NetOne과 함께 일했습니다. NetOne의 주요 공급업체는 Cisco이며, Cisco는 사설 비행기와 요트로 협력 파트너를 접대하며, 그 자산이 팔로알토의 대부분의 집보다 높습니다. Andrew의 예산은 훨씬 소박했기 때문에, 그는 NetOne CEO를 집 뒷마당에서 바베큐 파티에 초대했습니다. 나중에 그 CEO는 몇십 년 동안 Cisco와 거래를 해왔지만 아무도 자신을 집으로 초대한 적이 없다고 말했습니다. 이 작은 것 같지만 심층적인 사람 감성이 묻어나는 행동—골리앗이 결코 할 수 없는 행동—은 그들 사이의 관계를 더욱 견고하게 만들었습니다.

첫 번째 텀 시트부터 IPO까지

오늘 아침, Andrew가 나스닥에서 개장 종을 울렸습니다. 저는 그 옆에 서 있었습니다. 모든 것이 우리의 250 Middlefield 사무실에서 시작된 것으로부터 10년이 흘렀으며, 2600마일이 떨어진 곳입니다.

오늘, 아직도 Andrew가 당시 했던 것을 하는 드문 창업자들이 있습니다: 새벽 3시에도 보드에 그림을 그리며, 해결되지 않은 기술적인 문제와 씨름합니다. 그들은 동일하게 항복하지 않음의 강한 의지를 가지고 있으며, 반항 정신이 가득한 마음을 품고 있습니다. 그들은 정말로 어깨를 나란히 하고 싸우려는 진정으로 원하는 동료를 찾고 있습니다: 첫 번째 프로토타입이 전원 공급이 되지 않을 때, 문제 해결에 함께 뛰어들 준비가 되어 있고, 그 프로젝트가 마침내 실행될 때까지 계속 남아 있을 것입니다.

이것이 내가 지지하고 싶어하는 창업가입니다: 그들은 해결할 가치가 있는 문제를 선택하고, 현재 상황보다 1000배 더 나은 해결책을 상상하며, 불가피한 도전 속에서 계속 발전시키고 최종적으로 굳건하게 이끌어 나갑니다.

Andrew, Gary, Sean, Michael 및 JP와 같은 창업가들에 대해, 나는 토요일 오후에 뒷마당 울타리를 넘어서, 직접 term sheet을 그들에게 전달하고 싶습니다.

[원문 링크]

BlockBeats 공식 커뮤니티에 참여하세요:

Telegram 구독 그룹：https://t.me/theblockbeats

Telegram 토론 그룹：https://t.me/BlockBeats_App

Twitter 공식 계정：https://twitter.com/BlockBeatsAsia