초당 750토큰의 프론티어: 세레브라스 웨이퍼스케일이 GPT-5.6 Sol을 가속하는 법

01 · 초당 750토큰, 새로운 속도 기준의 등장
02 · GPU 추론의 병목: 연산력이 아닌 데이터 이동
03 · 웨이퍼 한 장을 통째로 칩으로: 세레브라스의 해법
04 · 숫자가 증명한 성능과 여전히 남은 검증
05 · 남겨진 질문들
06 · 출처

초당 750토큰, 새로운 속도 기준의 등장

오픈AI와 세레브라스(Cerebras)가 8월 13일 울트라패스트(Ultrafast) 모드를 전격 공개했다. 오픈AI의 최신 모델 GPT-5.6 Sol을 세레브라스 하드웨어에서 구동해 초당 최대 750개의 출력 토큰을 뿜어내는 새로운 서비스 티어다 ¹ ². 이는 표준 처리 방식 대비 최대 14배 빠른 속도로, 우선 오픈AI API를 통해 일부 고객 대상의 한정 프리뷰 형태로 제공된다 ². 세레브라스 측은 성능이나 품질 저하 없이 이 같은 속도를 구현했다고 강조한다 ¹. 오픈AI는 “실시간 속도를 얻으려면 더 작거나 특화된 모델을 골라야 했던 기존 공식을 깨고, 초당 더 유용한 작업을 처리한다는 새로운 방향성을 제시한다”고 밝혔다 ².

GPU 추론의 병목: 연산력이 아닌 데이터 이동

대형 언어 모델의 추론 속도를 갉아먹는 주원인은 순수 연산 능력이 아니라 데이터 이동에 있다. 기존 GPU 환경에서는 거대한 모델을 여러 칩에 쪼개어 올려야 하므로, 매 응답을 생성할 때마다 모델 가중치가 온칩 메모리와 오프칩 저장 공간 사이를 쉴 새 없이 오간다. 바로 이 데이터 전송 과정에서 극심한 메모리 대역폭 병목이 발생한다 ¹. 모델 체급이 커질수록 지능은 높아지지만 연산 및 데이터 이동 비용 역시 눈덩이처럼 불어나 응답이 지연되고, 결국 사용자는 하염없이 기다리거나 품질을 희생하는 양자택일을 강요받아 왔다 ¹. 세레브라스는 이 비효율적인 데이터 이동 자체를 원천 차단하는 정반대의 접근법을 택했다 ¹.

웨이퍼 한 장을 통째로 칩으로: 세레브라스의 해법

세레브라스의 웨이퍼스케일 엔진(Wafer-Scale Engine)은 실리콘 웨이퍼를 개별 다이로 절단하지 않고 통째로 하나의 거대한 단일 칩으로 활용하는 독창적인 아키텍처다 ³. 웨이퍼당 44GB에 달하는 SRAM을 내장해 모델 가중치를 칩 내부에 상시 유지하며, 토큰은 웨이퍼 간에 파이프라인으로 엮인 모델 레이어를 막힘없이 통과한다 ¹. 최신 3세대 제품인 WSE-3는 46,225mm² 면적에 4조 개의 트랜지스터와 90만 개의 AI 코어를 집적해 초당 21페타바이트라는 압도적인 온칩 메모리 대역폭을 자랑한다 ³ ⁵. 이는 엔비디아 B200과 비교할 때 트랜지스터 수는 19배, 연산 성능은 28배에 이르는 수치다 ³. 오픈소스 모델을 기준으로 기존 GPU 시스템보다 최대 15배 빠른 추론 속도를 기록했다는 보고도 있다 ⁴.

양사의 협력은 결코 우연히 성사된 결과물이 아니다. 오픈AI는 올해 1월 세레브라스와 750MW 규모의 초저지연 추론 인프라 공급 계약을 맺었으며, 세레브라스는 5월 나스닥 상장을 통해 55억 달러를 조달하며 올해 최대 규모의 IPO를 달성했다 ⁴ ⁶. 세레브라스는 이러한 아키텍처가 모델 규모 확장에 따라 유연하게 확장되므로, 차세대 프론티어 모델에서도 지금의 속도 우위를 고스란히 이어갈 수 있다고 자신한다 ¹.

숫자가 증명한 성능과 여전히 남은 검증

세레브라스가 제시한 벤치마크 수치는 인상적이다. 박사급 전문 지식을 요구하는 2,500문항 규모의 벤치마크 ’Humanity’s Last Exam’에서 GPT-5.6 Sol Ultrafast는 전 문항을 11시간 11분 만에 완주한 반면, 동일 난도 조건의 클로드 페이블 5(Claude Fable 5)는 78시간 27분이 걸려 약 7배의 격차를 보였다 ¹. Artificial Analysis 기준 평가에서도 페이블 5보다 11배, 오퍼스 4.8 Fast 모드보다 5배 빠른 출력 속도를 기록했다 ¹. 경제적 부가가치가 높은 지식 작업을 측정하는 GDP-Val 벤치마크에서는 품질 손실 없이 엔드투엔드 처리 시간이 5.6배 단축된 것으로 나타났다 ¹. 다만 이 측정 결과들은 세레브라스가 자체적으로 수행한 테스트(각각 7월 10일과 7월 31일)이며, 비교군 간의 측정 시점과 추론 설정에 차이가 있다는 점은 감안해야 한다 ¹. 아울러 세레브라스와 오픈AI 양사 모두 이번 성능 비교가 서드파티 벤치마크 또는 내부 테스트에 근거한 것이며, 실제 워크로드와 세부 설정, 모델에 따라 결과가 달라질 수 있다는 단서를 명시했다 ¹ ².

남겨진 질문들

이번 발표는 AI 추론 속도 경쟁이 단순한 소프트웨어·모델 최적화를 넘어 하드웨어 아키텍처의 근본적인 혁신으로 옮겨붙었음을 시사한다. AI 에이전트가 도구 호출과 병렬 세션을 쉴 새 없이 주고받는 워크로드가 일상화되면서, 응답 지연시간 그 자체가 곧 생산성의 최대 병목으로 떠올랐기 때문이다 ¹ ². 웨이퍼스케일 아키텍처는 이제 기존 GPU 클러스터와 궤를 달리하는 독자적인 설계 축으로 확고히 자리 잡았으며, 750MW에 달하는 대규모 인프라 계약은 이러한 베팅의 파급력을 여실히 증명한다 ⁴. 이제 관건은 명확하다. 프리뷰 단계에서 벤더가 발표한 수치가 독립적인 제3자 측정을 통해 입증될 수 있는지, 그리고 정식 서비스 전환 이후 실제 가용 용량과 가격 경쟁력 면에서 GPU 생태계를 넘어설 수 있는지가 Ultrafast의 진정한 성패를 가를 것이다.