Cerebras explica cómo sirve modelos de un billón de parámetros a 1.000 tokens/s
Un desglose técnico del reparto de Kimi K3 de 3 billones de parámetros entre chips wafer-scale: cuantización a 4 bits, una capa densa por oblea y latencia por «pipeline»
Cerebras ha publicado un desglose de cómo sirve Kimi K3, un modelo abierto de unos 3 billones de parámetros, en sus chips wafer-scale: cuantización de pesos a 4 bits, una capa densa por oblea de 44 GB reservando memoria para la caché de claves, y decenas de obleas encadenadas como pipeline. El resultado que afirma: 1.000-2.000 tokens por segundo por solicitud.
Qué ha publicado
El blog de Cerebras del 22 de octubre desmonta una objeción frecuente: una oblea WSE-3T tiene 44 GB de memoria en chip, y un modelo frontier de 3 billones de parámetros necesita terabytes solo en pesos.
La solución descrita es aritmética de repartición. Con pesos a 4 bits (como la implementación publicada en Hugging Face) y caché de claves y valores a 8 bits, los 1,5 terabytes crudos se dividen entre las 93 capas del modelo: unas 16 GB por capa. Las 24 capas densas (atención completa) ocupan oblea y media —cada una necesita sitio extra para la caché de todas las peticiones activas—; las 69 capas de atención lineal no guardan claves y valores por token, así que caben dos por oblea.
Cómo funciona la latencia
Con ese reparto, el modelo completo entra en memoria on-chip y las obleas se encadenan como un pipeline: cada token avanza capa por capa, y lo que limita la latencia no es el tamaño del modelo sino el paso por etapa.
La empresa afirma que esto sostiene 1.000-2.000 tokens por segundo de generación por solicitud, y que la misma aritmética escala a modelos aún mayores: más obleas, más memoria y cómputo.
Cerebras remata con una sugerencia de métrica para comparar plataformas: tokens por segundo por megavatio a igualdad de velocidad de generación, en lugar de rendimiento bruto.
Por qué importa
Si eliges plataforma de inferencia para agentes, el desglose concreta qué hay detrás de la velocidad de Cerebras —memoria en chip y pipeline por capas— y aporta la métrica de comparación que falta en las fichas comerciales: coste energético por token útil a latencia fija.
Qué cambió
Qué sabemos · qué no
Confirmado
- El blog describe los parámetros de diseño: WSE-3T con 44 GB on-chip, Kimi K3 con 69 capas de atención lineal y 24 densas, cuantización de pesos a 4 bits y caché KV a 8 bits.
- La aritmética del reparto es verificable a partir de esos números: 3T × 4 bits = 1,5 TB; ~16 GB por capa; una capa densa por oblea con sitio para la caché KV.
- Cerebras cita para Kimi K3 un 88,3% en Terminal-Bench 2.1 frente al 88,8% de GPT-5.6 Sol, y 91,2% en BrowseComp frente a 90,4%.
Todavía no
- Los benchmarks citados son los que publica el propio fabricante del modelo y Cerebras como contexto; no hay contraste independiente de esa comparación con GPT-5.6 Sol en nuestro poder.
- Las cifras de 1.000-2.000 tokens/s son afirmación interna de Cerebras sobre su plataforma; no hay medición independiente de terceros en la publicación.
- El número exacto de obleas necesarias por despliegue y su coste no aparecen publicados.
- El blog usa K3 «como ejemplo ilustrativo»; no es necesariamente la configuración contratada por cada cliente.
La misma claridad, en tu correo.
IA HOY, gratis de lunes a viernes, con fuentes y contexto.
Para ir al grano técnico
- → post
Qué vigilamos ahora
Artificial Analysis o similar publicando tokens/s y coste de K3 en Cerebras frente a servidores GPU, y si Moonshot respalda las cifras cruzadas con GPT-5.6 Sol.
Fuentes
Naturaleza de la afirmación principal: Anuncio de la empresa. Información respaldada por fuentes, con aspectos pendientes de contraste.
- Cerebras — How we deploy trillion-parameter frontier models on Cerebras · nivel 1 · primaria · consultada 25 oct 2026
Más sobre
IA HOY · de lunes a viernes
La misma claridad,
cada día, en tu correo.
Una noticia principal, una selección breve y el contexto o las dudas que conviene seguir. Con fuentes y sin rellenar cupos.
Para seguir leyendo
Infraestructura ·
Amazon estrena TorchNeuron para correr PyTorch en sus chips Trainium sin reescribir código
Infraestructura ·
Microsoft anuncia Maia 300: su chip de IA propio será el sistema «principal» de inferencia en 2027
Modelos ·
Block presenta Dessa, un modelo de voz que habla y escucha a la vez
Economía y empleo ·
Tenstorrent cierra una ronda de 1.500 millones y llega a 6.200 de valoración