InfraestructuraAnuncio de la empresa
Cerebras explica cómo sirve modelos de un billón de parámetros a 1.000 tokens/s
Cerebras ha publicado un desglose de cómo sirve Kimi K3, un modelo abierto de unos 3 billones de parámetros, en sus chips wafer-scale: cuantización de pesos a 4 bits, una capa densa por oblea de 44 GB reservando memoria para la caché de claves, y decenas de obleas encadenadas como pipeline. El resultado que afirma: 1.000-2.000 tokens por segundo por solicitud.