Ai2 libera Olmo-core 3, su infraestructura abierta para entrenar modelos MoE de billón de parámetros

Ai2 ha publicado Olmo-core 3, una revisión mayor de su framework abierto de entrenamiento de LLM con un sistema mixture-of-experts rediseñado para escalar hasta el rango del billón de parámetros manteniendo la eficiencia computacional.

Qué ha ocurrido

El 1 de octubre Ai2 publicó Olmo-core 3, la evolución de su familia de infraestructura abierta de entrenamiento. La pieza central es un sistema de entrenamiento mixture-of-experts (MoE) rediseñado: en lugar de reunir y redistribuir pesos de expertos en cada paso (enfoque FSDP que usaba Olmo 3), mantiene los expertos residentes en la GPU y enruta los datos hacia ellos, sobre una base de parallelismo de datos distribuido (DDP). El instituto reporta en pruebas propias, con 8 GPU NVIDIA B300, 52.000 tokens/s por GPU para un MoE de 47.000 millones de parámetros —unas 2,7 veces el rendimiento de su stack anterior— y estabilidad demostrada hasta 1,2 billones de parámetros totales. El lanzamiento incluye informe técnico, código (Apache-2.0, instalable como ai2-olmo-core) y demo interactiva.

Por qué importa

El entrenamiento MoE abierto y reproducible a escala billonaria era terreno casi exclusivo de laboratorio cerrado y stacks propietarios. Que el segundo laboratorio abierto de referencia publique el sistema completo —pesos del proceso, no del modelo: código, recetas y datos de entrenamiento— baja el listón para que grupos académicos y startups entrenen MoE propios y adapten enrutado y paralelismo a su hardware. Ai2 confirma además que el próximo Olmo será MoE, su hasta ahora más capaz, con su dataset más grande y ventana de contexto más larga: la señal de hacia dónde se mueve el extremo abierto del sector.

Qué cambió

AntesOlmo 3 entrenaba denso con FSDP; los MoE abiertos a escala rara vez publicaban su stack completo.

AhoraUn sistema MoE abierto, DDP con expertos residentes en GPU, probado por Ai2 hasta 1,2 B de parámetros.

ConsecuenciaEntrenar MoE de gran escala deja de depender de infraestructura propietaria y el próximo Olmo ya nace sobre esta base.

Qué sabemos · qué no

Confirmado

• Release del 1-10-2026 con tech report, código en GitHub y demo pública.
• Arquitectura DDP con expertos residentes en GPU; licencia Apache-2.0.
• Cifras de rendimiento publicadas por Ai2: ~2,7x sobre su stack FSDP previo y benchmarking hasta 1,2 B de parámetros totales.
• El próximo Olmo usará esta base y será MoE.
• Publicación el 1-10-2026 con informe técnico, código Apache-2.0 y demo interactiva.
• Cambio de FSDP a DDP con expertos residentes en GPU y enrutado de datos hacia ellos.
• Métricas propias: ~52.000 tokens/s/GPU en un MoE de 47 B con 8 B300, ~2,7x sobre el stack previo.
• El próximo Olmo será MoE y usará Olmo-core 3 como base.

Todavía no

• Validación independiente del factor de mejora 2,7x en hardware y cargas reales de terceros.
• Fecha de publicación ni escala del próximo Olmo MoE.
• Consumo energético y coste real por token-entrenado frente a stacks propietarios.
• Réplicas independientes de las métricas de rendimiento.
• Fecha y tamaño del próximo Olmo MoE.
• Coste energético comparado con stacks propietarios.

Para ir al grano técnico

• → repo
• → paper

Qué vigilamos ahora

Primeras reproducciones externas del benchmark en clusters académicos, anuncios sobre el próximo Olmo y adopción del stack por proyectos abiertos fuera de Ai2.

Réplicas externas del benchmark, anuncio del próximo Olmo MoE y primeros proyectos ajenos entrenando sobre el stack.