Amazon Web Services anunció la disponibilidad general de los Amazon EC2 Trn3 UltraServers, su nueva infraestructura para entrenamiento e inferencia de inteligencia artificial, impulsada por el chip Trainium3 fabricado en proceso de 3 nm. La propuesta busca acelerar el desarrollo de modelos de gran escala y reducir significativamente los costos operativos.
Los Trainium3 UltraServers ofrecen hasta 4,4 veces más rendimiento de cómputo, 4 veces mayor eficiencia energética y casi 4 veces más ancho de banda de memoria frente a la generación anterior. Cada sistema puede integrar hasta 144 chips Trainium3, alcanzando 362 FP8 PFLOPs, con una latencia hasta 4 veces menor, lo que permite entrenar modelos más grandes en menos tiempo y servir inferencia a escala con mayor eficiencia.
Para eliminar los cuellos de botella de comunicación, AWS diseñó una arquitectura de red específica que incluye NeuronSwitch-v1, con el doble de ancho de banda interno, y una Neuron Fabric mejorada que reduce la latencia entre chips a menos de 10 microsegundos. Esta integración resulta clave para cargas de trabajo avanzadas como modelos de mezcla de expertos, sistemas agénticos y aplicaciones de IA en tiempo real.
Los primeros resultados ya son visibles. Clientes como Anthropic, Karakuri, Metagenomics, Neto.ai, Ricoh y Splashmusic reportan reducciones de hasta 50% en costos de entrenamiento e inferencia, mientras que Decart logra video generativo en tiempo real con una inferencia 4 veces más rápida a la mitad del costo de las GPU. Además, Amazon Bedrock ya ejecuta cargas de trabajo de producción sobre Trainium3.
Con los EC2 UltraClusters 3.0, AWS puede escalar a miles de UltraServers con hasta 1 millón de chips Trainium, habilitando el entrenamiento de modelos fundacionales y la inferencia para millones de usuarios concurrentes. AWS también confirmó que ya trabaja en Trainium4, que promete un salto adicional en rendimiento y eficiencia.
