Micron anunció el envío de los que define como los primeros módulos SOCAMM2 de 256 GB del mundo, una nueva generación de memoria orientada a infraestructuras de IA agéntica y cargas de trabajo de inferencia con grandes ventanas de contexto.
La compañía elevó la capacidad por módulo desde los 192 GB previos hasta 256 GB, marcando un salto relevante en densidad y eficiencia energética frente a soluciones tradicionales de memoria para servidores. SOCAMM2 apunta a optimizar el uso de KV-cache y reducir la latencia en tareas de inferencia prolongadas.
Con esta nueva iteración, Micron incrementó la capacidad de cada die monolítico LPDRAM a 32 GB. En configuraciones de 8 canales por CPU, esto permite alcanzar hasta 2 TB de LPDRAM, facilitando el procesamiento de contextos de hasta 500K tokens en servidores de IA.
Según datos de la compañía, el tiempo hasta el primer token (TTFT) en inferencias de largo contexto mejora hasta 2,3 veces, un avance clave para aplicaciones agénticas donde la CPU cumple un rol central.
SOCAMM2 fue desarrollado en colaboración con NVIDIA, y se espera que plataformas como NVIDIA Vera Rubin adopten este estándar en sus próximas configuraciones de infraestructura.
Micron confirmó que ya envió muestras de los módulos SOCAMM2 de 256 GB a clientes y que la solución será exhibida durante GTC 2026.
