NVIDIA ha anunciado DLSS 3.5, la última versión de su red neuronal de IA que cambia el juego y mejora continuamente. NVIDIA DLSS 3.5 introduce una nueva función denominada Ray Reconstruction, que mejora la calidad de imagen del trazado de rayos en todas las GPU GeForce RTX sustituyendo los eliminadores de ruido (Denoisers) manuales por una red de IA entrenada por un superordenador NVIDIA que genera píxeles de mayor calidad entre los rayos muestreados.
Para apreciar los beneficios de Ray Reconstruction, veamos cómo funciona el trazado de rayos (Ray tracing).
Primero, un motor de juego genera la geometría y los materiales de una escena, todos los cuales tienen atributos físicos que afectan su apariencia y cómo la luz interactúa con ellos. Luego se toma una muestra de rayos desde el punto de vista de la cámara, lo que determina las propiedades de las fuentes de luz en una escena y cómo reacciona la luz cuando golpea los materiales. Por ejemplo, si los rayos inciden en un espejo, se generan reflejos.
Sin embargo, disparar rayos para cada píxel de la pantalla es demasiado exigente desde el punto de vista computacional, incluso para los renderizadores fuera de línea que calculan escenas en el transcurso de varios minutos u horas. Por lo tanto, se deben utilizar muestras de rayos: éstas disparan un puñado de rayos en varios puntos de la escena para obtener una muestra representativa de la iluminación, la reflectividad y las sombras de la escena.
El resultado es una imagen ruidosa, moteada y con espacios, lo suficientemente buena como para determinar cómo debería verse la escena cuando se aplica el ray tracing.
Para completar los píxeles faltantes que no tenían ray tracing, los eliminadores de ruido ajustados a mano utilizan dos métodos diferentes: acumular temporalmente píxeles en múltiples fotogramas e interpolarlos espacialmente para combinar los píxeles vecinos. A través de este proceso, la salida bruta ruidosa se convierte en una imagen con ray tracing.
Estos eliminadores de ruido se ajustan y procesan manualmente para cada tipo de iluminación con ray tracing presente en una escena, lo que agrega complejidad y costo al proceso de desarrollo y reduce la velocidad de cuadros en juegos con alto ray tracing donde múltiples eliminadores de ruido operan simultáneamente para maximizar la calidad de la imagen.
Cada eliminador de ruido ajustado a mano acumula píxeles de múltiples fotogramas para aumentar los detalles, de hecho, robando rayos del pasado, pero a riesgo de introducir imágenes fantasmas, eliminar efectos dinámicos y reducir la calidad de otros. También interpola píxeles vecinos y combina esta información, pero a riesgo de mezclar demasiada información detallada o no mezclar lo suficiente y crear efectos de iluminación no uniformes.
La ampliación es la última etapa de la tubería de iluminación con ray tracing y es clave para experimentar los juegos más detallados y exigentes a velocidades de cuadro rápidas. Pero con la eliminación de ruido o la disminución de la calidad de los efectos, las limitaciones de los eliminadores de ruido ajustados a mano se amplifican, eliminando los detalles finos (conocidos como información de alta frecuencia) que los escaladores utilizan para generar una imagen nítida y limpia.
DLSS 3.5 y Ray Reconstruction
Ray Reconstruction, es parte de un renderizador neuronal mejorado impulsado por IA que mejora la calidad de imagen con ray tracing para todas las GPUs GeForce RTX al reemplazar los eliminadores de ruido ajustados a mano con una red de IA entrenada por supercomputadora NVIDIA que genera píxeles de mayor calidad en entre rayos muestreados.
Entrenado con 5 veces más datos que DLSS 3, DLSS 3.5 reconoce diferentes efectos de ray tracing para tomar decisiones más inteligentes sobre el uso de datos temporales y espaciales y retener información de alta frecuencia para una mejora de calidad superior.
Fue entrenado utilizando imágenes renderizadas fuera de línea, que requieren mucha más potencia computacional de la que se puede entregar durante un juego en tiempo real, reconoce patrones de iluminación a partir de datos de entrenamiento, como los de iluminación global u oclusión ambiental, y los recrea en el juego como juegas. Los resultados son superiores al uso de eliminadores de ruido ajustados manualmente.
Por ejemplo, en Portal con RTX, con DLSS desactivado, el eliminador de ruido tiene problemas con la interpolación espacial, donde no combina suficientes píxeles, lo que crea un efecto de manchas. Además, no acumula suficientes píxeles buenos de fotogramas anteriores y el resultado es un efecto de ebullición en la luz. Con DLSS 3.5, reconoce ciertos patrones asociados con los reflejos y mantiene la imagen estable, acumulando píxeles precisos mientras combina los píxeles vecinos para generar reflejos de alta calidad.
En la escena de Cyberpunk 2077, la iluminación inexacta de los faros que rodea el automóvil es el resultado de que el denoiser ajustado a mano genera efectos de iluminación inexactos de fotogramas anteriores. DLSS 3.5 genera iluminación con precisión, por lo que puedes distinguir el haz de los faros y ver la luz reflejada en la acera frente al automóvil.
Con DLSS 3.5, la red neuronal de IA puede reconocer una amplia variedad de escenas, produciendo imágenes de alta calidad durante la vista previa y antes de dedicar horas a un renderizado final.