Nvidia pone en producción Groq 3 LPX para acelerar la inferencia de IA

Imagen: NvidiaNvidia anunció la entrada en producción de su sistema a escala de rack Groq 3 LPX basado en su nueva arquitectura Vera Rubin,mediante lo que la compañía avanza en su estrategia de acelerar la instalación de fábricas de Inteligencia Artificial (IA) para IA Generativa y tareas agénticas en múltiples industrias.

El nuevo sistema en rack anunciado por Nvidia estaría enfocado principalmente en áreas de inferencia,el campo encargado de obtener respuestas de la IA o de gestionar agentes para múltiples tareas.

Nvidia domina buena parte del mercado de cómputo para entrenamiento de IA,por lo que este nuevo sistema buscaría mantener la posición competitiva de la empresa conforme se incrementa la demanda de cómputo para inferencia.

El mayor reto en esta etapa es la alta y constante generación de tokens –unidad de información manejada por los modelos de IA–,con ventanas de contexto más grandes,por lo que uno de los objetivos de Nvidia ha sido también mejorar el costo total de propiedad sobre la infraestructura a escala para cargas de trabajo de IA. Es decir,entregar el mayor número de tokens al menor precio posible.

La empresa aseguró que en un análisis comparativo basado en Gemma 4 31B,un modelo agente de código abierto,el nuevo sistema entregó 3,400 tokens de salida por segundo para casos de uso de contexto largo de 100,000 tokens críticos para sistemas de agentes,cuatro veces más rápido que la plataforma alternativa más cercana. 

Además,la compañía de chips destacó que importantes clientes están adoptando la plataforma para sus servicios de IA,tales como SpaceXAI con Vera CPU para IA Agéntica; CoreWeave para la producción de Spectrum-X Multiplane,que conecta racks Nvidia Vera Rubin para proporcionar redes de IA planas,sin pérdidas y de gran ancho de banda; mientras que Nebius es la primera Nube de IA que adopta Nvidia Groq 3 LPX.

Diseñado conjuntamente con la plataforma Vera Rubin NVL72,Nvidia Groq 3 LPX ayuda a las fábricas de IA a generar tokens con la menor latencia posible para cargas de trabajo de IA de agentes,según afirmó la compañía.

Probamos la NVIDIA GeForce RTX 5070 Ti en Cyberpunk 2077 para descubrir cuánto puede mejorar realmente la experiencia

El sistema buscaría atender el desafío de latencia de decodificación,el cual surge cuando los agentes de IA razonan,utilizan herramientas e interactúan con otros sistemas,lo que puede provocar serios retrasos a lo largo de complejas cadenas de trabajo.

Para mantener a los agentes operativos al ritmo que esperan los usuarios,Nvidia Groq 3 LPX amplía la plataforma Vera Rubin NVL72 con una aceleración especializada para la generación de tokens.

Las GPU Nvidia Rubin gestionan el procesamiento de contexto a gran escala,mientras que las LPX aceleran las cargas de trabajo de decodificación sensibles a la latencia. El resultado es una generación de tokens más rápida y predecible, lo que ayuda a las fábricas de IA a ofrecer un razonamiento con gran capacidad de respuesta,interacciones entre agentes más fluidas y una mayor eficiencia de la infraestructura.