En un movimiento que desafía directamente a Nvidia en los lucrativos mercados del entrenamiento y la inferencia de la IA, Intel anunció su largamente esperado nuevo acelerador de IA Intel Gaudi 3 en su evento Intel Vision. El nuevo acelerador ofrece mejoras significativas con respecto a la generación anterior del procesador Gaudi 3, prometiendo aportar una nueva competitividad al entrenamiento y la inferencia para LLM y modelos multimodales.
Gaudí 3
Gaudi 3 aumenta drásticamente las capacidades de cálculo de la IA, ofreciendo mejoras sustanciales respecto a Gaudi 2 y sus competidores, en particular en el procesamiento de los tipos de datos BF16, que son cruciales para las cargas de trabajo de la IA.
Fabricado con una tecnología de proceso de 5 nm, Gaudí 3 incorpora avances arquitectónicos significativos, incluyendo más TPC y MME. Esto proporciona la potencia de cálculo necesaria para el procesamiento paralelo de las operaciones de IA, reduciendo significativamente los tiempos de entrenamiento e inferencia de los modelos complejos de IA.
Gaudí 3 amplía sus capacidades de hardware con más Matrix Math Engines y Tensor Cores que su predecesor, Gaudí 2. En concreto, pasa de 2 a 4 MMEs y de 24 a 32 TPCs, reforzando su potencia de procesamiento para cargas de trabajo de IA.
El nuevo acelerador cuenta con un rendimiento de precisión FP8 de 1835 TFLOPS, lo que duplica el rendimiento de Gaudí 2. También mejora significativamente el rendimiento BF16, aunque no se revelaron las cifras específicas de rendimiento de esta mejora.
Cuenta con 128 GB de memoria HBMe2, que ofrece 3,7 TB/s de ancho de banda de memoria y 96 MB de RAM estática a bordo. Esta enorme capacidad de memoria y ancho de banda permite procesar grandes conjuntos de datos de forma eficiente, lo que resulta crucial para entrenar y ejecutar modelos de IA de gran tamaño.
Las redes de alta velocidad y baja latencia son fundamentales cuando se construyen clusters de aceleradores para resolver grandes tareas de entrenamiento. Mientras Nvidia construye sus aceleradores utilizando interconexiones patentadas como su NVLInk, Intel apuesta por las redes estándar basadas en Ethernet.
Gaudí 3 lo refleja, ya que cuenta con veinticuatro puertos Ethernet de 200 Gb, lo que mejora significativamente sus capacidades de red. Esto garantiza una conectividad del sistema escalable y flexible, lo que permite el escalado eficiente de los clústeres de computación de IA sin estar encerrado en tecnologías de red propietarias.
Rendimiento
El acelerador de IA Gaudí 3 de Intel muestra sólidas mejoras de rendimiento en varias áreas clave relevantes para las tareas de formación e inferencia de IA, en particular para los LLM y los modelos multimodales.
Intel proyecta que Gaudi 3 superará significativamente a productos de la competencia como H100 y H200 de Nvidia en velocidad de entrenamiento, rendimiento de inferencia y eficiencia energética para varios modelos parametrizados.
Intel también predice que Gaudí 3 ofrecerá un tiempo medio de formación un 50% más rápido y un rendimiento de inferencia y una eficiencia energética superiores a los de los principales competidores para varios modelos parametrizados. Esto incluye una mayor ventaja en el rendimiento de inferencia en secuencias de entrada y salida más largas.
Opinión de los analistas
El acelerador de IA Gaudi 3 de Intel es un movimiento estratégico de Intel para ganar una mayor posición en el mercado de aceleradores de IA, hambriento de oferta, desafiando directamente a Nvidia para hacer frente al floreciente demandado de soluciones avanzadas de cómputo de IA.
Intel creó una solución convincente, aportando mejoras sustanciales en el rendimiento con respecto a Gaudí 2 y ofreciendo una solución que supondrá un desafío para el mercado. El cómputo de IA 4x para BF16, el aumento de 1,5x en el ancho de banda de la memoria y las mejoras de 2x en el ancho de banda de la red posicionan a la Gaudí 3 como una potente solución para las necesidades de las aplicaciones de IA de próxima generación.
El énfasis de Intel en el software abierto basado en la comunidad y en la red Ethernet estándar del sector responde a las necesidades críticas del mercado en cuanto a flexibilidad y escalabilidad sin dependencia del proveedor. Este enfoque diferencia a Intel de Nvidia y se alinea con la tendencia más amplia de la industria hacia los estándares abiertos y la interoperabilidad.
Las asociaciones de Intel con Dell Technologies, HPE, Lenovo y Supermicro para el despliegue de Gaudí 3 suben la vara de Intel para el éxito. Si Intel puede suministrar los aceleradores al mercado en el plazo previsto y se cumplen las afirmaciones de rendimiento prometidas, entonces Intel está preparada para conseguir un crecimiento significativo en el mercado de los aceleradores. Lo mismo vale decir de AMD y su acelerador MI300x.
Gaudi 3 no se limita a la actual generación de aceleradores de IA, sino que también sienta las bases para la próxima generación de GPU de Intel, Falcon Shores. Al integrar las IP de Intel Gaudi e Intel Xe con una única interfaz de programación de GPU, se espera que Falcon Shores impulse las capacidades de Intel en IA y HPC.
El lanzamiento del acelerador de IA Gaudi 3 es un hito importante para Intel, que resalta sus avances tecnológicos, su posicionamiento estratégico en el mercado y su compromiso para responder a las necesidades cambiantes de la industria de la IA.
Al ofrecer mejoras sustanciales en el rendimiento, adoptar estándares abiertos y establecer asociaciones estratégicas con fabricantes de equipos originales, Intel está desafiando el status quo en el mercado de los aceleradores de IA y posicionándose como líder en la próxima oleada de infraestructuras de IA.
*Con información de Forbes US