OpenAI publica los primeros resultados de benchmark de su chip de inferencia Jalapeño
El primer chip de inferencia propio de OpenAI, desarrollado con Broadcom, mostró hasta 1.9x más rendimiento por vatio y hasta 4.1x menor latencia que sistemas comparables en cargas interactivas.
OpenAI difundió los primeros números de Jalapeño, su chip de inferencia diseñado junto a Broadcom y anunciado por primera vez en octubre pasado. Al probarlo con tres modelos abiertos (GPT-OSS 120B, DeepSeek R1 y Kimi K2.5 1T), la compañía reporta entre 1.5x y 1.9x más rendimiento pico de inferencia por kilovatio y entre 1.7x y 3.6x menor latencia de extremo a extremo frente a los sistemas de comparación. En cargas interactivas —el tráfico de baja latencia que representa la mayoría del uso real de ChatGPT— la ventaja de velocidad de respuesta sube a entre 2.1x y 4.1x.
OpenAI destaca que Jalapeño logra más rendimiento y menor latencia con una sola arquitectura, un balance que el hardware existente suele resolver sacrificando uno de los dos factores. La compañía dice que, para bloques seleccionados de atención y de mixture-of-experts en GPT-OSS, implementaciones generadas por sus propios modelos de IA corrieron entre 1.5x y 1.8x más rápido que el código optimizado a mano por humanos.
OpenAI planea empezar a desplegar Jalapeño dentro de su infraestructura de cómputo antes de fin de año, lo que —de cumplirse los números anunciados— podría traducirse en menores costos y latencias para las APIs y productos que corren sobre esa infraestructura.