Chips y hardware
OpenAI presenta Jalapeño, su primer chip de inferencia personalizado
OpenAI ha presentado Jalapeño, su primer procesador de inferencia personalizado desarrollado con Broadcom, con el objetivo de mejorar el rendimiento por vatio y reducir la dependencia del hardware de Nvidia.
El miércoles, OpenAI presentó Jalapeño, su primer procesador de inferencia personalizado. En el contexto de la inteligencia artificial (IA), un procesador de inferencia es un chip diseñado específicamente para ejecutar modelos de IA preentrenados. Desarrollado en colaboración con Broadcom, que participó en el diseño y la fabricación del chip, el nuevo procesador de inferencia personalizado aún se encuentra en fase de pruebas. Sin embargo, OpenAI informa que los primeros resultados muestran un rendimiento por vatio significativamente mejor que el de las alternativas actuales más avanzadas.
El desarrollo de Jalapeño ha sido objeto de rumores durante mucho tiempo como una forma de que OpenAI reduzca su dependencia de Nvidia, el proveedor actual de las GPU del que OpenAI busca reducir su dependencia. Al diseñar su propio silicio, OpenAI sigue los pasos de otras empresas tecnológicas como Google y Amazon, que han construido chips personalizados para la aceleración de IA. Estos chips personalizados, a menudo llamados aceleradores de IA, son silicio diseñado específicamente para acelerar las cargas de trabajo de aprendizaje automático. Aunque el nuevo chip se centra en la inferencia, las tareas de alto rendimiento como el preentrenamiento —la fase inicial e intensiva del entrenamiento de modelos de IA— probablemente seguirán dependiendo del hardware de Nvidia.
La asociación con Broadcom se anunció oficialmente en octubre. Poco después, el presidente de OpenAI, Greg Brockman, quien explicó el enfoque de desarrollo del chip, señaló que la empresa tiene un conocimiento profundo de la carga de trabajo. Brockman declaró que han estado buscando cargas de trabajo específicas que están desatendidas y preguntándose cómo pueden construir algo que sea capaz de acelerar lo que es posible. La empresa ya está creando productos agénticos como Codex, un producto agéntico desarrollado por OpenAI, y considera que el silicio personalizado es parte de una estrategia más amplia para controlar toda su infraestructura. Según OpenAI, la empresa no solo está desarrollando modelos de frontera o creando productos sobre ellos, sino que también está diseñando la infraestructura subyacente. Esta infraestructura incluye la arquitectura del chip, los núcleos (kernels), los sistemas de memoria, las redes, la planificación, los sistemas de despliegue y la experiencia del producto. “Debido a que OpenAI opera en toda la pila tecnológica, cada capa puede optimizarse en torno al mismo objetivo: hacer que sus modelos sean más rápidos, más confiables y más asequibles para los usuarios”, afirmó la empresa.
Por qué importa
Desarrollar silicio personalizado permite a OpenAI optimizar su infraestructura desde el nivel del chip, lo que podría reducir los costos de inferencia y disminuir su dependencia de las GPU de Nvidia.