El jueves, la plataforma de IA Clarifes anunció un nuevo motor de razonamiento que afirma que hará que ejecutar modelos de IA el doble de rápido y 40% menos costoso. Diseñado para ser adaptable a una variedad de modelos y hosts en la nube, el sistema emplea una gama de optimizaciones para obtener más potencia de inferencia del mismo hardware.
“Es una variedad de diferentes tipos de optimizaciones, hasta los núcleos CUDA a técnicas avanzadas de decodificación especulativa”, dijo el CEO Matthew Zeiler. “Puedes sacar más de las mismas cartas, básicamente”.
Los resultados fueron verificados por un cadena de pruebas de referencia por el análisis artificial de la empresa de terceros, que registró los mejores registros de la industria tanto para el rendimiento como para la latencia.
El proceso se centra específicamente en la inferencia, las demandas informáticas de operar un modelo de IA que ya ha sido capacitado. Esa carga informática se ha vuelto particularmente intensa con el aumento de los modelos de agente y de razonamiento, que requieren múltiples pasos en respuesta a un solo comando.
Lanzado por primera vez como un servicio de visión por computadora, Clarifai se ha centrado cada vez más en calcular la orquestación, ya que el auge de la IA ha aumentado drásticamente la demanda tanto de GPU como para los centros de datos que los albergan. La compañía anunció por primera vez su plataforma de cómputo en AWS Re: Invent en diciembre, pero el nuevo motor de razonamiento es el primer producto específicamente diseñado para modelos de agente de varios pasos.
El producto se produce en medio de una intensa presión sobre la infraestructura de IA, que ha estimulado una serie de acuerdos de mil millones de dólares. Operai ha presentado planes para tanto como $ 1 billón en el gasto del centro de datos nuevoproyectando una demanda futura casi ilimitada de cómputo. Pero si bien la construcción de hardware ha sido intensa, el CEO de Clarifai cree que hay más por hacer para optimizar la infraestructura que ya tenemos.
“Hay trucos de software que llevan un buen modelo como este, como el motor de razonamiento Clarifai”, dice Zeiler, “pero también hay mejoras de algoritmo que pueden ayudar a combatir la necesidad de centros de datos de Gigawatt. Y no creo que estemos al final de las innovaciones de algoritmo”.
