Construí castillos de malvaviscos en el nuevo generador mundial de inteligencia artificial de Google

Google DeepMind está abriendo el acceso a Project Genie, su herramienta de inteligencia artificial para crear mundos de juegos interactivos a partir de mensajes de texto o imágenes.

A partir del jueves, los suscriptores de Google AI Ultra en los EE. UU. pueden jugar con el prototipo de investigación experimental, que funciona con una combinación del último modelo mundial de Google, Genie 3, su modelo de generación de imágenes Nano Banana Pro y Gemini.

Cinco meses después de la vista previa de la investigación de Genie 3, la medida es parte de un impulso más amplio para recopilar comentarios de los usuarios y datos de entrenamiento mientras DeepMind se apresura a desarrollar modelos mundiales más capaces.

Los modelos mundiales son sistemas de inteligencia artificial que generan una representación interna de un entorno y pueden usarse para predecir resultados futuros y planificar acciones. Muchos líderes de IA, incluidos los de DeepMind, creen que los modelos mundiales son un paso crucial para lograr la inteligencia artificial general (AGI). Pero a corto plazo, laboratorios como DeepMind imaginan un plan de comercialización que comienza con videojuegos y otras formas de entretenimiento y se expande hacia el entrenamiento de agentes encarnados (también conocidos como robots) en simulación.

El lanzamiento de Project Genie por parte de DeepMind se produce cuando la carrera por los modelos mundiales está comenzando a calentarse. World Labs de Fei-Fei Li lanzó a finales del año pasado su primer producto comercial llamado Marble. Runway, la startup de generación de videos con IA, también lanzó recientemente un modelo mundial. Y la startup AMI Labs del ex científico jefe de Meta, Yann LeCun, también se centrará en el desarrollo de modelos mundiales.

“Creo que es emocionante estar en un lugar donde podemos tener acceso a más personas y darnos su opinión”, dijo a TechCrunch Shlomi Fruchter, directora de investigación de DeepMind, a través de una entrevista en video, sonriendo de oreja a oreja con evidente entusiasmo por el lanzamiento de Project Genie.

Los investigadores de DeepMind con los que habló TechCrunch fueron sinceros sobre la naturaleza experimental de la herramienta. Puede ser inconsistente, a veces genera mundos jugables de manera impresionante, otras veces produce resultados desconcertantes que no dan en el blanco. Así es como funciona.

Comienzas con un “bosquejo del mundo” proporcionando indicaciones de texto tanto para el entorno como para un personaje principal, a quien luego podrás maniobrar a través del mundo en vista de primera o tercera persona. Nano Banana Pro crea una imagen basada en las indicaciones que, en teoría, puedes modificar antes de que Genie use la imagen como punto de partida para un mundo interactivo. Las modificaciones funcionaron en su mayoría, pero el modelo ocasionalmente tropezaba y te daba cabello morado cuando pedías verde.

También puedes usar fotos de la vida real como base para que el modelo construya un mundo, que, nuevamente, fue impredecible. (Más sobre eso más adelante).

Una vez que esté satisfecho con la imagen, Project Genie tardará unos segundos en crear un mundo explorable. También puedes remezclar mundos existentes en nuevas interpretaciones basándose en sus indicaciones, o explorar mundos seleccionados en la galería o mediante la herramienta de aleatorización en busca de inspiración. Luego podrás descargar videos del mundo que acabas de explorar.

DeepMind solo otorga 60 segundos de generación y navegación mundial en este momento, en parte debido a las limitaciones de presupuesto y computación. Porque Genie 3 es un modelo autorregresivose necesita mucha computación dedicada, lo que pone un límite estricto a la cantidad que DeepMind puede proporcionar a los usuarios.

“La razón por la que lo limitamos a 60 segundos es porque queríamos llevarlo a más usuarios”, dijo Fruchter. “Básicamente, cuando lo estás usando, hay un chip en algún lugar que es solo tuyo y está dedicado a tu sesión”.

Añadió que extenderlo más allá de los 60 segundos disminuiría el valor incremental de la prueba.

“Los entornos son interesantes, pero en algún momento, debido a su nivel de interacción y el dinamismo del entorno, es algo limitado. Aún así, lo vemos como una limitación que esperamos mejorar”.

La fantasía funciona, el realismo no.

Cuando utilicé el modelo, las barandillas de seguridad ya estaban montadas y funcionando. No podía generar nada parecido a la desnudez, ni podía generar mundos que olieran ni remotamente a Disney u otro material protegido por derechos de autor. (En diciembre, Disney golpeó a Google con un cese y desistimiento, acusando a los modelos de inteligencia artificial de la empresa de infracción de derechos de autor al entrenar sobre los personajes y la propiedad intelectual de Disney y generar contenido no autorizado, entre otras cosas). Ni siquiera pude lograr que Genie generara mundos de sirenas explorando tierras de fantasía submarinas o reinas de hielo en sus castillos invernales.

Aún así, la demostración fue profundamente impresionante. El primer mundo que construí fue un intento de vivir una pequeña fantasía infantil, en la que podía explorar un castillo en las nubes formado por malvaviscos con un río de salsa de chocolate y árboles hechos de dulces. (Sí, era un niño gordito.) Le pedí al modelo que lo hiciera en estilo de animación con plastilina, y me entregó un mundo caprichoso que mi infancia habría devorado, las torres y torres de colores pastel y blanco del castillo lucían hinchadas y lo suficientemente sabrosas como para arrancar un trozo y sumergirlo en el foso de chocolate. (Vídeo arriba).

Dicho esto, Project Genie todavía tiene algunos problemas que resolver.

Los modelos se destacaron en la creación de mundos basados ​​en indicaciones artísticas, como el uso de acuarelas, estilo anime o la estética clásica de los dibujos animados. Pero tendía a fallar cuando se trataba de mundos fotorrealistas o cinematográficos, y a menudo parecía un videojuego en lugar de personas reales en un entorno real.

Tampoco siempre respondió bien cuando se le dieron fotos reales para trabajar. Cuando le di una foto de mi oficina y le pedí que creara un mundo basado en la foto exactamente como era, me dio un mundo que tenía algunos de los mismos muebles de mi oficina (un escritorio de madera, plantas, un sofá gris) distribuidos de manera diferente. Y parecía estéril, digital, no realista.

Cuando le di una foto de mi escritorio con un juguete de peluche, Project Genie animó el juguete navegando por el espacio e incluso hizo que otros objetos reaccionaran ocasionalmente cuando pasaba junto a ellos.

Esa interactividad es algo en lo que DeepMind está trabajando para mejorar. Hubo varias ocasiones en las que mis personajes atravesaron paredes u otros objetos sólidos.

Cuando DeepMind lanzó Genie 3 inicialmente, los investigadores resaltaron cómo la arquitectura autorregresiva del modelo significaba que podía recordar lo que había generado, por lo que quería probarlo regresando a partes del entorno que ya había generado para ver si sería lo mismo. En general, el modelo tuvo éxito. En un caso, generé un gato explorando otro escritorio, y solo una vez, cuando volví al lado derecho del escritorio, el modelo generó una segunda taza.

La parte que encontré más frustrante fue la forma en que navegabas por el espacio usando las flechas para mirar a tu alrededor, la barra espaciadora para saltar o ascender y las teclas WASD para moverte. No soy un jugador, así que esto no me resultó natural, pero las teclas a menudo no respondían o te enviaban en la dirección equivocada. Intentar caminar desde un lado de la habitación hasta una puerta del otro lado a menudo se convertía en un ejercicio caótico de zigzag, como intentar conducir un carrito de compras con una rueda rota.

Fruchter me aseguró que su equipo era consciente de estas deficiencias y me recordó nuevamente que Project Genie es un prototipo experimental. En el futuro, dijo, el equipo espera aumentar el realismo y mejorar las capacidades de interacción, incluso dando a los usuarios más control sobre las acciones y los entornos.

“No pensamos en (Project Genie) como un producto de principio a fin al que la gente pueda recurrir todos los días, pero creemos que ya se vislumbra algo que es interesante y único y que no se puede hacer de otra manera”, dijo.