Muchas de las noticias y actualizaciones de productos que Adobe lanzó esta semana fueron, como era de esperar, centrado en la IA generativa. Pero si bien durante la mayor parte de este año se han producido grandes avances en la generación de imágenes y vídeos, Adobe se está centrando en elevar sus ofertas de IA en otra área: el audio con IA.
Las dos nuevas funciones, generar banda sonora y generar voz, hacen exactamente lo que sugieren sus nombres. Puedes crear música de fondo y grabar guiones para tu vídeo. Pero cada uno viene con controles prácticos que hacen que el audio de IA sea menos una apuesta y más una herramienta útil para creadores de todos los niveles. Están disponibles en versión beta ahora.
Adobe también está lanzando una versión beta de su último modelo de imagen Firefly de quinta generación. Promete ser mejor en la producción de imágenes fotorrealistas y ahora puede utilizar la edición basada en indicaciones. También hay un nuevo editor de vídeo beta Firefly que viene con una línea de tiempo multipista destinada a ayudarte a compilar clips generados por IA. Adobe también está ampliando sus asociaciones con dos nuevas empresas de inteligencia artificial, ElevenLabs y Topaz Labs. Para obtener aún más noticias sobre IA, puede conocer los asistentes de IA que llegarán a Photoshop y Express.
A continuación se muestra un ejemplo de cómo se le solicita que escriba la descripción de su música con IA.
Genera música y bandas sonoras.
La concesión de licencias de música es complicada, especialmente para uso comercial. Así que déjame comenzar con la parte que más importa: cualquier música generada con la banda sonora generada de Firefly recibe una licencia universal, lo que significa que puedes usarla para cualquier propósito, de forma indefinida. Adobe crea sus herramientas de IA utilizando contenido (en este caso, audio) que tiene permiso para usar para la capacitación en IA. Entonces, en teoría, no debería eliminar el audio de Firefly AI de YouTube u otras plataformas ni recibir una temida advertencia de derechos de autor.
“Este es un momento único en el mundo donde las licencias de música están en la mente de todos y los creadores están simplemente frustrados porque están tratando de hacer lo mejor para su contenido o están confundidos”, dijo en una entrevista Jay LeBoeuf, jefe de audio de IA de Adobe. “Así que sólo esperamos eliminar la confusión”.
En una demostración, Firefly rechazó un mensaje con el nombre de un artista porque violaba sus pautas de usuario debido a preocupaciones de derechos de autor. Debido a que la modelo no está entrenada en la música de Taylor Swift, por ejemplo, no puede crear música similar a la de ella.
Ahora, lo divertido: Generar banda sonora es la primera herramienta de música con inteligencia artificial de Adobe y está diseñada para eliminar las conjeturas sobre lo que deseas. Subes tu vídeo y la IA lo analiza. Según su evaluación, Firefly escribirá un mensaje que crea que puede funcionar bien para su vídeo. Es un mensaje al estilo Mad Libs y puedes intercambiar los descriptores como mejor te parezca. El mensaje tiene tres partes: describir la vibra general, el estilo (género de pensamiento) y el propósito (comercial, experimental, etc.). También puedes ajustar el tempo y el nivel de energía.
Una vez que esté satisfecho con su mensaje, haga clic en generar y menos de dos minutos después, cuatro variaciones solo instrumentales estarán listas para que las toque. Su audio será tan largo como su video, pero puede editarlo según sea necesario. Puedes subir vídeos de hasta cinco minutos de duración.
Cómo generar música con Firefly
Ahora puedes intentar crear música instrumental con IA para tus vídeos. Generar banda sonora y generar voz están disponibles a través de Firefly y están en versión beta. Comprueba si tu plan de Adobe incluye acceso a Firefly y, si no es así, puedes obtener un plan. desde $10 por mes.
- Abra Firefly en la web.
- Haga clic en Generar en el menú del lado izquierdo.
- Haga clic en Generar banda sonora a partir de las tarjetas disponibles debajo de la ventana de chat.
- Sube tu video usando el menú del lado izquierdo.
- Luego, Firefly analizará su video y escribirá un mensaje apropiado en el menú del lado izquierdo.
- Si no te gusta lo que se le ocurrió a Firefly, puedes hacer clic en la “X” y escribir tu mensaje preferido. También puedes elegir entre las vibraciones, estilos y propósitos sugeridos en el menú del lado izquierdo.
- Desplácese hacia abajo y ajuste la energía, el tempo y la duración según sea necesario.
- Haga clic en generar.
Una vez que tengas una banda sonora que te guste, puedes descargar el vídeo completo (o solo la banda sonora) a tu computadora.
Este es un ejemplo de cuatro bandas sonoras musicales que Firefly creó para un video de IA que hice de algunas personas de fiesta en la playa.
generando discurso
Generar voz en Firefly es simple e incluye muchas características que lo harán útil para casi cualquier proyecto. Es una ventana simple donde puedes escribir las palabras que deseas que lea la voz de IA. También puedes subir un guión de hasta 7500 caracteres, aproximadamente un vídeo de 15 a 20 minutos. Una vez cargado, puedes elegir entre 50 voces, cada una etiquetada con una edad y sexo aproximados, incluidas opciones no binarias. Puedes generar voz en 20 idiomas diferentes. Pero la parte divertida es lo que puedes hacer para ajustar tu mensaje.
El habla es más que simplemente leer palabras en una página. Cuando leemos pasajes largos o hablamos con otras personas, naturalmente agregamos énfasis, emoción y ritmo a nuestro discurso. Con el nuevo programa, puedes hacer lo mismo, agregando pausas donde quieras que la IA tome un respiro y resaltando secciones donde el tono debe cambiar.
Si eres como yo y nadie pronuncia bien tu nombre en el primer intento, puedes usar la herramienta “corregir pronunciación” para asegurarte de que no haya errores. Seleccione el nombre o el nombre propio y luego agregue un desglose fonético, y la IA lo usará para suavizar la pronunciación.
Estas herramientas, junto con su capacidad práctica para ajustar secciones específicas, están destinadas a brindarle más control, algo que otros programas de conversión de texto a voz no siempre ofrecen.
“Es una forma de brindar un discurso realista a los creadores, a los propietarios de pequeñas empresas, a los educadores, a todos los que realmente tienen una historia que contar, y tal vez no se sientan tan cómodos como si simplemente sacáramos un micrófono y habláramos”, dijo LeBoeuf.
Firefly audio es un modelo de IA completamente nuevo. Pero esa no es tu única opción. Adobe ha ido añadiendo constantemente a su lista de modelos de IA de terceros este año, tanto para vídeo como para imágenes con IA. Está ampliando esas opciones nuevamente al incluir el modelo V2 multilingüe de ElevenLab como una opción para generar voz.
Para obtener más información, consulte cómo funciona la aplicación de cámara Project Indigo de Adobe, ahora compatible con iPhone 17.
