Sabes que, partiendo de una única fotografía y de un prompt, es decir, de unas indicaciones, hoy en día puedes crear un vídeo completo mediante IA. La inteligencia artificial se convierte en una herramienta más, ahora capaz de crear contenidos en vídeos.
¿Qué necesitamos para crear un vídeo con IA?
Crear una cuenta gratis en el motor de IA que vamos a utilizar, una fotografía y tu imaginación.
Esa fotografía puede ser la de tu cara, la de otra persona, la de un animal, la de un objeto o cualquier fotografía o captura que tengas en tu móvil o en tu PC.
Después sólo te hará falta un poco de imaginación para darle instrucciones a esta inteligencia artificial de que es lo que quieres que suceda en la escena de vídeo que vas a generar.
Runway para generar vídeos
El sistema que hoy te presento hoy, RunwayML, no es, a priori, el más avanzado del momento ya que hace escasos días fue presentado Sora, de OpenAI el cual en sus demos ha demostrado ser toda una bestia, claro que por el momento todo lo que hemos visto son demos ya generadas y no te dan opción alguna a probarlo.
Runway ya lleva un tiempo con nosotros y en su momento fue toda una pequeña revolución, pero por tiempo no pude probarlo hasta hoy, donde por necesidades de un proyecto, motogp.com.es ahora he tenido la oportunidad de probarlo.
Te permite de forma gratuita 125 créditos mensuales, lo que nos va a permitir generar hasta 100 segundos de vídeo y manejar 3 proyectos en total, claro que siempre puedes eliminar un proyecto para crear otro.
Claro que esos 100 segundos luego resulten en unos 25 segundos a velocidad real ya que la generación que realiza es siempre bajo slow motion, una forma un tanto «guarra» de ahorrarse hasta 4 veces la potencia de trabajo.
Lo que no es del agrado de muchos desarrolladores es que a día de hoy no disponen de una API pública, aunque sea con el uso de las cuentas de pago, con las que generar vídeos, imágenes y audio mediante programación, lo que limita los procesos automatizados o semiautomatizados para la generación de contenido desasistido por humanos.
Puedes usar RunwayML a través del siguiente enlace: https://direccion.online/a0cns recuerda que con una cuenta gratis puedes hacer ya algunas cosas y cogerle el truco a esto de crear vídeos mediante IA.
El prompt para elText to vídeo
Sí, la base de todo esto, más allá del propio motor RunwayML que vamos a utilizar es el proceso que se conoce como text-to-video, es decir texto a vídeo.
Este proceso, a veces representado por un simple text2video e el que nos permite partiendo de unas indicaciones que llamamos prompt generar un contexto en movimiento para después poderlo exportar y por ejemplo publicar en redes o en cualquier lugar.
En este ejemplo o experimento concreto vamos a partir además de un texto, de una imagen inicial sobre la que construiremos nuestro prompt, esas indicaciones sobre lo que queremos que suceda en la escena de vídeo que necesitamos crear con IA.
Los resultados de vídeo con IA
Para una primera prueba he cogido prestada una imagen de Marc Márquez de una de las noticias sobre motogp en una entrevista con la prensa, y el prompt que he utilizado ha sido el siguiente:
El sujeto está en una sala de prensa con ruido ambiental respondiendo a las preguntas de un periodista, el sujeto gira la cara hacia la cámara.
Tras hacerme un poco con las posibilidades del generador he conseguido unos resultados por debajo de lo esperado, aunque no por ello no dejan ser espectaculares.
Todos conocemos a Marc, uno de los mejores pilotos de velocidad de la historia, por no decir el mejor, y claro con su habitual «cara de Joker» y expresividad en el habla en el vídeo observamos así ya de primeras que no se parece mucho a él, y es que aquí la IA se enfrenta a unas tareas mucho más exigentes que la del desarrollo de un «simple texto».
El problema principal al que hemos enfrentado a la IA radica en que la fotografía original, que se puede apreciar en el primer fotograma del vídeo, es una fotografía, de perfil y claro, aquí debemos presuponer que la IA es capaz de rotarla y saber cómo es la persona vista desde la parte frontal partiendo de uno de sus laterales, error, no es capaz.
Claro que tratándose de una persona reconocible por todo el mundo también podría detectar de quien se trata y buscar información reciente en la red sobre el personaje detectado, en este caso Marc Márquez, y así poder partir de varias imágenes donde sí que se le vea de forma frontal, pues bien, parece que Runway esto todavía no lo hace, es decir, que no tiene ese recurso de reconocer y buscar para tener un patrón e info más completas donde cogerse.
Siguiendo con los motivos del escaso éxito obtenido, al menos a priori, es que el prompt, el cual puedes escribir en español, está limitado a cierta cantidad de caracteres, total que esto te va a influenciar en exceso ya que no vas a poder describir lo que quieres con todo lujo de detalles, y más si lo haces en español ya que las palabras casi en el 99% de las ocasiones son bastante más largas, incluso doblan, a la misma frase en inglés.
El segundo motivo es que lo que genera lo hace por defecto mediante slow motion, lo cual hace que el vídeo quede, al menos raro. Aquí seguro que entra lo comentado, es una forma de ahorrarse complejos y costosos cálculos ya que esta IA con sus 100 segundos de vídeo en sus cuentas gratuitas son drásticamente reducidas a 25, pero el marketing sigue vendiendo 100 para que todo el mundo la pruebe y conozca este fenomenal recurso.
Otro de los motivos es que, si bien el prompt es pequeño, el clip de vídeo que te genera la IA tras la orden de generación, todavía es más corto, me refiero en cuanto a línea de tiempo, por defecto y sin que podamos cambiarlo de inicio genera únicamente 4 segundos de vídeo, aunque una vez generado sí que te permite «extenderlo», así que si quieres un tiempo mayor deberás ir añadiendo, tras cada render, lo que ellos denominan «extensiones de +4s» hasta completar más o menos, aquello que le pedías que sucediese en la escena mediante el prompt. Esto es desde luego otra forma más o menos inteligente de preservar su capacidad de cálculo, de lo contrario la gente tiraría por vídeos de 10, 20 30 segundos así de inicio, y claro, cuando uno comienza con estas cosas, el prueba y error para los servidores de Runway supone un trabajo descomunal.
En las versiones de pago el tiempo de generación por defecto se extiende, siendo el de la cuenta estándar, que hoy cuesta 15 euros al mes, de 15 segundos.
Finalmente extendí la generación hasta los 12 segundos, es decir, dos veces más de la estándar, quería que el «Marc Márquez» generado digitalmente girase su cara hacia la cámara para poder comprobar si existe parecido o no con el piloto de carne hueso.
Realmente no se parece, desde el segundo 2 del clip las facciones del Marc Márquez generado artificialmente no son las propias del deportista que todos conocemos, así que la IA de Runway, si bien puede resultar fenomenal para generar vídeos de cosas no reconocibles, o al menos sin una identidad personal y/o humana no lo es para el objetivo que buscaba, en este caso generar una rueda de prensa partiendo de una noticia de prensa.
La exportación es siempre sin audio, la realiza en resolución de 720p, en formato .mov a 24 fotogramas por segundo, si quieres una mayor resolución o incluir audio deberás contar con una cuenta de pago.
