Luces, cámara, IA

Probablemente sea solo cuestión de tiempo antes de que la tecnología de inteligencia artificial se convierta en una parte estándar del flujo de trabajo de producción de video. Y es probable que la razón de esa aparente inevitabilidad también sea cuestión de tiempo, ya que la IA generativa es la herramienta más reciente (en el linaje de las cámaras digitales, los editores no lineales y las pantallas verdes) que se adopta no solo para acelerar los flujos de trabajo de producción, sino también para liberar equipos creativos para concentrarse en las partes de la producción que más requieren el manejo humano.

Para el comercial “Masterpiece” de Coca-Cola, el equipo de Electric Theatre Collective tuvo ocho semanas para crear los efectos visuales que convertirían a los personajes de pinturas famosas, como “The Scream” de Edvard Munch, “The Shipwreck” de JMW Turner y “The Shipwreck” de Johannes Vermeer. La joven de la perla”, en personajes animados.

“Tuvimos que recurrir a la IA para este proyecto porque no había otra solución”, dijo Ryan Knowles, jefe de 2D y supervisor de VFX en Electric Theatre Collective.

Para ser claros, no es que el equipo de animadores y especialistas en VFX de Electric Theatre Collective no pudiera haber creado los efectos de la campaña utilizando herramientas cinematográficas tradicionales. De hecho, muchos de los efectos visuales de la campaña se crearon utilizando animaciones dibujadas por humanos y actores filmados en decorados estilizados y contra pantallas verdes. Pero para cumplir con la fecha límite y mantenerse dentro del presupuesto, la tienda de VFX necesitaba agregar la herramienta de IA de generación de imágenes Stable Diffusion de Stability AI a su conjunto de herramientas.

“Tienes toda la gama de creatividad. Parte de nuestro equipo está literalmente dibujando cosas y animando cuadro por cuadro. Y luego, en el otro extremo, estamos creando estos enormes [computer-generated] mundos y luego bombearlos a Difusión Estable, sacarlos de nuevo y luego colocarlos uno encima del otro”, dijo Knowles. Agregó: “No es solo una creación de IA. No es solo una pieza de animación. Es una especie de todo arrojado allí, a gran velocidad”.

El equipo de Electric Theatre Collective utilizó principalmente Stability Diffusion para tomar tomas reales filmadas con una cámara y actores en vivo en un set y hacer que la herramienta de IA generadora de imágenes aplicara la textura de la pintura correspondiente a los marcos.

Por ejemplo, una toma muestra a una mujer en un retrato de Stefania Tejada que sale volando de la pintura para arrojar una botella de Coca-Cola al otro lado de la habitación. “Cuando está volando por el aire y está congelada, es una pintura de su rostro pintada a mano que luego se proyecta y combina con capas de difusión estable para darle un poco de aceite”, dijo Knowles. Pero luego otras tomas, como una en la que un personaje de una pintura cae en otra, dijo, “es solo una toma de control de Stable Diffusion pura y sin adulterar”.

¿Podría haberse hecho todo eso exclusivamente usando un flujo de trabajo VFX tradicional sin herramientas generativas de IA? Seguro. Pero habría costado mucho dinero y tomado mucho más tiempo.

“Trato de pensar en algunas de las configuraciones, algunas de las viñetas, tratando de hacerlas sin ningún tipo de aprendizaje automático o IA. Y es una línea de tiempo que es quizás cinco veces más larga y un equipo mucho más grande”, dijo Knowles. Gracias al uso de Stable Diffusion, los especialistas en simulación de efectos de gama alta de Electric Theatre Collective pudieron “concentrarse en los primeros planos mientras usamos el aprendizaje automático para los planos generales”, agregó.

Lo mismo puede decirse de “The Frost”, un cortometraje animado de 12 minutos de duración sobre un equipo de exploradores ubicado en una cadena montañosa nevada. “No tenemos los recursos ni nada por el estilo para salir a la montaña y crear una pieza como esta”, dijo Stephen Parker, director creativo de Waymark, la compañía que creó el cortometraje y que dirige un negocio de desarrollo. Herramientas de inteligencia artificial para que las empresas las utilicen para crear anuncios de video.

En lugar de pasar la mayor parte de un año filmando en los Alpes con un equipo de más de cien personas, un equipo central de siete empleados de Waymark pasó tres meses y medio escribiendo un guión escrito por el productor ejecutivo de Waymark, Josh Rubin, lo que provocó que DALL- E 2 para crear cada toma, animando las expresiones faciales de los personajes usando Creative Reality Studio de D-ID y luego editándolas todas juntas usando herramientas de postproducción tradicionales, incluido After Effects de Adobe, que los animadores de Waymark usaron para animar las imágenes fijas creadas por DALL- mi 2

Decir que cada cuadro de “The Frost” fue creado por DALL-E 2 es como decir que cada cuadro de “Top Gun: Maverick” fue creado por Sony Venice. No, la Sony Venice fue la cámara que el director de la película Joseph Kosinski y el director de fotografía Claudio Miranda usaron para hacer la película y, de manera similar, DALL-E 2 fue la herramienta generativa de IA que el equipo de Waymark usó para hacer el cortometraje. Así como Kosinski y Miranda necesitaban conceptualizar y enmarcar sus tomas, Parker et al. necesario para conceptualizar los suyos y escribirlos como indicaciones para DALL-E 2.

Las indicaciones siguieron “una estructura modular. Así que se lee como una oración”, dijo Parker. “La primera parte es algo así como tipo de plano. La siguiente sección es la escena real, sus componentes: descripción de una persona que realiza una acción en el lugar. Luego suele haber alguna variable para los climas o el clima, la iluminación, la temperatura: nieve, montañas nevadas, nieve tempestuosa. Y luego ciérralo con una nota sobre la dirección”.

Incluso los ejemplos más extremos de videos generados por IA aún requieren alguna intervención humana. Tomemos, por ejemplo, una serie de tráilers generados por IA de uno a dos minutos de duración de “Star Wars”, “El señor de los anillos” y “Avatar” al estilo de Wes Anderson creados por el estudio de producción Curious Refuge. Los guiones y las listas de tomas fueron escritos por Chat GPT de OpenAI; las tomas fueron creadas por Midjourney; las animaciones fueron realizadas por Creative Reality Studio de D-ID; y los personajes fueron interpretados por Eleven Labs, una herramienta de inteligencia artificial generativa de texto a voz.

“El tráiler de ‘Star Wars’ tardó unas 20 horas en armarse de principio a fin, lo cual, en comparación con si tuviera que ir y filmar todo esto y conseguir actores, 20 horas es increíble. Pero aún lleva tiempo”, dijo el CEO de Curious Refuge, Caleb Ward. También se necesitó un ser humano (Ward) para dirigir la producción de la misma manera que un showrunner de televisión o un director de cine supervisa todo, desde el guión hasta el rodaje, la edición y el diseño de sonido.

“Podría escribir ‘escribir el guión’ y [ChatGPT] me daría un guión. Podría cambiar el guión según mis recomendaciones en el mismo hilo. … Y así, en cada paso de este proceso, estás inyectando tu humanidad [in the form of] tu sentido curatorial en el proyecto”, dijo Ward.

Por ejemplo, Ward redactaría más de 40 indicaciones diferentes para enviarlas a Midjourney a fin de crear una toma determinada para el tráiler y luego examinaría los resultados para elegir la que mejor se ajustaba a la imagen que tenía en mente. Ese proceso fue mucho más rápido que si tuviera que salir y filmar cada toma (encontrar una ubicación o diseñar un decorado, configurar las luces, ajustar la configuración de la cámara, bloquear la escena con actores, etc.), pero aun así requería Ward no solo para dirigir el proyecto, sino también para hacerlo de manera práctica.

“La gente piensa, ‘Oh, la IA es solo esta cosa automática que automáticamente hace todo mucho mejor que un humano. Puede hacer algunas cosas automáticamente, pero en realidad todo se reduce a esa indicación, y es necesario tener gusto para crear esas buenas indicaciones”, dijo.

A pesar de toda la utilidad que los productores de video y los especialistas en VFX encuentran en las herramientas de IA generativa, como se mencionó anteriormente, también encuentran límites en lo que las herramientas pueden hacer y cómo se pueden usar. Cubriremos eso en la edición de la próxima semana de este boletín.

lo que hemos escuchado

“Si incluye información a nivel de usuario [in a streaming ad bid request]entonces no puede incluir información a nivel de programa [because of the Video Privacy Protection Act]. Escuché de un cliente que dijo que no les importan los datos a nivel de usuario y que les importa más el nivel de presentación [data].”

— ejecutivo de tecnología publicitaria

Números para saber

74%: Porcentaje de participación de los hogares de EE. UU. que tienen al menos un televisor inteligente o un dispositivo de TV conectado.

21%: Aumento porcentual en ciertos residuos de transmisión asegurados por el Directors Guild of America en su nuevo contrato.

-39%: Disminución porcentual en los ingresos publicitarios de CNN para el período comprendido entre enero de 2023 y abril de 2023 en comparación con el año anterior.

74%: Porcentaje de participación de los usuarios de Instagram encuestados que dijeron que usan Reels.

-2,4%: Disminución porcentual prevista año tras año en el gasto publicitario en televisión de EE. UU. en 2023.

Lo que hemos cubierto

Con la estrella de TikTok Keith Lee, Pepsi espera atraer a la Generación Z a los restaurantes propiedad de negros:

• Lee promocionará el programa Pepsi Dig In de Pepsi a través de su cuenta de TikTok.
• A través del programa, Pepsi elegirá restaurantes propiedad de negros para recibir financiamiento y acceso a servicios de consultoría.

Lee más sobre Pepsi aquí.

Cómo un nuevo producto publicitario de televisión basado en datos de Blockgraph tiene como objetivo armonizar fuentes de datos variadas:

• GraphPort de Blockgraph tiene como objetivo trazar gráficos de identidad de terceros.
• La herramienta accederá a datos de audiencia de Comcast/NBCUniversal, Charter Communications y Paramount.

Lea más sobre Blockgraph aquí.

lo que estamos leyendo

Amazon prepara el nivel de anuncios de Prime Video:

Amazon planea unirse a Netflix y Disney+ agregando un nivel con publicidad a su servicio anterior sin publicidad (aunque Prime Video incluye anuncios a través de su integración de Freevee, para consternación de mi madre), según The Wall Street Journal.

Los anunciantes rechazan los precios iniciales:

Los anunciantes buscan que los propietarios de cadenas de televisión reduzcan sus tarifas en las ofertas publicitarias iniciales de este año después de años de aumentos de precios, según Variety.

Los anunciantes rechazan el lanzamiento de la NFL de Amazon:

Amazon falló un poco en el inicio de su esfuerzo de ventas de anuncios de la NFL al pedir a los anunciantes que pagaran por sus transmisiones de transmisión y luego no cumplió con las audiencias, según The Information.

Los streamers de Twitch rechazan las reglas de contenido de marca:

Twitch, propiedad de Amazon, cambió rápidamente de rumbo en una actualización de la política que habría prohibido a los streamers incluir anuncios en sus transmisiones e inmediatamente encontró resistencia, según The Verge.

Netflix se lanza a los deportes en vivo:

Netflix está buscando transmitir un torneo de golf de celebridades en vivo este otoño con estrellas de dos de sus series documentales deportivas, “Drive to Survive” y “Full Swing”, según The Wall Street Journal.

TV posterior al pico:

La televisión tradicional era una fuente de ingresos para programadores y productores y, bueno, para todos. El streaming, por el contrario, aún tiene que encontrar un modelo económico que sea lucrativo para cualquiera, según Vulture.