Lo ames o lo odies, la IA generativa se está insertando en el futuro de la creación de videos. Ya hay ejemplos que van más allá de los globos de prueba para mostrar cómo las herramientas de creación de imágenes artificiales pueden ayudar a las producciones profesionales. Y los tipos de herramientas de IA generativa que están disponibles para las producciones de video también se están expandiendo.

Entonces, durante la desaceleración del verano de este año, que parece ser en realidad un solsticio más lento a la luz de la huelga de escritores y la disminución del mercado inicial, veamos los tipos de herramientas de inteligencia artificial generativa que se utilizan para hacer videos hoy.

Descargo de responsabilidad: antes de entrar en la guía, déjame aclarar que la IA generativa plantea tanto una oportunidad como una amenaza. Como se cubrió el mes pasado, los creadores de videos y los especialistas en VFX muestran cómo estas herramientas pueden ayudar a los humanos en los procesos de producción y posproducción. Pero como mostró el episodio “Joan Is Awful” de “Black Mirror”, estas herramientas también ponen en riesgo los trabajos de las personas. La última amenaza es real, y las preocupaciones planteadas por los miembros del sindicato del entretenimiento son legítimas. No estoy destacando estas tecnologías generativas de IA aquí para promocionarlas, sino para ayudar a las personas a entenderlas.

Muy bien, habiendo dicho todo eso, a la guía.

Generación de texto

Esta es la más básica y, diré, la menos creativamente interesante de las aplicaciones de IA generativa. Pídale a una herramienta de inteligencia artificial que presente una idea para un video y luego escriba el diálogo del personaje. También se puede solicitar a la herramienta que produzca una lista de tomas, que puede incluir la escritura de indicaciones de imágenes para otra herramienta de IA generativa para producir las imágenes reales, o para escupir ideas de títulos de YouTube compatibles con SEO. El Writers Guild of America tiene motivos para estar preocupado por la amenaza potencial de esta tecnología para su sustento, pero en este momento estas herramientas se parecen más a un asistente de escritura que a un escritor por derecho propio.

Usos: Escribir guiones, desarrollar listas de tomas, diseñar indicaciones de imágenes, intercambiar ideas sobre títulos de videos de YouTube

Limitaciones: Se inclina hacia el sentido del humor genérico y limitado.

Herramientas de ejemplo: ChatGPT de OpenAI, Bard de Google

Generación de imágenes

Las herramientas de IA capaces de producir imágenes fijas son donde la IA generativa realmente comienza a ser interesante para fines de video. Mucho se ha hablado de cómo se han utilizado las herramientas de IA de generación de imágenes para producir videos cortos al estilo de directores famosos como Wes Anderson. Pero los casos de uso más prácticos son los más sutiles, como producir fondos completos para escenas, expandir fondos existentes y generar imágenes y objetos ilustrados y fotorrealistas para usar en gráficos y miniaturas de YouTube.

Usos: Generación de imágenes de fondo, expansión y relleno de marcos, producción de imágenes de objetos individuales, creación de miniaturas de YouTube

Limitaciones: Difícil de controlar para salidas específicas, difícil de producir imágenes consistentes, manos

Herramientas de ejemplo: Midjourney, DALL-E 2 de OpenAI, difusión estable, función de relleno generativo de Adobe Photoshop

Generación de vídeo

Si las herramientas de IA pueden generar imágenes individuales, entonces no es un gran salto para ellas generar una serie secuencial de imágenes para componer un video. Pero sigue siendo un salto considerable. Y si bien estas herramientas son capaces de producir clips completos a partir de una cadena de palabras en un mensaje de texto, las mayores posibilidades parecen residir en las opciones para que las herramientas tomen un videoclip existente y lo combinen con una imagen separada para producir una nueva. video, como tomar un clip de un mouse de computadora equipado con tapas de botellas y mezclarlo con la imagen de un automóvil para crear un clip estilizado de un automóvil de carreras.

Usos: Producción de videoclips completos, conversión de clips existentes en imágenes generadas por computadora

Limitaciones: Los clips resultantes tienden a variar cuadro a cuadro, son difíciles de controlar para salidas específicas, limitaciones en la duración del video resultante

Herramientas de ejemplo: Gen-1 de RunwayML, Gen-2 de RunwayML, Kaiber, Pika Labs

Generación de voz

Las ansiedades de la IA de los actores de voz están algo bien fundadas. Estas herramientas son capaces de tomar texto y convertirlo en palabras habladas que suenen más cerca de una persona real que de Siri. Las voces generadas se pueden infundir con diferentes acentos e inflexiones, como una anciana británica, o (alerta de bandera roja) se pueden modelar a partir de voces de personas reales. Incluso pueden ajustar su entrega para reflejar el significado y la emoción del texto. Sin embargo, es probable que alguien que escuche atentamente se dé cuenta de la entrega un tanto forzada.

Usos: Producción de doblajes, creación de voces para personajes generados por computadora y dibujados a mano.

Limitaciones: La entrega vocal puede sesgarse forzada y rígida

Herramientas de ejemplo: Eleven Labs, Synthesia, Speechify

Animación de personajes

Todas estas herramientas generativas de IA son tecnologías bastante vanguardistas, pero esta categoría parece estar en el extremo más agudo del espectro. Estas herramientas pueden imitar el trabajo de animadores especializados para dar vida a personajes en 2D y 3D. Son capaces de animar las expresiones faciales de una persona fotografiada, así como de procesar un videoclip para obtener datos de captura de movimiento con el fin de reemplazar a su sujeto humano con un personaje generado por computadora. Las herramientas no son tan capaces como un animador de Pixar, pero como es el caso con todas estas herramientas, y la justificación para temerlas, sus iteraciones hoy son las peores que jamás serán.

Usos: Animación de movimientos y expresiones faciales de personajes en 2D y 3D, captura de datos de captura de movimiento para escenas en 2D y 3D, generación de mates alfa para enmascarar

Limitaciones: Distorsiones aleatorias en las expresiones faciales, controles limitados sobre las expresiones, procesamiento de captura de movimiento más adecuado para videos filmados sin movimiento de cámara, la salida de captura de movimiento puede no ajustarse a un plano de tierra consistente

Herramientas de ejemplo: Wonder Studio de Wonder Dynamics, Creative Reality Studio de D-ID, característica Deep Nostalgia de MyHeritage

lo que hemos escuchado

“Solía ​​ser una división 33-33-33 entre acuerdos de marca, ingresos por anuncios de YouTube y luego dinero de afiliados. Eso ha girado un poco. YouTube ahora se ha reducido a quizás un 10%. Los ingresos definitivamente han sido recortados, lo mismo para Facebook. Pero todavía son miles de dólares cada mes”.

— Cassandra Bankson, creadora de YouTube

TikTok vs Instagram Reels vs YouTube Shorts

Durante VidCon el mes pasado, le pregunté a más de dos docenas de adolescentes, preadolescentes y veinteañeros cómo se sienten acerca de TikTok, Instagram Reels y YouTube Shorts. Esto es lo que tenían que decir.

Números para saber

21%: La participación de Amazon Prime Video en el mercado de transmisión de EE. UU. en el segundo trimestre de 2023, superando a Netflix por un punto porcentual.

43%: Porcentaje de encuestados que dijeron que actualmente están suscritos a la cantidad máxima de servicios de transmisión que están dispuestos a pagar.

0: Número de programas de televisión con guión que se filmaron en Los Ángeles durante la última semana de junio.

>$280 mil millones: Disminución en el valor de mercado combinado de Comcast, Disney, Netflix y Paramount desde finales de 2020.

Lo que hemos cubierto

Los compradores solicitan y obtienen reducciones de precios por adelantado:

• Los propietarios de redes de televisión y servicios de transmisión están aceptando precios de anuncios más bajos en las ofertas iniciales de este año.
• Netflix y Fox se encuentran entre los vendedores que aún no han cerrado su mercado inicial.

Lea más sobre la televisión por adelantado aquí.

Las marcas llevan sus propiedades intelectuales a Hollywood, con mezclas de marketing que las acompañan:

• Mattel, Nike, Tetris, Nintendo y Frito-Lay se encuentran entre las marcas que han estrenado películas mostrando sus productos este año.
• Hasbro también participa en el acto, aunque, según los informes, ha estado tratando de vender su estudio de cine y televisión Entertainment One.

Lea más sobre el entretenimiento de marca aquí.

La compañía de cereales crea seguidores milenarios, Gen Z en TikTok, Instagram a medida que cambian el comportamiento y los algoritmos de las redes sociales:

• Magic Spoon descubrió que las tomas y videos de productos no funcionan bien en TikTok.
• La marca se ha volcado a las parodias de comedia y al metraje detrás de escena.

Lea más sobre Cuchara Mágica aquí.

Alvin Bowles de Meta sobre los próximos pasos para los anuncios de Reels:

• Bowles dijo que Meta “realmente se está enfocando ahora en el aspecto de monetización de” Reels.
• Meta cambió recientemente su programa de monetización para creadores de Reels.

Lea más sobre los anuncios de Reels aquí.

lo que estamos leyendo

Upfront se arrastra hasta el final:

Algunos propietarios de cadenas de televisión están a punto de cerrar los acuerdos iniciales de este año, aunque los resultados distan mucho de ser estelares con caídas en gran medida en todos los ámbitos, según Variety.

La presión del estudio de Amazon:

El CEO de Amazon, Andy Jassy, ​​está presionando a su estudio de cine y televisión para que justifique los presupuestos de programación de algunos de sus programas más caros, el último ejemplo de la era de austeridad de Hollywood, según Bloomberg.

Cambios en el liderazgo de NBCUniversal:

El director ejecutivo interino Mike Cavanagh ha reajustado el conglomerado de medios propiedad de Comcast al expandir los ámbitos de la jefa de cine Donna Langley y el presidente de televisión y transmisión Mark Lazarus, con la salida de la ejecutiva de televisión y transmisión Susan Rovner, según The New York Times.

Los nuevos requisitos de divulgación del marketing de influencers:

Las pautas de respaldo actualizadas de la Comisión Federal de Comercio de EE. UU. requerirán efectivamente que los creadores de videos divulguen los patrocinios en el video (en lugar de escribir “#ad” en el título de la publicación), según The Wall Street Journal.

Publicidad contradictoria de los streamers:

Netflix y Max, de Warner Bros. Discovery, han adoptado la aversión de Disney a permitir que los streamers rivales anuncien a su audiencia, aunque Peacock, de NBCUniversal, y, hasta cierto punto, Paramount+, de Paramount, están dispuestos a aceptar el dinero de los competidores, según Variety.