Un prompt, seis modelos de vídeo, nueve comprobaciones medidas

Lo que enviamos

Un prompt, enviado sin cambios a seis modelos de texto a vídeo la misma mañana, desde la misma cuenta. Cada clip es de 16:9 y dura 6 segundos, en el nivel de 720p de cada modelo (768p en Hailuo 3, que es su nivel más pequeño). El sonido se dejó en el valor predeterminado de cada modelo. Cada modelo se ejecutó dos veces.

A quiet bakery storefront on a cobblestone street in the early morning. Above the door, a dark green wooden sign reads BAKERY in large white capital letters. A red bicycle leans against the wall to the left of the door. Exactly three terracotta potted plants stand in a row to the right of the door. A small round cafe table with an open yellow umbrella stands on the pavement at the right of the frame. A ginger cat walks steadily along the pavement in front of the shop, from the left edge of the frame to the right edge. The camera slowly pushes in toward the door for the whole shot. Soft low sunlight from the left. No people anywhere in the shot. Photorealistic.

Los modelos: Seedance 2.5, Kling v3, Veo 3.1, Wan 3.0, Grok Imagine Video 1.5 y Hailuo 3. No hay personas en la escena a propósito, para que cada comprobación pudiera medirse con una herramienta en lugar de juzgarse.

Cómo lo puntuamos

Nueve comprobaciones, aprobado o suspenso, por lo que una ejecución obtiene una puntuación sobre 9 y un modelo sobre 18. Ocho se miden con herramientas. Una, el número de macetas, se cuenta a ojo, porque el detector a veces dividía una maceta en dos o contaba una planta sobre una mesa.

La bicicleta, el paraguas, el cartel y la composición se comprueban en el primer tercio del clip. El prompt pide a la cámara que avance, lo que recorta los bordes de la escena más tarde, por lo que un paraguas que sale del encuadre en el segundo cuatro no ha fallado.

Las puntuaciones

Las partes fáciles fueron fáciles para todos. Los doce clips escribieron correctamente BAKERY mientras el letrero estaba en cuadro, pintaron una bicicleta roja y un paraguas amarillo, colocaron una fila de tres macetas en el suelo e hicieron caminar a un gato pelirrojo de izquierda a derecha. Los fallos fueron una persona que nadie pidió, una escena dispuesta al revés y una cámara que se movió en la dirección equivocada.

Cada clip

Pulsa reproducir en cualquier clip. Nada se carga hasta que lo haces. Primeras ejecuciones:

Segundas ejecuciones, mismo prompt, mismos ajustes:

Cómo eran los fallos

Lo que las comprobaciones no detectan

Una rúbrica solo ve lo que mide. Estos puntos surgieron mientras revisábamos los fallos, y son más importantes para algunos trabajos que un aprobado o un suspenso.

• ¿Qué es lento? El prompt pedía un acercamiento lento. Medido del 10% al 90% del clip, la imagen de Veo 3.1 creció 1,8 y 2,6 veces; las demás crecieron entre 1,10 y 1,45 veces, salvo la primera ejecución lateral de Grok. Según nuestro criterio, el movimiento de Veo no es lento, y en su segunda ejecución el cartel sale de la parte superior del plano.
• Texto no solicitado. Tres de doce clips añadieron texto que no son palabras reales: letras en la ventana en la primera ejecución de Seedance 2.5, que el lector de texto interpretó de forma distinta en cada fotograma, y pizarras de menú en las segundas ejecuciones de Veo 3.1 y Wan 3.0. Si tu plano debe estar libre de texto, indícalo en el prompt y compruébalo.
• Abierto significa abierto. La primera ejecución de Grok muestra un paraguas amarillo que permanece cerrado durante todo el clip. Nuestro detector encuentra paraguas abiertos o cerrados, por lo que pasó la comprobación de color. Solo lo detectamos a ojo.
• Hacia dónde va el gato. En la segunda ejecución de Veo 3.1, el gato se gira hacia la cámara y llena el plano. Sigue terminando a la derecha, así que ha pasado.

Qué obtienes

Medido con ffprobe y ffmpeg sobre los archivos tal como se entregan. Ambas ejecuciones de cada modelo coincidían en tamaño, velocidad de fotogramas y duración.

Destacan dos cosas. Hailuo 3 en su nivel de 768p devuelve un clip más largo de lo solicitado, con aproximadamente una cuarta parte del bitrate que usan la mayoría de los demás. Grok y Kling devolvieron pistas tan silenciosas que están cerca del silencio; el prompt no pedía ningún sonido, así que es un dato a tener en cuenta más que un defecto.

Cuánto tardó cada uno

Cuánto cuesta

Las tarifas anteriores se leen en directo de la lista de precios, nivel por nivel, para un clip de 5 s. Nuestros clips duraron 6 segundos en el nivel de 720p (768p en Hailuo 3), por lo que cada uno costó una quinta parte más que su línea aquí. El precio siempre se muestra antes de confirmar un render.

Lo que esta prueba no te dice

• Es un solo prompt y un tipo de escena: una calle tranquila, un animal, un movimiento de cámara lento. Las manos, la acción rápida, los diálogos, varias personas o clips largos pueden cambiar la clasificación de los modelos.
• No hay personas en él, por lo que no dice nada sobre cómo dibuja una persona cualquier modelo.
• Dos ejecuciones por modelo es una muestra pequeña. Un modelo que pasó ambas podría fallar en una tercera.
• Ejecutó cada modelo en su nivel de 720p. Los niveles superiores pueden cambiar el detalle y, en algunos modelos, el resultado.
• El detector, las pruebas de color y el lector de texto pueden equivocarse. Revisamos cada fallo nosotros mismos y publicamos los datos brutos a continuación.
• No puntúa el gusto. La luz, la textura, lo natural que camina el gato y cómo encaja el sonido son para tus propios ojos y oídos.

Para el movimiento, realizamos una prueba aparte: un backflip de pie desde el mismo fotograma en cuatro modelos, en Haz que las personas se muevan de forma realista con IA. Para un coche que debe mantener su forma, la prueba de paso está en Un anuncio de coche con IA.

Método y datos brutos

Objetos y personas: Mask R-CNN entrenado con COCO, confianza 0.6 (0.7 para personas), en 24 fotogramas repartidos por el clip. Texto: el reconocedor de texto de macOS Vision con la corrección de idioma desactivada, en 12 fotogramas. Cámara: características SIFT emparejadas entre 9 fotogramas desde el 10% al 90% del clip, con un ajuste de similitud RANSAC, escalas multiplicadas. Color: para la bicicleta, el quinto de los píxeles más saturados dentro de su máscara; para el paraguas, la mediana de la tonalidad del 40% superior de su caja dentro de su máscara.

Dos pruebas de color cambiaron mientras trabajábamos, y lo decimos porque cambiaron los resultados. La primera prueba de la bicicleta contaba cada píxel saturado en la máscara, y la pared cálida que se veía entre los tubos superaba a la pintura. La primera prueba del paraguas falló en el paraguas mostaza de Seedance 2.5 sobre la pared de ladrillo detrás de su mástil. Ambas se corrigieron para medir el objeto, y luego se volvió a puntuar cada clip con el código final. Los conteos a ojo coincidieron con el detector en 10 de 12 clips; en ambos clips de Veo 3.1 también contaba una planta sobre una mesa o fusionaba dos macetas.