Un prompt, seis modelos de video, nueve verificaciones medidas

Lo que enviamos

Un prompt, enviado sin cambios a seis modelos de texto a video la misma mañana, desde la misma cuenta. Cada clip es de 16:9 y dura 6 segundos, en el nivel de 720p de cada modelo (768p en Hailuo 3, que es su nivel más pequeño). El sonido se dejó en el valor predeterminado de cada modelo. Cada modelo se ejecutó dos veces.

A quiet bakery storefront on a cobblestone street in the early morning. Above the door, a dark green wooden sign reads BAKERY in large white capital letters. A red bicycle leans against the wall to the left of the door. Exactly three terracotta potted plants stand in a row to the right of the door. A small round cafe table with an open yellow umbrella stands on the pavement at the right of the frame. A ginger cat walks steadily along the pavement in front of the shop, from the left edge of the frame to the right edge. The camera slowly pushes in toward the door for the whole shot. Soft low sunlight from the left. No people anywhere in the shot. Photorealistic.

Los modelos: Seedance 2.5, Kling v3, Veo 3.1, Wan 3.0, Grok Imagine Video 1.5 y Hailuo 3. No hay personas en la escena a propósito, para que cada verificación pudiera medirse con una herramienta en lugar de juzgarse.

Cómo lo calificamos

Nueve verificaciones, aprobado o reprobado, por lo que una ejecución obtiene un puntaje sobre 9 y un modelo sobre 18. Ocho se miden con herramientas. Una, el conteo de macetas, se cuenta a ojo, porque el detector a veces dividía una maceta en dos o contaba una planta sobre una mesa.

La bicicleta, el paraguas, el letrero y la disposición se verifican en el primer tercio del clip. El prompt pide que la cámara avance, lo que recorta los bordes de la escena más adelante, por lo que un paraguas que sale del cuadro en el segundo cuatro no ha fallado.

Las puntuaciones

Las partes fáciles fueron fáciles para todos. Los doce clips escribieron correctamente BAKERY mientras el letrero estaba en cuadro, pintaron una bicicleta roja y un paraguas amarillo, colocaron una fila de tres macetas en el suelo y caminaron a un gato atigrado de izquierda a derecha. Los fallos fueron una persona que nadie pidió, una escena dispuesta al revés y una cámara que se movió en la dirección equivocada.

Cada clip

Presiona reproducir en cualquier clip. Nada se carga hasta que lo haces. Primeras ejecuciones:

Segundas ejecuciones, mismo prompt, mismos ajustes:

Cómo se veían los fallos

Lo que las verificaciones no detectan

Una rúbrica solo ve lo que mide. Estos puntos surgieron mientras revisábamos los fallos, y son más importantes para algunos trabajos que un aprobado o un suspenso.

• ¿Qué tan lento es lento? El prompt pedía un acercamiento lento. Medido del 10% al 90% del clip, la imagen de Veo 3.1 creció 1.8 y 2.6 veces; las otras crecieron entre 1.10 y 1.45 veces, aparte de la primera ejecución lateral de Grok. Según nuestro criterio, el movimiento de Veo no es lento, y en su segunda ejecución el letrero sale de la parte superior del cuadro.
• Texto no solicitado. Tres de doce clips añadieron texto que no son palabras reales: letras en ventanas en la primera ejecución de Seedance 2.5, que el lector de texto interpretó de forma diferente en cada cuadro, y pizarras de menú en las segundas ejecuciones de Veo 3.1 y Wan 3.0. Si tu cuadro debe estar libre de texto, indícalo en el prompt y verifica.
• Abierto significa abierto. La primera ejecución de Grok muestra un paraguas amarillo que permanece cerrado durante todo el clip. Nuestro detector encuentra paraguas abiertos o cerrados, por lo que esto pasó la verificación de color. Solo lo detectamos a simple vista.
• A dónde va el gato. En la segunda ejecución de Veo 3.1, el gato se gira hacia la cámara y llena el cuadro. Termina a la derecha, así que pasó.

Qué recibes

Medido con ffprobe y ffmpeg en los archivos entregados. Ambas ejecuciones de cada modelo coincidieron en tamaño, velocidad de cuadros y duración.

Dos cosas destacan. Hailuo 3 en su nivel de 768p devuelve un clip más largo de lo solicitado, con aproximadamente una cuarta parte del bitrate que usan la mayoría de los demás. Grok y Kling devolvieron pistas tan silenciosas que están cerca del silencio; el prompt no solicitaba sonido, así que es un dato a conocer más que un defecto.

Cuánto tardó cada uno

Cuánto cuesta

Las tarifas anteriores se leen en vivo de la lista de precios, nivel por nivel, para un clip de 5 s. Nuestros clips duraron 6 s en el nivel de 720p (768p en Hailuo 3), por lo que cada uno costó una quinta parte más que su línea aquí. El precio siempre se muestra antes de que confirmes un render.

Lo que esta prueba no te dice

• Es un solo prompt y un tipo de escena: una calle tranquila, un animal, un movimiento de cámara lento. Manos, acción rápida, diálogo, varias personas o clips largos pueden clasificar los modelos de manera diferente.
• No tiene personas, por lo que no dice nada sobre cómo cualquier modelo dibuja a una persona.
• Dos ejecuciones por modelo es una muestra pequeña. Un modelo que pasó ambas podría fallar en una tercera.
• Ejecutó cada modelo en su nivel de 720p. Los niveles más altos pueden cambiar el detalle y, en algunos modelos, el resultado.
• El detector, las pruebas de color y el lector de texto pueden estar equivocados. Revisamos cada fallo nosotros mismos y publicamos los números brutos a continuación.
• No califica el gusto. La luz, la textura, cómo camina naturalmente el gato y cómo encaja el sonido son para tus propios ojos y oídos.

Para el movimiento, realizamos una prueba aparte: un backflip de pie desde el mismo fotograma en cuatro modelos, en Haz que las personas se muevan de forma realista con IA. Para un auto que debe mantener su forma, la prueba de paso está en Un comercial de auto con IA.

Método y datos sin procesar

Objetos y personas: Mask R-CNN entrenado en COCO, confianza 0.6 (0.7 para personas), en 24 fotogramas distribuidos a lo largo del clip. Texto: el reconocedor de texto de macOS Vision con la corrección de idioma desactivada, en 12 fotogramas. Cámara: características SIFT emparejadas entre 9 fotogramas desde el 10% hasta el 90% del clip, con un ajuste de similitud RANSAC, escalas multiplicadas. Color: para la bicicleta, el quinto de los píxeles más saturados dentro de su máscara; para el paraguas, la mediana del tono del 40% superior de su cuadro dentro de su máscara.

Dos pruebas de color cambiaron mientras trabajábamos, y lo decimos porque cambiaron los resultados. La primera prueba de la bicicleta contaba cada píxel saturado en la máscara, y la pared cálida que se veía entre los tubos superaba a la pintura. La primera prueba del paraguas falló en el paraguas mostaza de Seedance 2.5 sobre la pared de ladrillo detrás de su poste. Ambas se corrigieron para medir el objeto, y luego cada clip se volvió a puntuar con el código final. Los conteos a simple vista coincidieron con el detector en 10 de 12 clips; en ambos clips de Veo 3.1 también contaba una planta sobre una mesa o fusionaba dos macetas.