Un prompt, six modèles vidéo, neuf vérifications mesurées

Ce que nous avons envoyé

Un prompt, envoyé sans modification à six modèles de texte à vidéo le même matin, depuis le même compte. Chaque clip est en 16:9 et dure 6 secondes, sur le palier 720p de chaque modèle (768p sur Hailuo 3, dont c'est le plus petit palier). Le son a été laissé par défaut sur chaque modèle. Chaque modèle a été exécuté deux fois.

A quiet bakery storefront on a cobblestone street in the early morning. Above the door, a dark green wooden sign reads BAKERY in large white capital letters. A red bicycle leans against the wall to the left of the door. Exactly three terracotta potted plants stand in a row to the right of the door. A small round cafe table with an open yellow umbrella stands on the pavement at the right of the frame. A ginger cat walks steadily along the pavement in front of the shop, from the left edge of the frame to the right edge. The camera slowly pushes in toward the door for the whole shot. Soft low sunlight from the left. No people anywhere in the shot. Photorealistic.

Les modèles : Seedance 2.5, Kling v3, Veo 3.1, Wan 3.0, Grok Imagine Video 1.5 et Hailuo 3. Il n'y a volontairement aucune personne dans la scène, afin que chaque vérification puisse être mesurée par un outil plutôt que jugée.

Comment nous avons noté

Neuf vérifications, réussies ou échouées, de sorte qu'une exécution obtient un score sur 9 et un modèle sur 18. Huit sont mesurées par des outils. Une, le nombre de pots, est comptée à l'œil, car le détecteur divisait parfois un pot en deux ou comptait une plante sur une table.

Le vélo, le parapluie, le panneau et la mise en page sont vérifiés dans le premier tiers du clip. Le prompt demande à la caméra d'avancer, ce qui recadre les bords de la scène plus tard, donc un parapluie qui quitte le cadre à la quatrième seconde n'a pas échoué.

Les scores

Les parties faciles ont été faciles pour tout le monde. Les douze clips ont bien orthographié BAKERY tant que l'enseigne était dans le cadre, ont peint un vélo rouge et un parapluie jaune, ont posé une rangée de trois pots au sol, et ont fait marcher un chat roux de gauche à droite. Les échecs concernaient une personne non demandée, une scène disposée à l'envers, et une caméra qui a bougé dans le mauvais sens.

Chaque clip

Appuyez sur lecture sur n'importe quel clip. Rien ne se charge tant que vous ne le faites pas. Premiers runs :

Deuxièmes exécutions, même prompt, mêmes paramètres :

À quoi ressemblaient les erreurs

Ce que les vérifications ne détectent pas

Une grille d'évaluation ne voit que ce qu'elle mesure. Ces points sont apparus lors de l'examen des échecs, et ils comptent davantage pour certains travaux qu'un simple succès ou échec.

• À quel point est-ce lent ? Le prompt demandait un zoom avant lent. Mesuré de 10 % à 90 % du clip, l'image de Veo 3.1 a grossi de 1,8 et 2,6 fois ; les autres ont grossi entre 1,10 et 1,45 fois, sauf la première exécution latérale de Grok. À notre avis, le mouvement de Veo n'est pas lent, et lors de sa deuxième exécution, l'enseigne sort du haut du cadre.
• Des textes non demandés. Trois des douze clips ont ajouté du texte qui ne forme pas de vrais mots : des inscriptions sur les vitres lors de la première exécution de Seedance 2.5, que le lecteur de texte interprétait différemment à chaque image, et des tableaux de menu lors des deuxièmes exécutions de Veo 3.1 et de Wan 3.0. Si votre image doit être exempte de texte, précisez-le dans le prompt et vérifiez.
• Ouvert signifie ouvert. La première exécution de Grok montre un parapluie jaune qui reste fermé tout au long du clip. Notre détecteur identifie les parapluies ouverts ou fermés, ce qui a donc passé le test de couleur. Nous ne l'avons remarqué qu'à l'œil nu.
• Où va le chat. Lors de la deuxième exécution de Veo 3.1, le chat se tourne vers la caméra et remplit le Cadrage. Il finit toujours à droite, donc il a réussi.

Ce que vous obtenez

Mesuré avec ffprobe et ffmpeg sur les fichiers tels que livrés. Les deux exécutions de chaque modèle correspondaient en taille, fréquence d'images et Durée.

Deux points se distinguent. Hailuo 3, dans son niveau 768p, renvoie un clip plus long que demandé, avec un débit binaire environ quatre fois inférieur à celui utilisé par la plupart des autres. Grok et Kling ont renvoyé des pistes audio si faibles qu'elles sont quasi silencieuses ; le prompt ne demandait aucun son, c'est donc une information à connaître plutôt qu'un défaut.

Durée de chaque génération

Coût

Les tarifs ci-dessus sont lus en direct depuis la liste de prix, palier par palier, pour un clip de 5 s. Nos clips duraient 6 s sur le palier 720p (768p sur Hailuo 3), ce qui rendait chaque coût 20 % plus élevé que la ligne indiquée ici. Le prix est toujours affiché avant que vous ne confirmiez un rendu.

Ce que ce test ne vous dit pas

• Il s'agit d'un seul prompt et d'un seul type de scène : une rue calme, un animal, un mouvement de caméra lent. Les mains, l'action rapide, les dialogues, plusieurs personnes ou des clips longs peuvent classer les modèles différemment.
• Il n'y a pas de personnes, donc il ne dit rien sur la façon dont chaque modèle dessine une personne.
• Deux exécutions par modèle constituent un petit échantillon. Un modèle qui a réussi les deux pourrait échouer sur une troisième.
• Chaque modèle a été exécuté sur son palier 720p. Les paliers supérieurs peuvent modifier les détails, et sur certains modèles, le résultat.
• Le détecteur, les tests de couleur et le lecteur de texte peuvent se tromper. Nous avons examiné chaque erreur nous-mêmes et publions les chiffres bruts ci-dessous.
• Il ne note pas le goût. La lumière, la texture, la marche naturelle du chat et l'adéquation du son sont laissés à votre propre jugement visuel et auditif.

Pour le mouvement, nous avons mené un test séparé : un backflip debout à partir de la même image sur quatre modèles, dans Faire bouger des personnes de manière réaliste avec l'IA. Pour une voiture qui doit conserver sa forme, le test de passage est dans Une publicité automobile avec l'IA.

Méthode et données brutes

Objets et personnes : Mask R-CNN entraîné sur COCO, seuil de confiance 0,6 (0,7 pour les personnes), sur 24 images réparties sur le clip. Texte : le recognizer de texte macOS Vision avec la correction de langue désactivée, sur 12 images. Caméra : caractéristiques SIFT appariées entre 9 images de 10 % à 90 % du clip, avec un ajustement de similarité RANSAC, échelles multipliées. Couleur : pour le vélo, le cinquième des pixels les plus saturés à l'intérieur de son masque ; pour le parapluie, la teinte médiane des 40 % supérieurs de sa boîte à l'intérieur de son masque.

Deux tests de couleur ont changé pendant notre travail, et nous le mentionnons car ils ont modifié les résultats. Le premier test du vélo comptait chaque pixel saturé dans le masque, et le mur chaud visible entre les tubes a surpassé la peinture. Le premier test du parapluie a échoué sur le parapluie moutarde de Seedance 2.5 contre le mur de briques derrière son poteau. Les deux ont été corrigés pour mesurer l'objet, puis chaque clip a été renoté avec le code final. Les comptages à l'œil correspondaient au détecteur sur 10 des 12 clips ; sur les deux clips Veo 3.1, il comptait également une plante sur une table ou fusionnait deux pots.