Ein Prompt, sechs Videomodelle, neun überprüfbare Kriterien

Was wir gesendet haben

Ein Prompt, unverändert an sechs Text-zu-Video-Modelle am selben Morgen gesendet, vom selben Konto. Jeder Clip ist 16:9 und 6 Sekunden lang, auf der 720p-Stufe jedes Modells (768p bei Hailuo 3, was die kleinste Stufe ist). Der Ton wurde auf der Standardeinstellung jedes Modells gelassen. Jedes Modell lief zweimal.

A quiet bakery storefront on a cobblestone street in the early morning. Above the door, a dark green wooden sign reads BAKERY in large white capital letters. A red bicycle leans against the wall to the left of the door. Exactly three terracotta potted plants stand in a row to the right of the door. A small round cafe table with an open yellow umbrella stands on the pavement at the right of the frame. A ginger cat walks steadily along the pavement in front of the shop, from the left edge of the frame to the right edge. The camera slowly pushes in toward the door for the whole shot. Soft low sunlight from the left. No people anywhere in the shot. Photorealistic.

Die Modelle: Seedance 2.5, Kling v3, Veo 3.1, Wan 3.0, Grok Imagine Video 1.5 und Hailuo 3. Es gibt absichtlich keine Personen in der Szene, damit jeder Check von einem Tool gemessen statt beurteilt werden konnte.

So haben wir bewertet

Neun Checks, bestanden oder nicht bestanden, sodass ein Durchlauf 9 Punkte und ein Modell 18 Punkte erreichen kann. Acht werden von Tools gemessen. Einer, die Anzahl der Töpfe, wird mit dem Auge gezählt, weil der Detektor manchmal einen Topf in zwei aufteilte oder eine Pflanze auf einem Tisch zählte.

Das Fahrrad, der Regenschirm, das Schild und das Layout werden im ersten Drittel des Clips überprüft. Der Prompt verlangt, dass die Kamera auf die Szene zuzoomt, was die Ränder der Szene später abschneidet. Ein Regenschirm, der bei Sekunde vier aus dem Bild verschwindet, ist also kein Fehler.

Die Punktzahlen

Die einfachen Teile waren für alle einfach. Alle zwölf Clips schrieben BAKERY richtig, während das Schild im Bild war, malten ein rotes Fahrrad und einen gelben Regenschirm, stellten eine Reihe von drei Töpfen auf den Boden und ließen eine getigerte Katze von links nach rechts laufen. Die Fehler waren eine Person, die niemand angefordert hatte, eine Szene, die falsch herum angeordnet war, und eine Kamera, die sich in die falsche Richtung bewegte.

Jeder Clip

Drücke auf Wiedergabe bei einem beliebigen Clip. Nichts lädt, bis du es tust. Erste Durchläufe:

Zweite Durchläufe, gleicher Prompt, gleiche Einstellungen:

So sahen die Fehler aus

Was die Checks nicht erfassen

Ein Bewertungsraster sieht nur, was es misst. Diese Punkte fielen uns beim Prüfen der Fehlschläge auf, und für manche Aufgaben sind sie wichtiger als ein Bestehen oder Durchfallen.

• Wie langsam ist langsam? Der Prompt verlangte einen langsamen Zoom nach innen. Gemessen von 10% bis 90% des Clips wuchs das Bild bei Veo 3.1 um das 1,8- und 2,6-fache; die anderen wuchsen zwischen dem 1,10- und 1,45-fachen, abgesehen von Groks seitlichem ersten Durchlauf. Nach unserer Einschätzung ist Veos Bewegung nicht langsam, und im zweiten Durchlauf verlässt das Schild den oberen Bildrand.
• Unerwünschte Schriftzüge. Drei von zwölf Clips fügten Text hinzu, der keine echten Wörter sind: Fensterschriftzüge in Seedance 2.5s erstem Durchlauf, die der Textleser in jedem Bild anders las, und Speisekarten in Veo 3.1s und Wan 3.0s zweiten Durchläufen. Wenn dein Bild frei von Text sein muss, sage das im Prompt und prüfe es.
• Offen heißt offen. Groks erster Durchlauf zeigt einen gelben Regenschirm, der während des gesamten Clips geschlossen bleibt. Unser Detektor erkennt Regenschirme als offen oder geschlossen, daher bestand dies den Farb-Check. Wir haben es nur mit bloßem Auge bemerkt.
• Wohin die Katze geht. Im zweiten Durchlauf von Veo 3.1 dreht sich die Katze zur Kamera und füllt den Frame aus. Sie landet immer noch rechts, also hat sie bestanden.

Was du zurückbekommst

Gemessen mit ffprobe und ffmpeg an den gelieferten Dateien. Beide Durchläufe jedes Modells stimmten in Größe, Bildrate und Länge überein.

Zwei Punkte stechen heraus. Hailuo 3 liefert in der 768p-Stufe einen Clip, der länger als angefordert ist, bei etwa einem Viertel der Bitrate, die die meisten anderen nutzen. Grok und Kling gaben so leise Tonspuren zurück, dass sie nahezu lautlos sind; der Prompt forderte keinen Ton an, das ist also eine Tatsache, die man kennen sollte, kein Fehler.

Wie lange jeder dauerte

Was es kostet

Die oben genannten Preise werden live aus der Preisliste abgelesen, Stufe für Stufe, für einen 5-Sekunden-Clip. Unsere Clips waren auf der 720p-Stufe 6 Sekunden lang (768p bei Hailuo 3), daher kostete jeder ein Fünftel mehr als in dieser Zeile angegeben. Der Preis wird immer angezeigt, bevor du das Rendern bestätigst.

Was dieser Test dir nicht sagt

• Es ist ein Prompt und eine Art Szene: eine ruhige Straße, ein Tier, eine langsame Kamerabewegung. Hände, schnelle Action, Dialoge, mehrere Personen oder lange Clips können die Modelle anders bewerten.
• Es sind keine Personen darin, daher sagt es nichts darüber aus, wie ein Modell eine Person darstellt.
• Zwei Durchläufe pro Modell sind eine kleine Stichprobe. Ein Modell, das beide bestanden hat, könnte beim dritten scheitern.
• Es lief jedes Modell auf seiner 720p-Stufe. Höhere Stufen können Details verändern und bei manchen Modellen auch das Ergebnis.
• Der Detektor, die Farbtests und der Textleser können falsch liegen. Wir haben jeden Fehler selbst überprüft und veröffentlichen die Rohdaten unten.
• Es bewertet keinen Geschmack. Licht, Textur, wie natürlich die Katze läuft und wie der Sound passt, liegt in deinem eigenen Ermessen.

Für die Bewegung haben wir einen separaten Test durchgeführt: einen stehenden Rückwärtssalto aus demselben Bild bei vier Modellen, in KI-Personen realistisch bewegen. Für ein Auto, das seine Form beibehalten muss, findest du den Vorbeifahrt-Test in Ein Werbevideo mit KI.

Methode und Rohdaten

Objekte und Personen: Mask R-CNN, trainiert auf COCO, Konfidenz 0,6 (0,7 für Personen), auf 24 über den Clip verteilten Frames. Text: der macOS Vision Text Recognizer mit deaktivierter Sprachkorrektur, auf 12 Frames. Kamera: SIFT-Features, abgeglichen zwischen 9 Frames von 10 % bis 90 % des Clips, mit einer RANSAC-Ähnlichkeitsanpassung, Skalen multipliziert. Farbe: für das Fahrrad die am stärksten gesättigten 20 % der Pixel innerhalb seiner Maske; für den Regenschirm der Median-Hue der oberen 40 % seiner Box innerhalb seiner Maske.

Zwei Farbtests haben sich während der Arbeit geändert, und wir sagen das offen, weil sie die Ergebnisse beeinflusst haben. Der erste Fahrradtest zählte jeden gesättigten Pixel in der Maske, und die warme Wand, die zwischen den Rohren sichtbar war, überstimmte die Farbe. Der erste Regenschirmtest ließ Seedance 2.5 mit dem senfgelben Regenschirm vor der Ziegelwand hinter dem Griff scheitern. Beide wurden korrigiert, um das Objekt zu messen, und dann wurde jeder Clip mit dem endgültigen Code erneut bewertet. Die visuellen Zählungen stimmten bei 10 von 12 Clips mit dem Detektor überein; bei beiden Veo 3.1-Clips zählte er auch eine Pflanze auf einem Tisch oder verschmolz zwei Töpfe.