Un prompt, sei modelli video, nove verifiche misurate

Cosa abbiamo inviato

Un prompt, inviato senza modifiche a sei modelli text-to-video la stessa mattina, dallo stesso account. Ogni clip è in formato 16:9 e dura 6 secondi, sul livello 720p di ogni modello (768p su Hailuo 3, che è il suo livello più basso). L'audio è stato lasciato al valore predefinito di ogni modello. Ogni modello è stato eseguito due volte.

A quiet bakery storefront on a cobblestone street in the early morning. Above the door, a dark green wooden sign reads BAKERY in large white capital letters. A red bicycle leans against the wall to the left of the door. Exactly three terracotta potted plants stand in a row to the right of the door. A small round cafe table with an open yellow umbrella stands on the pavement at the right of the frame. A ginger cat walks steadily along the pavement in front of the shop, from the left edge of the frame to the right edge. The camera slowly pushes in toward the door for the whole shot. Soft low sunlight from the left. No people anywhere in the shot. Photorealistic.

I modelli: Seedance 2.5, Kling v3, Veo 3.1, Wan 3.0, Grok Imagine Video 1.5 e Hailuo 3. Non ci sono persone nella scena di proposito, così ogni controllo poteva essere misurato da uno strumento anziché giudicato.

Come abbiamo assegnato i punteggi

Nove controlli, superati o falliti, quindi un'esecuzione ottiene un punteggio su 9 e un modello su 18. Otto sono misurati da strumenti. Uno, il conteggio dei vasi, è stato contato a occhio, perché il rilevatore a volte divideva un vaso in due o contava una pianta su un tavolo.

La bicicletta, l'ombrello, il cartello e il layout vengono controllati nel primo terzo della clip. Il prompt chiede alla camera di avvicinarsi, il che ritaglia i bordi della scena in seguito, quindi un ombrello che esce dal campo al quarto secondo non ha fallito.

I punteggi

Le parti facili sono state facili per tutti. Tutti i dodici clip hanno scritto correttamente BAKERY mentre l'insegna era inquadrata, hanno disegnato una bicicletta rossa e un ombrello giallo, hanno messo una fila di tre vasi a terra e hanno fatto camminare un gatto rosso da sinistra a destra. Gli errori sono stati una persona non richiesta, una scena disposta al contrario e una camera che si è mossa nel modo sbagliato.

Ogni clip

Premi play su qualsiasi clip. Nulla viene caricato finché non lo fai. Prime esecuzioni:

Secondi run, stesso prompt, stesse impostazioni:

Come apparivano gli errori

Cosa non rilevano i controlli

Una griglia di valutazione vede solo ciò che misura. Questi aspetti sono emersi mentre analizzavamo gli errori e contano più di un semplice successo o fallimento per alcuni lavori.

• Quanto è lento il lento. Il prompt chiedeva una spinta lenta verso l'interno. Misurando dal 10% al 90% della clip, l'immagine di Veo 3.1 è cresciuta di 1,8 e 2,6 volte; le altre sono cresciute tra 1,10 e 1,45 volte, a parte la prima esecuzione laterale di Grok. Secondo il nostro giudizio, il movimento di Veo non è lento e nella seconda esecuzione il cartello esce dalla parte superiore del fotogramma.
• Testo non richiesto. Tre delle dodici clip hanno aggiunto testo che non sono parole reali: la scritta sulla finestra nella prima esecuzione di Seedance 2.5, che il lettore di testo interpretava diversamente in ogni fotogramma, e i menù a lavagna nelle seconde esecuzioni di Veo 3.1 e Wan 3.0. Se il tuo fotogramma deve essere privo di testo, specificalo nel prompt e verifica.
• Aperto significa aperto. La prima esecuzione di Grok mostra un ombrello giallo che rimane chiuso per tutta la clip. Il nostro rilevatore trova ombrelli aperti o chiusi, quindi ha superato il controllo del colore. Lo abbiamo notato solo a occhio.
• Dove va il gatto. Nella seconda esecuzione di Veo 3.1, il gatto si gira verso la telecamera e riempie il fotogramma. Finisce comunque sulla destra, quindi ha superato il test.

Cosa ottieni

Misurato con ffprobe e ffmpeg sui file così come consegnati. Entrambe le esecuzioni di ogni modello corrispondevano per dimensioni, frequenza dei fotogrammi e durata.

Due aspetti spiccano. Hailuo 3, nel suo livello 768p, restituisce una clip più lunga di quella richiesta, con un bitrate circa un quarto di quello usato dalla maggior parte degli altri. Grok e Kling hanno restituito tracce così silenziose da essere quasi mute; il prompt non richiedeva alcun suono, quindi è un dato da conoscere piuttosto che un difetto.

Durata di ogni generazione

Costi

Le tariffe sopra sono lette in tempo reale dal listino prezzi, livello per livello, per una clip di 5 secondi. Le nostre clip sono durate 6 secondi sul livello 720p (768p su Hailuo 3), quindi ogni costo era un quinto superiore alla riga indicata qui. Il prezzo è sempre mostrato prima di confermare un render.

Cosa questo test non ti dice

• Si tratta di un solo prompt e di un solo tipo di scena: una strada ferma, un animale, un movimento lento della camera. Mani, azione veloce, dialoghi, più persone o clip lunghe possono classificare i modelli in modo diverso.
• Non ci sono persone, quindi non dice nulla su come ogni modello disegna una persona.
• Due esecuzioni per modello sono un campione piccolo. Un modello che ha superato entrambe potrebbe fallire alla terza.
• Ha eseguito ogni modello al suo livello 720p. I livelli superiori possono cambiare i dettagli e, su alcuni modelli, il risultato.
• Il rilevatore, i test del colore e il lettore di testo possono sbagliare. Abbiamo controllato noi stessi ogni errore e pubblichiamo i dati grezzi qui sotto.
• Non valuta il gusto. Luce, texture, quanto è naturale il movimento del gatto e come si adatta l'audio sono cose per i tuoi occhi e le tue orecchie.

Per il movimento, abbiamo eseguito un test separato: un backflip da fermo con lo stesso fotogramma su quattro modelli, in Far muovere le persone AI in modo realistico. Per un'auto che deve mantenere la sua forma, il test di passaggio è in Uno spot automobilistico con AI.

Metodo e dati grezzi

Oggetti e persone: Mask R-CNN addestrato su COCO, confidenza 0.6 (0.7 per le persone), su 24 fotogrammi distribuiti sulla clip. Testo: il riconoscitore di testo di macOS Vision con la correzione della lingua disattivata, su 12 fotogrammi. Fotocamera: caratteristiche SIFT confrontate tra 9 fotogrammi dal 10% al 90% della clip, con un adattamento di similarità RANSAC, scale moltiplicate. Colore: per la bicicletta, il quinto più saturo dei pixel all'interno della sua maschera; per l'ombrello, la tonalità mediana del 40% superiore della sua casella all'interno della sua maschera.

Due test di colore sono cambiati durante il lavoro, e lo diciamo perché hanno modificato i risultati. Il primo test sulla bicicletta contava ogni pixel saturo nella maschera, e il muro caldo visibile tra i tubi ha prevalso sulla vernice. Il primo test sull'ombrello ha fallito l'ombrello color senape di Seedance 2.5 sul muro di mattoni dietro il suo manico. Entrambi sono stati corretti per misurare l'oggetto, poi ogni clip è stata rivalutata con il codice finale. I conteggi a occhio nudo corrispondevano al rilevatore su 10 delle 12 clip; su entrambe le clip di Veo 3.1 ha anche contato una pianta su un tavolo o ha unito due vasi.