Um prompt, seis modelos de vídeo, nove verificações mensuráveis

O que enviamos

Um prompt, enviado sem alterações para seis modelos de texto para vídeo na mesma manhã, a partir da mesma conta. Cada clipe tem proporção 16:9 e 6 segundos de duração, no nível 720p de cada modelo (768p no Hailuo 3, cujo menor nível é esse). O som foi deixado no padrão de cada modelo. Cada modelo foi executado duas vezes.

A quiet bakery storefront on a cobblestone street in the early morning. Above the door, a dark green wooden sign reads BAKERY in large white capital letters. A red bicycle leans against the wall to the left of the door. Exactly three terracotta potted plants stand in a row to the right of the door. A small round cafe table with an open yellow umbrella stands on the pavement at the right of the frame. A ginger cat walks steadily along the pavement in front of the shop, from the left edge of the frame to the right edge. The camera slowly pushes in toward the door for the whole shot. Soft low sunlight from the left. No people anywhere in the shot. Photorealistic.

Os modelos: Seedance 2.5, Kling v3, Veo 3.1, Wan 3.0, Grok Imagine Video 1.5 e Hailuo 3. Não há pessoas na cena de propósito, para que cada verificação pudesse ser medida por uma ferramenta, em vez de julgada.

Como pontuamos

Nove verificações, aprovadas ou reprovadas, de modo que uma execução pontua de 0 a 9 e um modelo de 0 a 18. Oito são medidas por ferramentas. Uma, a contagem de vasos, é contada a olho, porque o detector às vezes dividia um vaso em dois ou contava uma planta sobre uma mesa.

A bicicleta, o guarda-chuva, a placa e o layout são verificados no primeiro terço do clipe. O prompt pede que a câmera avance, o que corta as bordas da cena mais tarde, então um guarda-chuva que sai do quadro no quarto segundo não falhou.

As pontuações

As partes fáceis foram fáceis para todos. Os doze clipes escreveram BAKERY corretamente enquanto a placa estava no quadro, pintaram uma bicicleta vermelha e um guarda-chuva amarelo, colocaram uma fileira de três vasos no chão e fizeram um gato ruivo caminhar da esquerda para a direita. As falhas foram uma pessoa que ninguém pediu, uma cena montada de forma invertida e uma câmera que se moveu na direção errada.

Cada clipe

Dê play em qualquer clipe. Nada carrega até você fazer isso. Primeiras execuções:

Segundas execuções, mesmo prompt, mesmas configurações:

Como foram as falhas

O que as verificações não capturam

Uma rubrica só vê o que ela mede. Isso surgiu enquanto verificávamos as falhas, e importa mais para alguns trabalhos do que um passe ou falha.

• Quão lento é lento. O prompt pediu um push in lento. Medido de 10% a 90% do clipe, a imagem do Veo 3.1 cresceu 1,8 e 2,6 vezes; as outras cresceram entre 1,10 e 1,45 vezes, exceto pela primeira execução lateral do Grok. Pelo nosso julgamento, o movimento do Veo não é lento, e na sua segunda execução o letreiro sai do topo do quadro.
• Letras que ninguém pediu. Três de doze clipes adicionaram texto que não são palavras reais: letras de janela na primeira execução do Seedance 2.5, que o leitor de texto interpretou de forma diferente em cada quadro, e placas de menu na segunda execução do Veo 3.1 e do Wan 3.0. Se o seu quadro precisa estar livre de texto, diga isso no prompt e verifique.
• Aberto significa aberto. A primeira execução do Grok mostra um guarda-chuva amarelo que permanece fechado durante todo o clipe. Nosso detector encontra guarda-chuvas abertos ou fechados, então isso passou na verificação de cor. Só percebemos isso a olho.
• Para onde o gato vai. Na segunda execução do Veo 3.1, o gato se vira para a câmera e preenche o quadro. Ele ainda acaba à direita, então passou.

O que você recebe

Medido com ffprobe e ffmpeg nos arquivos entregues. As duas execuções de cada modelo coincidiram em tamanho, taxa de quadros e duração.

Dois pontos se destacam. O Hailuo 3 em sua faixa de 768p retorna um clipe mais longo do que o solicitado, com cerca de um quarto da taxa de bits usada pela maioria dos outros. O Grok e o Kling retornaram faixas tão silenciosas que estão quase sem som; o prompt não pediu nenhum áudio, então isso é um fato a saber, não uma falha.

Quanto tempo cada um levou

Quanto custa

As taxas acima são lidas ao vivo da tabela de preços, por nível, para um clipe de 5 segundos. Nossos clipes tinham 6 segundos no nível 720p (768p no Hailuo 3), então cada um custou um quinto a mais do que o valor listado aqui. O preço é sempre exibido antes de você confirmar a renderização.

O que este teste não informa

• É um prompt e um tipo de cena: uma rua parada, um animal, um movimento de câmera lento. Mãos, ação rápida, diálogo, várias pessoas ou clipes longos podem classificar os modelos de forma diferente.
• Não há pessoas na cena, então não diz nada sobre como qualquer modelo desenha uma pessoa.
• Duas execuções por modelo é uma amostra pequena. Um modelo que passou nas duas pode falhar na terceira.
• Cada modelo foi executado em seu nível 720p. Níveis superiores podem alterar o detalhe e, em alguns modelos, o resultado.
• O detector, os testes de cor e o leitor de texto podem estar errados. Examinamos cada falha pessoalmente e publicamos os números brutos abaixo.
• Não avalia o gosto. Luz, textura, como o gato anda naturalmente e como o som se encaixa dependem dos seus próprios olhos e ouvidos.

Para movimento, executamos um teste separado: um backflip em pé a partir do mesmo quadro em quatro modelos, em Fazer pessoas se moverem de forma realista com IA. Para um carro que precisa manter sua forma, o teste de passagem está em Um comercial de carro com IA.

Método e números brutos

Objetos e pessoas: Mask R-CNN treinado no COCO, confiança 0.6 (0.7 para pessoas), em 24 quadros distribuídos ao longo do clipe. Texto: o reconhecedor de texto do macOS Vision com correção de idioma desativada, em 12 quadros. Câmera: características SIFT correspondidas entre 9 quadros de 10% a 90% do clipe, com um ajuste de similaridade RANSAC, escalas multiplicadas. Cor: para a bicicleta, o quinto mais saturado dos pixels dentro da sua máscara; para o guarda-chuva, a matiz mediana dos 40% superiores da sua caixa dentro da sua máscara.

Dois testes de cor mudaram enquanto trabalhávamos, e dizemos isso porque alteraram os resultados. O primeiro teste da bicicleta contava cada pixel saturado na máscara, e a parede quente aparecendo entre os tubos superava a pintura. O primeiro teste do guarda-chuva falhou no guarda-chuva mostarda do Seedance 2.5 contra a parede de tijolos atrás de seu cabo. Ambos foram corrigidos para medir o objeto, e então cada clipe foi pontuado novamente com o código final. As contagens a olho nu coincidiram com o detector em 10 de 12 clipes; nos dois clipes do Veo 3.1, ele também contou uma planta sobre uma mesa ou fundiu dois vasos.