1つのプロンプト、6つの動画モデル、9つの測定チェック

送信した内容

1つのプロンプトを、同じ朝に、同じアカウントから6つのテキストから動画へのモデルへ変更せずに送信しました。すべてのクリップは16:9で6秒間、各モデルの720pティア（Hailuo 3では最小ティアである768p）で生成されています。音声は各モデルのデフォルト設定のままです。各モデルで2回実行しました。

A quiet bakery storefront on a cobblestone street in the early morning. Above the door, a dark green wooden sign reads BAKERY in large white capital letters. A red bicycle leans against the wall to the left of the door. Exactly three terracotta potted plants stand in a row to the right of the door. A small round cafe table with an open yellow umbrella stands on the pavement at the right of the frame. A ginger cat walks steadily along the pavement in front of the shop, from the left edge of the frame to the right edge. The camera slowly pushes in toward the door for the whole shot. Soft low sunlight from the left. No people anywhere in the shot. Photorealistic.

モデル: Seedance 2.5、Kling v3、Veo 3.1、Wan 3.0、Grok Imagine Video 1.5、Hailuo 3。意図的にシーン内に人物を含めませんでした。これにより、すべてのチェック項目をツールで測定でき、主観的な判断を避けられます。

採点方法

9つのチェック項目があり、合格か不合格かで判定します。そのため、1回の実行で最大9点、モデル全体で最大18点となります。そのうち8つはツールで測定します。1つ（鉢の数のカウント）は目視で確認しました。検出器が1つの鉢を2つに分割したり、テーブル上の植物を鉢としてカウントしたりすることがあるためです。

自転車、傘、看板、レイアウトはクリップの最初の3分の1でチェックされます。プロンプトではカメラのプッシュインを指示しているため、シーンの端が後でクロップされます。したがって、4秒目にフレームから外れた傘は失敗ではありません。

スコア

簡単な部分はどのモデルも問題なくできました。12本のクリップすべてで、看板が画面内にある間に「BAKERY」を正しく表記し、赤い自転車と黄色い傘を描き、地面に3つの鉢植えを並べ、茶トラの猫を左から右へ歩かせました。一方、失敗したのは、誰も頼んでいない人物が映り込んだこと、シーンの配置が左右逆になったこと、そしてカメラが意図と異なる方向へ動いたことでした。

すべてのクリップ

任意のクリップで再生ボタンを押してください。押すまでは何も読み込まれません。初回の実行結果：

2回目の実行：同じプロンプト、同じ設定

失敗例の詳細

チェック項目で検出できないもの

評価基準は、測定対象のみを捉えます。これらの問題は、見逃しを確認する際に見つかったもので、合否の判定よりも重要な場合があります。

• どの程度遅いのか。 プロンプトでは、ゆっくりとズームインするよう指示しました。クリップの10%から90%までの範囲で測定すると、Veo 3.1の映像は1.8倍と2.6倍に拡大しました。Grokの1回目の横方向の移動を除き、他のモデルは1.10倍から1.45倍の範囲で拡大しました。私たちの判断では、Veoの動きは遅くなく、2回目の実行では看板がフレームの上部から消えてしまいます。
• 誰も要求していない文字。 12本のクリップのうち3本に、実際の単語ではないテキストが追加されました。Seedance 2.5の1回目の実行では窓の文字が、テキストリーダーによってフレームごとに異なる読み取り結果となり、Veo 3.1とWan 3.0の2回目の実行ではメニューボードが表示されました。フレーム内にテキストがない状態が必要な場合は、プロンプトでその旨を指定し、確認してください。
• 「開く」とは開くことです。 Grokの1回目の実行では、黄色い傘がクリップ全体を通じて閉じたままです。私たちの検出器は傘の開閉状態を判定するため、色チェックは合格しました。これは目視でしか確認できませんでした。
• 猫の動き。 Veo 3.1の2回目の実行では、猫がカメラの方を向き、フレーム全体を占めます。最終的には右側に位置するため、合格となりました。

得られる結果

納品されたファイルに対してffprobeとffmpegで測定しました。各モデルの2回の実行は、サイズ、フレームレート、長さともに一致しました。

2つの点が際立っています。Hailuo 3 は 768p ティアで、依頼した長さより長いクリップを返し、他の多くのモデルが使用するビットレートの約4分の1で出力しました。Grok と Kling は非常に静かなトラックを返しましたが、プロンプトでは音声を要求していなかったため、これは欠点ではなく知っておくべき事実です。

各モデルの所要時間

コスト

上記の料金は、5秒のクリップについて、価格表からティアごとにライブで読み取ったものです。当社のクリップは720pティア（Hailuo 3では768p）で6秒だったため、それぞれ記載の料金より1/5高くなりました。レンダリングを確定する前に、必ず料金が表示されます。

このテストが伝えないこと

• プロンプトは1つ、シーンの種類も1つです。静止した街路、動物1匹、ゆっくりとしたカメラワークです。手、速いアクション、会話、複数人の登場、長いクリップでは、モデルの順位が変わる可能性があります。
• 人物が含まれていないため、各モデルが人物をどのように描くかについては何も示していません。
• 各モデルにつき2回の実行は、サンプルサイズが小さいです。両方合格したモデルでも、3回目で失敗する可能性があります。
• 各モデルは720pティアで実行しました。上位ティアではディテールが変わり、モデルによっては結果も変わる可能性があります。
• 検出器、色テスト、テキストリーダーは誤判定する可能性があります。すべての誤判定を当社で確認し、生データを以下に公開しています。
• 美的感覚は評価していません。光、質感、猫の歩行の自然さ、音の適合性は、お客様自身の目と耳で判断してください。

動きについては、別のテストを実施しました。同じフレームから4つのモデルで立ちバック宙を1回行い、AIで人物をリアルに動かす方法で検証しました。形状を維持する必要がある車については、AIで作る自動車コマーシャルで走行テストを行いました。

手法と生データ

物体と人物: COCOで訓練したMask R-CNNを使用し、信頼度スコアは0.6（人物は0.7）に設定しました。クリップ全体から24フレームを抽出して評価しました。テキスト: macOS Visionのテキスト認識機能を使用し、言語補正はオフにしました。12フレームで評価しました。カメラ: クリップの10%から90%の範囲にある9フレーム間でSIFT特徴点をマッチングし、RANSACによる相似変換フィッティングを行い、スケールを掛け合わせました。色: 自転車については、マスク内の最も彩度の高い5分の1のピクセルを使用しました。傘については、マスク内のボックスの上部40%の中央値の色相を使用しました。

作業中に2つの色テストが変更されました。結果が変わったため、そのことを明記します。最初の自転車テストでは、マスク内のすべての飽和ピクセルをカウントしていましたが、フレームの間に見えた暖色の壁がペイントよりも多く検出されました。最初の傘テストでは、Seedance 2.5のマスタード色の傘が、その支柱の後ろにあるレンガの壁で失敗しました。両方ともオブジェクトを測定するように修正され、その後、最終的なコードですべてのクリップが再採点されました。目視でのカウントは12本のクリップのうち10本で検出器と一致しましたが、Veo 3.1の2本のクリップでは、テーブル上の植物もカウントされたり、2つの鉢が統合されたりしました。