أمر نصي واحد، ستة نماذج فيديو، تسعة فحوصات دقيقة

ما أرسلناه

أمر نصي واحد، أُرسل دون تغيير إلى ستة نماذج تحويل النص إلى فيديو في صباح اليوم نفسه، من الحساب نفسه. كل مقطع بنسبة عرض إلى ارتفاع 16:9 ومدته 6 ثوانٍ، على فئة الدقة 720p لكل نموذج (768p على Hailuo 3، وهي أدنى فئة دقة لديه). تُرك الصوت على الإعداد الافتراضي لكل نموذج. تم تشغيل كل نموذج مرتين.

A quiet bakery storefront on a cobblestone street in the early morning. Above the door, a dark green wooden sign reads BAKERY in large white capital letters. A red bicycle leans against the wall to the left of the door. Exactly three terracotta potted plants stand in a row to the right of the door. A small round cafe table with an open yellow umbrella stands on the pavement at the right of the frame. A ginger cat walks steadily along the pavement in front of the shop, from the left edge of the frame to the right edge. The camera slowly pushes in toward the door for the whole shot. Soft low sunlight from the left. No people anywhere in the shot. Photorealistic.

النماذج: Seedance 2.5، Kling v3، Veo 3.1، Wan 3.0، Grok Imagine Video 1.5 وHailuo 3. لا يوجد أشخاص في المشهد عمدًا، حتى يمكن قياس كل فحص بواسطة أداة بدلاً من الحكم عليه.

كيف قمنا بالتقييم

تسعة فحوصات، ناجح أو فاشل، بحيث يحصل التشغيل على نتيجة من أصل 9 والنموذج على نتيجة من أصل 18. يتم قياس ثمانية منها بواسطة أدوات. واحد فقط، وهو عدد الأواني، يُحصى بالعين، لأن أداة الكشف كانت أحيانًا تقسم إناءً واحدًا إلى اثنين أو تحسب نبتة على الطاولة.

يتم فحص الدراجة والمظلة واللافتة والتخطيط في الثلث الأول من المقطع. يطلب الأمر النصي من الكاميرا التحرك نحو الداخل، مما يؤدي إلى قص حواف المشهد لاحقاً، لذا فإن المظلة التي تخرج من الإطار عند الثانية الرابعة لم تفشل.

النتائج

كانت الأجزاء السهلة سهلة للجميع. جميع المقاطع الاثني عشر كتبت كلمة BAKERY بشكل صحيح أثناء ظهور اللافتة في الإطار، ورسمت دراجة هوائية حمراء ومظلة صفراء، ووضعت صفًا من ثلاث أوانٍ على الأرض، وجعلت قطة برتقالية تمشي من اليسار إلى اليمين. كانت الأخطاء تتمثل في ظهور شخص لم يطلبه أحد، وترتيب المشهد بشكل معكوس، وتحرك الكاميرا في الاتجاه الخاطئ.

كل مقطع

اضغط على التشغيل لأي مقطع. لا يتم تحميل أي شيء حتى تقوم بذلك. التشغيلات الأولى:

التشغيلات الثانية، نفس الأمر النصي، نفس الإعدادات:

كيف بدت الأخطاء

ما لا تلتقطه الفحوصات

لا ترى المعايير إلا ما تقيسه. ظهرت هذه النقاط أثناء فحصنا للإخفاقات، وهي أكثر أهمية لبعض المهام من مجرد النجاح أو الفشل.

• ما مدى بطء الحركة؟ طلب الأمر النصي حركة بطيئة للداخل. عند القياس من 10% إلى 90% من المقطع، زادت صورة Veo 3.1 بمقدار 1.8 و2.6 مرة؛ بينما زادت الصور الأخرى بمقدار يتراوح بين 1.10 و1.45 مرة، باستثناء التشغيل الجانبي الأول لـ Grok. من خلال تقديرنا، حركة Veo ليست بطيئة، وفي تشغيلها الثاني تخرج اللافتة من أعلى الإطار.
• نصوص لم يطلبها أحد. أضافت ثلاثة من أصل اثني عشر مقطعًا نصًا لا يشكل كلمات حقيقية: نصوص على النوافذ في التشغيل الأول لـ Seedance 2.5، والتي قرأها قارئ النص بشكل مختلف في كل إطار، ولوحات القوائم في التشغيلين الثانيين لـ Veo 3.1 وWan 3.0. إذا كان يجب أن يكون إطارك خاليًا من النص، فاذكر ذلك في الأمر النصي وتحقق منه.
• مفتوح يعني مفتوحًا. يظهر التشغيل الأول لـ Grok مظلة صفراء تبقى مغلقة طوال المقطع. يكتشف كاشفنا المظلات سواء كانت مفتوحة أو مغلقة، لذا نجح هذا في فحص اللون. لم نلاحظ ذلك إلا بالعين المجردة.
• إلى أين يتجه القط. في التشغيل الثاني لـ Veo 3.1، يستدير القط نحو الكاميرا ويملأ الإطار. لا يزال ينتهي به المطاف إلى اليمين، لذا فقد نجح.

ما تحصل عليه

تم القياس باستخدام ffprobe و ffmpeg على الملفات كما تم تسليمها. تطابق كلا التشغيلين لكل نموذج في الحجم ومعدل الإطارات والطول.

يبرز أمران. يعيد Hailuo 3 في مستوى 768p مقطعاً أطول من المطلوب، بمعدل بتات يقارب ربع ما تستخدمه معظم النماذج الأخرى. أعادت Grok وKling مسارات صوتية هادئة جداً لدرجة أنها قريبة من الصمت؛ لم يطلب الأمر النصي أي صوت، لذا هذه معلومة يجب معرفتها وليس عيباً.

كم استغرق كل نموذج

كم يكلف

تُقرأ الأسعار أعلاه مباشرة من قائمة الأسعار، حسب كل فئة، لمقطع مدته 5 ثوانٍ. كانت مقاطعنا مدتها 6 ثوانٍ على فئة 720p (768p على Hailuo 3)، لذا كان تكلفة كل مقطع أعلى بخمس التكلفة المذكورة هنا. يظهر السعر دائمًا قبل تأكيد عملية العرض.

ما لا يخبرك به هذا الاختبار

• إنه أمر نصي واحد ونوع واحد من المشاهد: شارع ثابت، حيوان واحد، وحركة كاميرا بطيئة. قد تختلف ترتيبات النماذج عند وجود الأيدي، أو الحركة السريعة، أو الحوار، أو عدة أشخاص، أو مقاطع طويلة.
• لا يوجد فيه أشخاص، لذا لا يخبرك بشيء عن كيفية رسم أي نموذج للشخص.
• تشغيل كل نموذج مرتين هو عينة صغيرة. قد يفشل نموذج نجح في المرتين عند المحاولة الثالثة.
• تم تشغيل كل نموذج على فئة 720p الخاصة به. قد تغير الفئات الأعلى التفاصيل، وفي بعض النماذج، النتيجة.
• قد يخطئ الكاشف، واختبارات الألوان، وقارئ النص. لقد راجعنا كل خطأ بأنفسنا وننشر الأرقام الأولية أدناه.
• لا يقيّم الاختبار الذوق. الإضاءة، والملمس، وطبيعة حركة القط، وتوافق الصوت، أمور متروكة لعينيك وأذنيك.

للحركة، أجرينا اختبارًا منفصلًا: قفزة خلفية واقفة واحدة من نفس الإطار على أربعة نماذج، في اجعل شخصيات الذكاء الاصطناعي تتحرك بشكل واقعي. أما للسيارة التي يجب أن تحافظ على شكلها، فاختبار القيادة موجود في إعلان سيارة بالذكاء الاصطناعي.

المنهجية والأرقام الأولية

الأشياء والأشخاص: Mask R-CNN مدرب على COCO، بثقة 0.6 (0.7 للأشخاص)، على 24 إطارًا موزعة على المقطع. النص: أداة التعرف على النص في macOS Vision مع إيقاف تصحيح اللغة، على 12 إطارًا. الكاميرا: مطابقة ميزات SIFT بين 9 إطارات من 10% إلى 90% من المقطع، مع ملاءمة تشابه RANSAC، وضرب المقاييس. اللون: بالنسبة للدراجة، أعلى 20% من البكسلات تشبعًا داخل قناعها؛ وبالنسبة للمظلة، متوسط درجة اللون (Hue) لأعلى 40% من صندوقها داخل قناعها.

تغيّر اختباران للألوان أثناء عملنا، ونذكر ذلك لأنهما أثّرا على النتائج. كان اختبار الدراجة الأول يحسب كل بكسل مشبع في القناع، وكان الجدار الدافئ الظاهر بين الأنابيب يتفوق على اللون. فشل اختبار المظلة الأول في مظلة Seedance 2.5 ذات اللون الخردلي بسبب الجدار الطوبي خلف عمودها. تم إصلاح كلا الاختبارين لقياس العنصر، ثم أعيد تقييم كل مقطع باستخدام الكود النهائي. تطابقت الحسابات البصرية مع الكاشف في 10 من أصل 12 مقطعاً؛ وفي كلا مقطعي Veo 3.1، قام الكاشف أيضاً بحساب نبتة على طاولة أو دمج أصيصين.