एक प्रॉम्प्ट, छह वीडियो मॉडल, नौ मापे गए जांच

हमने क्या भेजा

एक प्रॉम्प्ट, उसी सुबह, उसी अकाउंट से छह टेक्स्ट-टू-वीडियो मॉडल्स को बिना बदलाव के भेजा गया। हर क्लिप 16:9 और 6 सेकंड लंबी है, प्रत्येक मॉडल के 720p टियर पर (Hailuo 3 पर 768p, जो कि इसका सबसे छोटा टियर है)। साउंड को प्रत्येक मॉडल के डिफ़ॉल्ट पर छोड़ दिया गया। प्रत्येक मॉडल दो बार चला।

A quiet bakery storefront on a cobblestone street in the early morning. Above the door, a dark green wooden sign reads BAKERY in large white capital letters. A red bicycle leans against the wall to the left of the door. Exactly three terracotta potted plants stand in a row to the right of the door. A small round cafe table with an open yellow umbrella stands on the pavement at the right of the frame. A ginger cat walks steadily along the pavement in front of the shop, from the left edge of the frame to the right edge. The camera slowly pushes in toward the door for the whole shot. Soft low sunlight from the left. No people anywhere in the shot. Photorealistic.

मॉडल्स: Seedance 2.5, Kling v3, Veo 3.1, Wan 3.0, Grok Imagine Video 1.5 और Hailuo 3। दृश्य में जानबूझकर कोई लोग नहीं हैं, ताकि हर चेक को एक टूल द्वारा मापा जा सके, न कि आंखों से आंका जा सके।

हमने इसे कैसे स्कोर किया

नौ चेक्स, पास या फेल, ताकि एक रन 9 में से स्कोर करे और एक मॉडल 18 में से। आठ को टूल्स द्वारा मापा जाता है। एक, बर्तनों की गिनती, आंखों से की जाती है, क्योंकि डिटेक्टर कभी-कभी एक बर्तन को दो में बांट देता था या टेबल पर रखे पौधे को गिन लेता था।

साइकिल, छाता, साइन और लेआउट की जांच क्लिप के पहले एक-तिहाई हिस्से में की जाती है। प्रॉम्प्ट कैमरे को अंदर की ओर बढ़ने के लिए कहता है, जिससे दृश्य के किनारे बाद में क्रॉप हो जाते हैं, इसलिए चौथे सेकंड में फ्रेम से बाहर निकलने वाला छाता असफल नहीं माना जाता है।

स्कोर

आसान हिस्से सभी के लिए आसान थे। सभी बारह क्लिप्स में जब साइन फ्रेम में था, तो BAKERY सही स्पेल किया गया, एक लाल साइकिल और एक पीली छाता बनाई गई, जमीन पर तीन बर्तनों की एक कतार रखी गई, और एक नारंगी बिल्ली को बाएं से दाएं चलाया गया। चूकें एक ऐसा व्यक्ति थी जिसकी किसी ने मांग नहीं की थी, एक ऐसा दृश्य जो गलत तरीके से व्यवस्थित था, और एक कैमरा जो गलत दिशा में चला।

हर क्लिप

किसी भी क्लिप पर प्ले दबाएं। जब तक आप नहीं दबाते, कुछ भी लोड नहीं होता। पहली रन:

दूसरे रन, वही प्रॉम्प्ट, वही सेटिंग्स:

गलतियाँ कैसी दिखती थीं

जो जांच पकड़ नहीं पातीं

रूब्रिक केवल उन्हीं चीज़ों को देखता है जिन्हें वह मापता है। ये बिंदु हमारी जांच के दौरान सामने आए, और कुछ कार्यों के लिए पास या फेल होने से कहीं ज़्यादा मायने रखते हैं।

• धीमा कितना धीमा है? प्रॉम्प्ट में धीमी इन-पुश मांगी गई थी। क्लिप के 10% से 90% तक मापने पर, Veo 3.1 की तस्वीर 1.8 और 2.6 गुना बढ़ी; अन्य मॉडल 1.10 से 1.45 गुना के बीच बढ़े, सिवाय Grok के पहले रन के, जो साइडवेज़ था। हमारे अनुमान से, Veo की मूवमेंट धीमी नहीं है, और उसके दूसरे रन में साइन फ्रेम के शीर्ष से बाहर चला जाता है।
• बिना मांगे अक्षर। बारह में से तीन क्लिपों में ऐसा टेक्स्ट जोड़ा गया जो असली शब्द नहीं थे: Seedance 2.5 के पहले रन में विंडो लेटरिंग, जिसे टेक्स्ट रीडर ने हर फ्रेम में अलग-अलग पढ़ा, और Veo 3.1 तथा Wan 3.0 के दूसरे रन में मेनू बोर्ड। यदि आपके फ्रेम में टेक्स्ट नहीं होना चाहिए, तो इसे प्रॉम्प्ट में स्पष्ट रूप से बताएं और जांच करें।
• खुला मतलब खुला। Grok का पहला रन एक पीला छाता दिखाता है जो पूरी क्लिप में बंद रहता है। हमारा डिटेक्टर छाते को खुला या बंद पहचानता है, इसलिए यह कलर चेक पास हो गया। हमने इसे केवल नज़र से पकड़ा।
• कैट कहाँ जाती है। Veo 3.1 के दूसरे रन में कैट कैमरे की ओर मुड़ती है और फ़्रेम को भर देती है। यह अभी भी दाईं ओर समाप्त होती है, इसलिए यह पास हो गई।

आपको क्या मिलता है

डिलीवर की गई फाइलों पर ffprobe और ffmpeg से मापा गया। प्रत्येक मॉडल के दोनों रन साइज़, फ्रेम रेट और लंबाई में मेल खाते थे।

दो बातें विशेष रूप से ध्यान आकर्षित करती हैं। Hailuo 3 अपने 768p टियर पर अनुरोध से लंबा क्लिप लौटाता है, जो कि अधिकांश अन्य मॉडलों द्वारा उपयोग की जाने वाली बिटरेट का लगभग एक चौथाई है। Grok और Kling ने इतनी शांत ट्रैक लौटाईं कि वे लगभग मौन हैं; प्रॉम्प्ट में किसी ध्वनि का अनुरोध नहीं किया गया था, इसलिए यह एक तथ्य है जिसे जानना चाहिए, न कि कोई दोष।

हर एक को कितना समय लगा

इसकी कीमत क्या है

ऊपर दिए गए दरें 5 सेकंड के क्लिप के लिए टियर-दर-टियर कीमत सूची से लाइव पढ़ी गई हैं। हमारे क्लिप 720p टियर पर 6 सेकंड के थे (Hailuo 3 पर 768p), इसलिए हर एक की कीमत यहाँ दी गई लाइन से एक-पाँचवाँ अधिक थी। रेंडर की पुष्टि करने से पहले कीमत हमेशा दिखाई जाती है।

यह टेस्ट आपको क्या नहीं बताता

• यह एक प्रॉम्प्ट और एक तरह का सीन है: एक स्थिर सड़क, एक जानवर, एक धीमा कैमरा मूव। हाथ, तेज एक्शन, डायलॉग, कई लोग या लंबे क्लिप मॉडल्स की रैंकिंग को अलग कर सकते हैं।
• इसमें कोई लोग नहीं हैं, इसलिए यह नहीं बताता कि कोई भी मॉडल इंसान को कैसे ड्रॉ करता है।
• हर मॉडल के लिए दो रन एक छोटा सैंपल है। जो मॉडल दोनों में पास हुआ, वह तीसरे में फेल हो सकता है।
• यह हर मॉडल को उसके 720p टियर पर चलाया गया। हायर टियर डिटेल बदल सकते हैं, और कुछ मॉडल्स पर, रिजल्ट भी।
• डिटेक्टर, कलर टेस्ट और टेक्स्ट रीडर गलत हो सकते हैं। हमने हर मिस को खुद देखा और नीचे रॉ नंबर पब्लिश किए हैं।
• यह टेस्ट की रेटिंग नहीं करता। लाइट, टेक्सचर, कैट का चलना कितना नेचुरल है और साउंड कितना फिट है, यह आपके अपने आँखों और कानों के लिए है।

मूवमेंट के लिए, हमने एक अलग टेस्ट चलाया: Make AI people move realistically में चार मॉडल्स पर एक ही फ्रेम से स्टैंडिंग बैकफ्लिप। एक कार के लिए जिसकी शेप बनी रहनी चाहिए, ड्राइव-बाय टेस्ट A car commercial with AI में है।

मेथड और रॉ नंबर

ऑब्जेक्ट्स और लोग: COCO पर ट्रेन किया गया Mask R-CNN, कॉन्फिडेंस 0.6 (लोगों के लिए 0.7), क्लिप में फैले 24 फ्रेम्स पर। टेक्स्ट: लैंग्वेज करेक्शन बंद के साथ macOS Vision टेक्स्ट रिकग्नाइज़र, 12 फ्रेम्स पर। कैमरा: क्लिप के 10% से 90% तक के 9 फ्रेम्स के बीच SIFT फीचर्स मैच किए, RANSAC सिमिलैरिटी फिट के साथ, स्केल्स मल्टीप्लाई किए। कलर: साइकिल के लिए, उसके मास्क के अंदर सबसे सैचुरेटेड पांचवें हिस्से के पिक्सल; छाते के लिए, उसके मास्क के अंदर उसके बॉक्स के टॉप 40% का मीडियन ह्यू।

हमारे काम करते समय दो रंग परीक्षण बदल गए, और हम इसे बताते हैं क्योंकि इससे परिणाम बदल गए। पहले साइकिल परीक्षण में मास्क में हर संतृप्त पिक्सेल की गिनती की गई, और ट्यूबों के बीच दिखाई देने वाली गर्म दीवार ने पेंट को हरा दिया। पहले छाते के परीक्षण में Seedance 2.5 के सरसों रंग के छाते को उसके खंभे के पीछे की ईंट की दीवार पर फेल किया गया। दोनों को वस्तु को मापने के लिए ठीक किया गया, फिर हर क्लिप को अंतिम कोड के साथ फिर से स्कोर किया गया। आंखों से की गई गिनती 12 में से 10 क्लिप्स में डिटेक्टर से मेल खाती थी; दोनों Veo 3.1 क्लिप्स में इसने मेज पर एक पौधा भी गिना या दो बर्तनों को मिला दिया।