프롬프트 하나, 6개 영상 모델, 9가지 측정된 체크 항목

우리가 보낸 내용

동일한 계정으로 같은 아침에 6개의 텍스트-비디오 모델에 변경 없이 보낸 하나의 프롬프트입니다. 모든 클립은 16:9 비율에 6초 길이이며, 각 모델의 720p 티어(Hailuo 3의 경우 가장 낮은 티어인 768p)에서 생성되었습니다. 사운드는 각 모델의 기본 설정을 유지했습니다. 각 모델은 두 번 실행되었습니다.

A quiet bakery storefront on a cobblestone street in the early morning. Above the door, a dark green wooden sign reads BAKERY in large white capital letters. A red bicycle leans against the wall to the left of the door. Exactly three terracotta potted plants stand in a row to the right of the door. A small round cafe table with an open yellow umbrella stands on the pavement at the right of the frame. A ginger cat walks steadily along the pavement in front of the shop, from the left edge of the frame to the right edge. The camera slowly pushes in toward the door for the whole shot. Soft low sunlight from the left. No people anywhere in the shot. Photorealistic.

모델: Seedance 2.5, Kling v3, Veo 3.1, Wan 3.0, Grok Imagine Video 1.5, Hailuo 3. 의도적으로 장면에는 사람이 없으므로, 모든 검사는 판단이 아닌 도구로 측정할 수 있습니다.

채점 방법

9가지 검사 항목은 통과 또는 실패로 구분되므로, 한 번의 실행은 9점 만점, 모델은 18점 만점으로 점수를 매깁니다. 8가지는 도구로 측정합니다. 화분 개수를 세는 항목은 육안으로 확인했는데, 감지기가 하나의 화분을 두 개로 나누거나 테이블 위의 식물을 화분으로 인식하는 경우가 있었기 때문입니다.

자전거, 우산, 표지판, 레이아웃은 클립의 첫 번째 3분의 1 구간에서 확인됩니다. 프롬프트에서 카메라가 줌인하도록 요청하므로 장면의 가장자리가 나중에 잘려나갑니다. 따라서 4초 시점에 프레임 밖으로 나간 우산은 실패로 간주되지 않습니다.

점수

쉬운 부분은 모든 모델이 잘 해냈습니다. 12개 클립 모두 간판이 화면에 잡힐 때 BAKERY를 올바르게 표기했고, 빨간 자전거와 노란 우산을 그렸으며, 바닥에 화분 세 개를 일렬로 배치하고, 주황색 고양이를 왼쪽에서 오른쪽으로 걸어가게 했습니다. 실패한 부분은 아무도 요청하지 않은 사람이 나타났거나, 장면이 뒤바뀌어 배치되었거나, 카메라가 잘못된 방향으로 움직인 경우였습니다.

모든 클립

아무 클립이나 재생 버튼을 누르세요. 누르기 전에는 아무것도 로드되지 않습니다. 첫 실행:

동일한 프롬프트와 설정으로 2차 실행한 결과:

실패한 항목은 무엇이었나요

체크 항목이 놓치는 부분

평가 기준은 측정하는 것만 볼 수 있습니다. 실패 사례를 검토하는 동안 발견한 다음 사항들은 일부 작업에서 합격 또는 불합격보다 더 중요합니다.

• 느린 속도는 얼마나 느린가요? 프롬프트에서는 천천히 줌 인하는 것을 요청했습니다. 클립의 10%에서 90%까지 측정했을 때, Veo 3.1의 화면은 1.8배와 2.6배로 확대되었습니다. Grok의 첫 번째 실행(측면 이동)을 제외하고 다른 모델들은 1.10배에서 1.45배 사이로 확대되었습니다. 저희 판단으로는 Veo의 움직임은 느리지 않으며, 두 번째 실행에서는 간판이 프레임 상단 밖으로 나갑니다.
• 요청하지 않은 문자. 12개 클립 중 3개에서 실제 단어가 아닌 텍스트가 추가되었습니다. Seedance 2.5의 첫 번째 실행에서는 창문 문자가 프레임마다 텍스트 인식기가 다르게 읽었고, Veo 3.1과 Wan 3.0의 두 번째 실행에서는 메뉴 보드가 나타났습니다. 프레임에 텍스트가 없어야 한다면 프롬프트에 명시하고 확인하세요.
• 열림은 열림을 의미합니다. Grok의 첫 번째 실행에서는 노란색 우산이 클립 전체 동안 닫힌 상태로 나타납니다. 저희 감지기는 우산이 열렸는지 닫혔는지 구분하므로 이 클립은 색상 체크를 통과했습니다. 육안으로만 이 문제를 발견할 수 있었습니다.
• 고양이가 어디로 가는지. Veo 3.1의 두 번째 실행에서 고양이가 카메라 쪽으로 돌아서며 프레임을 가득 채웁니다. 그래도 오른쪽에 남게 되므로 통과했습니다.

결과물 확인

제공된 파일을 ffprobe와 ffmpeg로 측정했습니다. 각 모델의 두 실행 모두 크기, 프레임 속도, 길이가 일치했습니다.

두 가지가 눈에 띕니다. Hailuo 3는 768p 티어에서 요청한 것보다 더 긴 클립을 반환했으며, 다른 대부분의 모델이 사용하는 비트레이트의 약 4분의 1 수준이었습니다. Grok과 Kling은 거의 무음에 가까운 트랙을 반환했습니다. 프롬프트에서 소리를 요청하지 않았으므로, 이는 결함이라기보다 알아두어야 할 사실입니다.

각 모델의 소요 시간

비용

위 요금은 5초 클립 기준으로 가격표에서 티어별로 실시간으로 확인한 값입니다. 저희 클립은 720p 티어에서 6초(해일루오 3는 768p)였으므로, 각 항목의 비용보다 1/5 더 높았습니다. 렌더링을 확정하기 전에 항상 가격이 표시됩니다.

이 테스트가 알려주지 않는 것

• 프롬프트와 장면 유형이 하나씩만 사용되었습니다. 정적인 거리, 동물 한 마리, 느린 카메라 무빙입니다. 손, 빠른 동작, 대화, 여러 사람 또는 긴 클립에서는 모델 순위가 달라질 수 있습니다.
• 사람이 등장하지 않으므로, 각 모델이 사람을 어떻게 그리는지에 대해서는 알 수 없습니다.
• 모델당 두 번의 실행은 표본이 적습니다. 두 번 모두 통과한 모델도 세 번째에는 실패할 수 있습니다.
• 각 모델은 720p 티어로 실행되었습니다. 더 높은 티어는 디테일을 변경할 수 있으며, 일부 모델에서는 결과도 달라질 수 있습니다.
• 감지 도구, 색상 테스트 및 텍스트 인식 도구는 오류가 있을 수 있습니다. 모든 실패 사례를 직접 확인했으며, 원본 수치는 아래에 공개합니다.
• 취향은 점수화하지 않습니다. 조명, 질감, 고양이의 자연스러운 걸음걸이, 소리의 조화는 직접 눈과 귀로 판단해야 합니다.

움직임 테스트를 위해 별도의 실험을 진행했습니다. 동일한 프레임에서 네 가지 모델로 한 번의 서서 하는 백플립을 수행했으며, 자세한 내용은 AI로 사람 움직임을 자연스럽게 만들기에서 확인하세요. 형태를 유지해야 하는 자동차의 경우, 주행 테스트는 AI로 만든 자동차 광고에서 확인하실 수 있습니다.

방법 및 원시 데이터

객체 및 인물: COCO로 학습된 Mask R-CNN을 사용했으며, 신뢰도 임계값은 0.6(인물은 0.7)으로 설정하고 클립 전체에서 24프레임을 추출해 분석했습니다. 텍스트: macOS Vision 텍스트 인식기를 사용했으며, 언어 보정은 비활성화한 상태로 12프레임을 분석했습니다. 카메라: 클립의 10%부터 90%까지 9프레임에서 SIFT 특징점을 매칭하고 RANSAC 유사도 적합을 적용했으며, 스케일 값을 곱했습니다. 색상: 자전거의 경우 마스크 내부 픽셀 중 채도가 가장 높은 상위 20%를 사용했고, 우산의 경우 마스크 내부 박스 상단 40%의 중간 색조를 사용했습니다.

작업 중에 두 가지 색상 테스트가 변경되었고, 결과가 달라졌기 때문에 이를 명시합니다. 첫 번째 자전거 테스트에서는 마스크 내의 모든 채도 높은 픽셀을 계산했는데, 프레임 사이로 보이는 따뜻한 색의 벽이 페인트보다 더 많은 픽셀을 차지했습니다. 첫 번째 우산 테스트에서는 Seedance 2.5의 머스터드색 우산이 뒤쪽 벽돌 벽 때문에 실패했습니다. 두 경우 모두 물체를 측정하도록 수정한 후, 최종 코드로 모든 클립을 다시 채점했습니다. 육안으로 세어 본 결과와 감지기가 12개 클립 중 10개에서 일치했으며, 두 개의 Veo 3.1 클립에서는 테이블 위의 식물까지 계산하거나 두 개의 화분을 하나로 합치기도 했습니다.