教程 / 视频剪辑

手部、面部和变形:有效的修复方法

手部、面部和刚性物体往往是暴露视频缺陷的地方。没有单一的开关能解决所有问题。但有六种方法各自有效,我们在同一个镜头上测试了每一种:一个男人正在调整手腕上的一块普通钢表。

  • 9 分钟阅读

本文由英文自动翻译。阅读原文

示例参考已恢复

按顺序列出你制作的内容。点按任一项即可跳到对应步骤。

手、脸和刚性物体容易出错,因为它们在画面的一小部分中包含了大量结构信息,而且每一帧都是模型对这些结构的全新猜测。以下六件事可以减少这种猜测:一个指明每个接触点的提示词、一张参考图、你选择的模型、更短的片段、更高的分辨率,以及最后的修复处理。这些都不是开关。每一项都消除了一种猜测的理由。

我们在一个镜头上测试了这六项:一个穿黑西装的男人调整一只普通钢表,通过视频合成器使用 Seedance 1.5 Pro 渲染。首先,为了让你了解问题是什么样子,这里展示一个我们渲染出错的例子。

出了什么问题,以及原因

你看到的现象发生原因首先尝试的修复方法
多余或融合的手指,空握的手提示词中未说明手接触了什么指明接触点:哪只手、在哪里、几根手指
形状变化的瓶子、手表或手机提示词中未体现刚性物体的刚性说明物体是什么并给出比例;添加参考图
转头时漂移的脸随着运动,脸是基于全新猜测重新绘制的更短的片段、减少头部运动、使用参考图;不要承诺长相
模糊或涂抹的手指像素不足,无法支撑结构720p 或更高分辨率,然后进行修复处理
失败案例:一位身穿翠绿色上衣的女士在脸前举起一个多面玻璃香水瓶;当她握住瓶子时,瓶子的比例发生了变化
这是失败案例,而非正面示例。 这是我们同一天生成的渲染结果:我们检查的每只手的手指数量都正确,但瓶子在手持握时形状发生了变化。请观察玻璃,而不是面部。
1.25 秒时的瓶子,宽而矮2.25 秒时的瓶子,高而窄1.25 s2.25 s
相隔一秒的同一个瓶子。拖动线条穿过玻璃。提示词描述了每只手的握法,但从未说明瓶子是什么。

正面示例:一只保持稳定的手表

这是下面所有修复方案测试所用的镜头。两只手,一个刚性物体,镜头推近至细节:这是最难的近景类型。在我们检查的每个时刻,每只手都有五根独立的手指,当表盘充满画面时可见指关节和静脉,表盘上没有文字。

一位银发男士身穿黑色西装,抬起左前臂,用右手调整一只普通的钢制手表,同时镜头推近至表盘
使用 Seedance 1.5 Pro 制作,720p,5 秒,单次生成。
提示词,与发送时完全一致
Premium watch advert, one continuous take, real-time. SUBJECT: a man of 35, silver-grey short hair, light skin, a black wool suit jacket buttoned over a black shirt, a plain steel watch with a black dial on his left wrist. HANDS: he raises his left forearm into the light and with his right hand adjusts the watch on his wrist, thumb and index finger on the strap, five separate fingers on each hand, knuckles visible. ACTION: the forearm rises into frame over the first second, the right hand settles the strap, then he turns the wrist so the dial catches the light and holds it. CAMERA: a slow push-in on a smooth dolly from a medium close-up to a close-up on the hands and the dial, eye level, no cuts. LIGHTING: one hard amber key from camera-left, a cold blue rim from behind camera-right on the jacket shoulder, a black background, haze. LOOK: glossy, anamorphic, fine grain, deep blacks, metal and fabric texture visible. No text, no logos, no brand name on the dial.

提示:为什么手部细节保持住了. HANDS 这一行描述了每只手的抓握方式和手指数量,并将物体明确命名为带有黑色表盘的普通钢制手表。提示词中唯一未明确的是表带,而表带正是下面几次运行中唯一发生变化的部分。

修复方法 1:明确接触点和物体

手部动作需要明确的任务,物体需要具体的描述。去掉 HANDS 这一行,看看模型如何处理“他调整他的手表”。

模糊的描述
He adjusts his watch.

“他调整他的手表”

手表镜头,手部描述简化为“他调整他的手表”:手指保持住了,但表盘上出现了一个小标记

明确每只手的接触点

同一镜头,明确描述了每只手的接触点
使用 Seedance 1.5 Pro 制作,分辨率为 480p。两种情况下手指都保持住了。使用模糊描述时,表盘上出现了提示词禁止的小标记,且手表变成了皮表带;明确接触点后,表盘保持干净。

刚性物体也采用同样的处理方式。我们添加了一行说明手表是什么以及它不会发生变化。

我们添加的那一行
The watch is a rigid steel case, a round dial the width of his wrist, its diameter, its black dial and its strap width do not change at any point in the take.

未添加该行

480p 手表镜头,未添加刚性描述

添加刚性描述后

同一镜头,添加了刚性描述
使用 Seedance 1.5 Pro 以 480p 制作。表壳和表盘在两次运行中都保持稳定,因此在这个镜头中,线条变化不大。保留它不花费任何成本,而上面的瓶子展示了没有它时会发生什么。

修复 2:给它一张该物体的图片

参考图片用目标取代猜测。制作一张物体的静帧,并在支持参考图片的模型(如 Seedance 2.5,最多支持九张)的视频合成器中,将其添加到 参考图片 下。在提示词中使用 @Image1 来指代它。下面的测试是在 Seedance 1.5 Pro 上制作的,该模型在 NOLGIA 上已不再支持参考图片。

使用我们的静帧尝试

  • 我们附加的手表参考图WebP 图片 · 1024x1024 · 73 KB下载
使用 Seedream 4.5 从一行提示词生成,并裁剪至手表部分。
绑定它的提示词
@Image1 is the watch: the same plain steel case, the same black dial, the same proportions in every frame.
视频合成器界面,带有三个编号标记:模型为 Seedance 2.5,提示词中包含将 @Image1 绑定到手表的语句,以及展开的参考图片选项,显示上传、素材库和角色
Seedance 2.5 上的参考图片。 (1) 模型。 (2) 绑定静帧的提示词,包含 @Image1。 (3) 参考图片:上传、素材库或角色。你添加的第一张图片将成为 @Image1。

无参考图

没有参考图片的手表镜头:钢制表带

手表仍附着

同一镜头,手表仍作为参考图附着:黑色皮革表带、素面钢制表壳以及静帧中的表盘,方形画幅
在 Seedance 1.5 Pro 上以 480p 和一张参考图测试。现在手表与静帧一致:黑色皮革表带、素面表壳、表盘。有两个代价:尽管我们要求 16:9,但返回的片段是方形的,且其首帧显示的是静帧本身。

注意:参考图修正外观,而非运动. 静帧说明了手表的样子,但没有说明手如何移动。请在提示词中保留接触线,并检查返回内容的宽高比。

修复 3:尝试另一个模型

不同模型的失败方式不同。在第二个模型上使用相同的提示词,是找出问题在于文字还是模型的最便宜的方法。对于移动的手,可以尝试的第二个模型是 Seedance 2.5 或 Kling v3。探索 通过其自身的输出预览每个视频模型。

Seedance 1.5 Pro

Seedance 1.5 Pro 上的手表提示词

Seedance 2.5

Seedance 2.5 上的手表提示词:男子抬起前臂并调整钢制手表,同时镜头推近至素面黑色表盘
相同的提示词,相同的种子,480p,5 秒。 Seedance 2.5 在调整过程中每只手都保持了五根分开的手指,推进到表盘,并在最后将普通表盘变成了灯光,钢制手链上没有文字。

修复 4 和 5:更短,更大

在长片段中,漂移有更多时间累积,因此先渲染 5 秒,然后在你的素材库中打开该片段,并按 延长片段 从你已经检查过的帧继续。在这个镜头中,10 秒的运行并没有产生更多的扭曲;它用额外的 5 秒重复了相同的调整动作。

10 秒

10 秒时的手表提示词:在推进之前重复调整动作

5 秒

5 秒时的手表提示词
使用 Seedance 1.5 Pro 制作,480p。10 秒的效果与 5 秒一样好,但成本是两倍;模型通过第二次调整来填充时间。

分辨率是另一个杠杆:手指需要像素。这是两次运行,而不是一次运行的两种尺寸,因为在这个模型上,种子无法复现片段。720p 带来的是指关节、静脉和清晰可读的表盘。

480p

480p 时的手表提示词

720p

720p 时的手表提示词
使用 Seedance 1.5 Pro 制作。 720p 的运行是页面顶部的示例。

修复 6:恢复处理,它是什么以及它不是什么

恢复视频 会按你选择的尺寸重新渲染片段,清除噪点、压缩伪影和模糊。它能让手指更清晰,但不会增加或减少手指。请在最后一步使用它,针对结构已经正确的镜头。恢复模糊、有噪点或老旧的素材 会根据片段的问题选择引擎。

480p 片段放大至 720p 的一帧经过 720p 恢复处理后同一帧480p,放大恢复至 720p
使用恢复视频处理 480p 片段,第 4.4 秒。左侧为放大后的同一帧,右侧为恢复后的同一帧。结构相同,但边缘不同。

三种运行方式

  • 最快: 打开视频合成器,添加接触线,在参考图像下附加物体的静帧,然后按生成。
  • 最省心: 将出错的片段发送给 NOLGIA Agent 并说明问题。让它制作物体的参考静帧,并在指定接触对象后重新渲染。
  • 控制最强: 通过 API 向两个模型发送相同的提示词,通过资产 ID 附加参考图,并比较任务记录。
任务使用原因
猜测的手部或物体提示词:接触和物体线条消除猜测的理由,免费
必须呈现特定外观的物体参考图像,Seedance 2.5 最多支持九张目标图像而非描述
优质镜头上的柔和细节Restore Video在现有结构上增加更多像素
其他部分良好但有一个道具错误的片段Miroge, Swap保留镜头和动作,只改变一处

费用说明

每次修复都是一次新的渲染,费用在点击“生成”按钮前显示。先用 480p 和 5 秒进行测试,确认满意后再以 720p 渲染最终版本。修复过程的费用取决于片段的长度和你选择的尺寸,Restore Video 会在运行前显示最高费用。

  • Seedance 2.5Pro and up

    Per 5s clip

    480p 26 积分 · 720p 56 积分 · 1080p 137 积分

    1080p renders at 16:9 and 9:16

页面加载时从目录实时读取。 所有价格都会在生成前显示。 查看所有费率.

仍需重新生成的情况

  • 两只手同时操作一个小物体。 拉近镜头,或让每只手分别完成动作。
  • 快速转动的脸部。 在提示词中减慢转动速度,或在转动前剪辑。
  • 必须看起来像特定人物的人。 我们尚未测试此功能,也不保证效果。角色参考图会有帮助,请自行检查结果。
  • 玻璃和反射。 透过刚性物体看到的任何内容都属于其后的世界,并会随之重绘。

检查清单

  • 每只手都有任务,包括闲置的那只。
  • 每个刚性物体都有名称,包含其比例,如果重要,还包含一张图片。
  • 先做 5 秒,然后延长。特写手指时使用 720p。
  • 首先检查最难的细节:如果手部没问题,其他部分通常也没问题。
  • 最后进行修复,切勿最先进行。

常见问题

为什么 AI 生成的手部手指数量会出错?
手部在狭小区域内包含许多关节,而大多数训练素材中的手部处于抓握、模糊或被遮挡的状态。没有指定动作的手部会在每一帧中自行猜测姿势。
我能让角色在不同片段中看起来完全一致吗?
我们尚未针对任何模型测量此指标,也不做保证。使用角色参考图和短片段会有帮助。请自行检查每个结果。
在提示词中增加更多细节有帮助吗?
正确的细节有帮助:接触点、物体是什么、起始和结束姿势。冗长的情绪化描述没有帮助。
哪个模型最适合生成手部?
这取决于镜头。对于移动的手部,请测试 Seedance 2.5 或 Kling v3 与你最初使用的模型;上面的对比图显示的是我们使用的 Seedance 2.5。
修复过程能修正糟糕的手部吗?
不能。它只会锐化现有内容。先修复结构,再进行修复。

在你的下一个片段中给手部指定一个动作

打开视频编辑器

提示词

七个视频提示词错误及修正方法

视频提示词出错的七种方式,每种都在 Kling v3 上渲染两次:先是模糊的提示词,然后是应用了一个修正后的相同提示词。复制这些修正方法,并了解种子值不能做什么。

· 12 分钟阅读

视频剪辑

修复模糊、有噪点或老旧的素材

“修复视频”功能会以最高 8K 分辨率重新渲染你素材库中的片段,消除噪点、压缩伪影和模糊。请根据片段的具体问题选择引擎,并了解它无法恢复的内容。

· 7 分钟阅读

视频剪辑

片段生成有误:修复它或重新生成

大多数错误的片段不需要重新渲染。只需替换出错的那一个元素、移动场景、清理画面或延长片段,只有当镜头本身有误时才重新生成。

· 6 分钟阅读