教程 / 影视制作

用 AI 制作短片:从剧本到最终剪辑的流程

短片的重点在于流程,而不是某一个镜头。《末班车》时长二十五秒,有一位主角、一位街头艺人、一个站台和一个镀铬箱子。以下是让它成型的每个阶段,包括真实的提示词、每个阶段使用的模型,以及流程中遇到阻碍的地方。

  • 13 分钟阅读

本文由英文自动翻译。阅读原文

演员阵容帧镜头剪辑

按顺序列出你制作的内容。点按任一项即可跳到对应步骤。

《末班车》是一部为本文制作的 25 秒短片:Vale 追赶末班车,没赶上,然后笑了。片中所有内容均来自公司自有账户的真实输出,按以下顺序在实时合成器中制作,且片中所有人物均为虚构。同一组镜头在一致性指南中按对象逐一进行了测量。

先说明两个实际限制。已保存的角色会将其服装和文字描述带入每个镜头;我们尚未测量其在镜头之间是否保持为同一个人,本文也不作此声明。此外,直接将角色附加到视频模型要么被拒绝,要么丢失了车站场景,因此本文中的每个镜头都从一帧画面开始。这两点将在步骤中说明。

常见问题

错误失败原因修正
在演员阵容存在之前拍摄第一个片段每个镜头都会自行创造人物、外套和站台先保存角色、地点和道具静帧
直接将角色发送到视频模型某些模型拒绝将写实人物作为参考,或无法承载该参考;而那个接受了她的模型则自行发明了一个平台在图像合成器中创建一个附带演员阵容的 16:9 画面,然后对该画面进行动画处理
用一个长镜头表现整个节拍动作漂移,道具移位,场景重复每个镜头 4 到 6 秒,只包含一个动作;在出现漂移时进行剪辑
每次对道具的描述都不同一个镀铬箱子变成了公文包,然后又变成了手提袋为道具写一句话,粘贴到每个提示词中,并为其生成一张静帧用于插入镜头
对每个片段进行调色五个以五种方式调色的片段看起来像五部不同的电影在 Studio 中对时间线进行一次统一调色

开始之前

  • 一份包含命名节拍的剧本。五个节拍即二十五秒。
  • 为每个角色、每个地点和每个道具各写一句话,采用服装或美术部门的写法。这些句子将原封不动地粘贴到每个提示词中。
  • 一个 NOLGIA 账户。角色、地点、合成器和 Studio 均包含在内。
  • 为每个阶段准备一次重做的耐心。我们经历了一次,指南中会说明在哪里需要重做。
剧本
LAST TRAIN. Night. An underground platform, pale green tiles under cold fluorescent tubes. 1. Vale runs for the last train, a chrome case in one hand. 2. She passes Ozzy, the busker, who turns to watch. 3. The doors close in her face and the train pulls away. 4. The case, set down on the wet platform. 5. On the bench, out of breath, she laughs.

保存演员阵容、场景和道具

打开 Characters。输入名称,将角色的一句话描述作为简介,打开 添加参考图片,然后上传照片或使用 生成 配合肖像提示词和模型。选中该肖像作为参考后,按 创建角色。我们用 GPT Image 2.5 Flare 制作了 Vale 的肖像并将其保存为她的参考图,Ozzy 也是用同样的方法制作的。

Vale 的肖像提示词(GPT Image 2.5 Flare)
Full-length portrait of a woman in her early twenties, platinum blonde sleek chin-length bob with a straight fringe, light olive skin, bold brows, wearing an oversized cherry-red leather bomber jacket open over a white ribbed tank, wide black jeans and chunky black platform lace-up boots, holding a folded transparent bubble umbrella, standing on an underground subway platform with pale green tiles and cold fluorescent tubes along the ceiling, wet floor reflections, thin haze. Photoreal, cinematic, editorial fashion photograph, no text, no logos.

打开 Locations,对地点执行相同操作:输入名称、描述,将一句话作为标准描述,并从你的素材库中选择一张静帧或上传一张。我们的平台是 Seedream 5.0 Pro 生成的静帧。道具也是一张静帧,在图像编辑器中制作并保存在素材库中;它作为参考图片进入插入镜头,并在其他每个提示词中作为一句话出现。

Vale,一位留着铂金色波波头和刘海、身穿超大号樱桃红皮夹克、白色背心、宽松黑牛仔裤和厚底靴的年轻女性,手持一把透明折叠伞,站在铺有绿色瓷砖的站台上。
Vale,使用 GPT Image 2.5 Flare 制作。 主角。
Ozzy,一位留着深色长卷发和浅色胡须的年轻男子,身穿芥末黄与灰色相间的防风夹克,内搭黑色连帽衫,在站台上手持次中音萨克斯。
Ozzy,使用 GPT Image 2.5 Flare 制作。 街头艺人。
一个空旷的地下站台,铺着淡绿色瓷砖,有一条深绿色条纹,配有荧光灯管、钢制长椅和暖琥珀色的隧道口。
Halcyon Street 站,使用 Seedream 5.0 Pro 制作。 已保存为地点。
一个拉丝铬合金硬壳箱,配有黑色手柄和两个黑色锁扣。
铬合金箱,使用 Seedream 5.0 Pro 制作。 道具。
作为地点保存的车站
An empty underground subway platform at night: glossy pale green tiles with one dark green stripe at waist height, a long run of cold fluorescent tubes along the ceiling, wet floor with mirror reflections, thin haze, a yellow safety line along the platform edge, a single steel bench, the tunnel mouth glowing warm amber. No readable text or signs.

先将每个镜头制作成单帧

打开图片编辑器。选择 GPT Image 2.5 Flare,将比例设置为 16:9,然后按 角色 并选择 Vale,再按 地点 并选择 Halcyon Street 站。编辑器会显示每个选项的标签。在提示词中将镜头描述为一个瞬间,用 @ 符号提及角色名称,然后按 生成图片。五帧画面,每个镜头一帧,总成本低于一次视频生成,并且在此阶段确定服装、道具和构图。

第 1 帧,奔跑场景,已发送(附加了 Vale 和车站)
@Vale mid-sprint along the empty platform toward the camera, her red leather bomber flying open over the white tank, the folded transparent umbrella in her left hand and a small brushed-chrome hard-shell case with a black rubber handle and two black latches in her right, black platform boots splashing the wet tiles. Wide low shot, the cold fluorescent tubes above her, thin haze, the tunnel glowing warm amber behind. Cinematic film still, anamorphic, fine grain, no text.
Vale 在湿滑的站台上朝镜头奔跑,右手提着镀铬箱子,左手拿着雨伞。
第 1 帧,奔跑。 Vale 和车站已关联;箱子通过描述添加。
Vale 提着镀铬箱子(右手)和雨伞(左手)从 Ozzy 身边走过。
第 2 帧,街头艺人。 Vale 和 Ozzy 在演员阵容中,以及车站。第二个版本:第一个版本在提示词中遗漏了箱子,因此箱子也未出现在画面中。
Vale 在站台上伸手去拉火车车门,另一只手拿着箱子和雨伞。
第 3 帧,车门。 Vale 和车站。雨伞不在此提示词中;它来自 Vale 的保存描述。
镀铬箱子独自立在湿滑的站台上,身后的长椅和琥珀色隧道柔和模糊。
第 4 帧,插入镜头。 无角色:关联了地点,并通过其句子添加箱子。
Vale 坐在钢制长椅上,气喘吁吁,雨伞横放在膝盖上。
第 5 帧,长椅。 Vale 和车站。

提示:当两个人共享一个画面时,明确指定谁在哪里. 第 2 帧说明了谁经过谁、Ozzy 站在哪里以及她携带了什么。我们的第一版描述漏掉了箱子,导致画面中没有箱子。当演员阵容中有两个角色时,合成器会按照你选择的顺序为它们编号,提示词中的 @Vale 和 @Ozzy 会解析为这些引用。

将帧动画化为镜头

打开视频合成器,在“开始于”下选择 让图片动起来,按 添加首帧,然后按 选择素材 并从你的素材库中选择该帧。它将成为片段的第一帧。编写从该帧开始发生的动作,按一个摄像机移动芯片,设置长度,然后生成。我们在冲刺镜头(运动最多的镜头)中使用了 Kling v3,在其他四个镜头中使用了 720p 的 Seedance 2.5,每个镜头 4 到 6 秒,并在 Studio 中剪短了其中一个。对于奔跑、跳跃或任何有重量的动作,请在 Kling v3 或 Seedance 2.5 上对帧进行动画处理。

镜头 1 来自帧 1,按发送状态(Kling v3,摄像机芯片:固定)
She sprints straight toward the camera along the platform, the red leather bomber flying open, the chrome case in her right hand and the folded umbrella in her left, black platform boots splashing the wet tiles, hair bouncing with each stride, the cold fluorescent tubes and the warm amber tunnel glow behind her. Real sprint physics, cinematic, anamorphic, fine film grain.
Vale 沿着湿滑的站台向摄像机奔跑,右手提着镀铬箱子,左手拿着雨伞。
镜头 1,使用 Kling v3 从第 1 帧生成。 5 秒,固定机位。在整个奔跑过程中,箱子始终在她右手,雨伞在左手。提示词中写了固定机位,但前几秒镜头随着她向后漂移,最后她跑进了镜头。
Vale 带着银色箱子和雨伞经过街头艺人 Ozzy;他拿着萨克斯风,目送她离开。
镜头 2,使用 Seedance 2.5 从第 2 帧生成。 6 秒,跟拍,一次通过;在剪辑中于 5 秒处切断。她带着箱子和雨伞从他身边经过,约 3.5 秒后出画;他拿着萨克斯风,目送她离去。
Vale 伸手去拉正在关闭的火车车门,火车随即驶离。
镜头 3,使用 Seedance 2.5 从第 3 帧生成。 6 秒,手持拍摄。她在车门关闭时伸手去拉,火车从她身旁驶离。
银色箱子独自立在湿漉漉的站台上,一列火车在箱子后方疾驰而过。
镜头 4,插入镜头,使用 Seedance 2.5 从第 4 帧生成。 4 秒,变焦。从第一帧开始箱子保持静止,一列火车从隧道中冲出,在箱子后方疾驰而过。
Vale 坐在钢制长椅上,气喘吁吁,随着镜头拉近,她露出了微笑。
镜头 5,Seedance 2.5 基于第 5 帧生成。 5 秒,推镜头。当她露出微笑时,镜头从长椅拉近到她的脸部。

注意:为什么先做画面,而不是直接把角色输入视频模型. 我们在三个模型上尝试了直接生成的方法。Seedance 2.0 Fast 在扣费前就拒绝了 Vale 的参考图,理由是它看起来像真人的照片。Seedance 1.5 Pro 也拒绝了:它根本无法携带角色参考。Seedance 2.5 接受了参考并生成了一个 16:9 的片段,但场景是它自己生成的,有柱子,没有绿色条纹或琥珀色隧道,因为这条路径只保留了角色。而一个附带演员阵容和地点的 16:9 画面,经过动画处理后,能同时保留两者。

Vale 坐在带柱子的平台上,未附加画面和地点生成。
Vale 直接附加到 Seedance 2.5,无画面,480p。 她穿着夹克带着伞出现,站在模型自行生成的平台上。保留此图作为真实效果的参考。

配乐与特效

影片没有对白,因此声音制作分为两步,在音频合成器中完成:使用 Lyria 3.5 生成配乐,并使用 ElevenLabs Sound Effects v2 生成两个音效,分别是关门声和奔跑的脚步声。请按节奏和情绪描述配乐,并将每个音效描述为一个事件。

配乐
A tense, driving electronic cue at 118 bpm for a short film about missing the last train: pulsing arpeggiated synth, deep sub bass, a ticking hi-hat, a sudden drop to a single warm pad at the end, no vocals, cinematic underground night
关门声
Subway train doors closing: a two-tone chime, a pneumatic hiss, doors thud shut, then the train accelerates away through a tunnel with a rising electric whine and echo, station reverb

在 Studio 中剪辑、调色和导出

打开时间线,点击 新建时间线,为项目和时间线命名,然后在媒体栏中打开 素材库,使用 + 按钮按顺序添加五个镜头:每次点击都会在播放头位置的新轨道上添加片段,而 End 会将播放头移动到现有内容的末尾。对于镜头 2,将源预览拖动到 5 秒处,在点击 + 之前按 标记出点,这样只会导入前 5 秒。在开头添加配乐;配乐时长为 2 分钟,因此将播放头停在画面末尾,在未选中任何内容的情况下按 C 进行分割,点击尾部片段并按 删除。在脚步声落地和关门声发生的位置添加两个音效。然后在未选中任何内容的情况下,从工具栏打开 颜色,为整个时间线选择一种胶片风格;我们使用的是 CineStill 800T。

Studio 界面有五个编号标记:V1 轨道上按顺序排列的五个镜头,A1 轨道上的配乐,A2 轨道上的奔跑脚步声,A3 轨道上的关门声,以及“导出视频”按钮;节目监视器中显示 Vale 正在奔跑
电脑上的剪辑。 (1) 五个镜头按顺序排列,这里在单条轨道 V1 上;每个 + 号会将片段放到新轨道上,无论哪种方式,剪辑效果都相同。(2) A1 轨道上的配乐,已根据画面进行修剪。(3) A2 轨道上的奔跑脚步声和 (4) A3 轨道上的关门声。(5) 导出视频。
Studio 界面右侧打开了 Canvas 颜色面板:工具栏中的“颜色”按钮、Canvas 颜色标题和 CineStill 800T 胶片预设上有三个编号标记
调色。 (1) 工具栏中的“颜色”,未选中任何内容。(2) Canvas 颜色对整个时间线进行调色,因此每个片段都应用相同的胶片预设。(3) CineStill 800T。
手机上的 Studio:提示时间线编辑器需要更大的屏幕,节目监视器中显示 Vale 正在奔跑,以及用于编辑的 NOLGIA Agent 聊天窗口
在手机上。 Studio 播放剪辑并通过 Agent 接收编辑指令;时间线编辑器需要更大的屏幕。
生成的镜头 3在时间线上应用了 CineStill 800T 调色的镜头 3向前向后
镜头 3 第 2 秒的同一时刻:左侧为生成的片段,右侧为应用了 CineStill 800T 时间线调色的导出结果。

导出视频会渲染 MP4 文件,并免费存入你的素材库。旁边的箭头可打开导出菜单;选择 Premiere Pro 或 DaVinci Resolve 会下载一个 ZIP 文件:sequence.xml,其中包含一个 media 文件夹(内含时间线使用的片段)、以 luts/canvas.cube 格式保存的调色,以及一份 README.txt(列出了未保留的内容)。请先解压,然后在 Premiere 中通过“文件”>“导入”选择 sequence.xml。导出后处理 介绍了其余保留内容。

导出视频按钮下方的导出菜单已打开:视频 (MP4)、PNG、带透明背景的 PNG、Premiere Pro 或 DaVinci Resolve、After Effects
导出菜单。 视频、静帧,或供其他剪辑师使用的剪辑版本。
《末班车》:Vale 奔跑赶末班车,没赶上,在长椅上微笑。
《末班车》导出结果。 五个镜头,统一调色,配乐和两个特效,时长 25 秒。

不同任务选用什么工具

阶段位置我们使用的模型
演员阵容图像合成器,然后 角色GPT Image 2.5 Flare
场景和道具静帧图像合成器,然后 地点Seedream 5.0 Pro
帧附带角色和地点的图像合成器GPT Image 2.5 Flare
镜头视频合成器,动画化图像快速镜头用 Kling v3,其余用 Seedance 2.5
通过道具插入使用图像合成器生成场景中道具的一帧,然后动画化图像GPT Image 2.5 Flare, Seedance 2.5
配乐与特效音频合成器Lyria 3.5, ElevenLabs Sound Effects v2
剪辑、调色、导出Studio无模型,无费用

你仍需重新生成的情况

  • 模型拒绝你的演员阵容。 Seedance 2.0 Fast 拒绝了 Vale 的参考图。请切换模型而不是修改措辞;拒绝提示指出的是检查器的问题,而不是你的提示词。
  • 模型无法承载角色。 Seedance 1.5 Pro 在产生任何费用之前就会拒绝角色参考图,而 Seedance 2.5 虽然接受参考图,但会围绕她构建自己的场景。请通过附带地点的 16:9 画面进行处理。
  • 摄像机芯片漂移。 镜头 1 设置为锁定,但摄像机在前几秒仍然随她向后漂移。请在每次拍摄中检查运动。
  • 一个你没要求的道具。 第 3 帧中的雨伞来自 Vale 的保存描述,而不是提示词。在编写镜头之前,请先阅读角色描述,或者说明每只手拿着什么。
  • 人脸。 服装、发型和道具在五个镜头中保持一致;这里不衡量人脸是否为同一个人。

费用说明

帧按图像计费,镜头按模型、时长和质量计费,配乐和每个特效按每次运行计费。Studio、剪辑和导出是免费的。本片中使用的模型实时费率:

  • GPT Image 2.5 FlareEvery plan

    Per image

    Native 8 积分 · 2K 21 积分 · 4K 58 积分

  • Seedream 5.0 ProEvery plan

    Per image

    1K 5 积分 · 2K 9 积分

  • Kling v3Pro and up

    Per 5s clip (audio on by default)

    720p 35 积分 · 1080p 47 积分 · 4K 117 积分

  • Seedance 2.5Pro and up

    Per 5s clip

    480p 26 积分 · 720p 56 积分 · 1080p 137 积分

    1080p renders at 16:9 and 9:16

  • Lyria 3.5Every plan

    Per generation

    Standard 5 积分

  • ElevenLabs SFXEvery plan

    Per generation

    Standard 4 积分

页面加载时从目录实时读取。 所有价格都会在生成前显示。 查看所有费率.

检查清单

  • 在生成第一帧之前保存角色、地点和道具;每个仅用一句话描述,并逐字复用。
  • 每个镜头生成一张 16:9 的帧,并附加演员阵容和地点;在全尺寸下检查服装和道具。
  • 每个帧动画时长为 4 到 6 秒,包含一个动作和一个镜头移动。
  • 按节奏和情绪生成配乐;每个特效仅处理一个事件。
  • 在模型出现漂移的地方进行修剪;在时间线上应用一次调色;导出一次。

亲自尝试

保存你自己的角色和地点,然后在 GPT Image 2.5 Flare 的 16:9 模式下,使用附带演员阵容和地点的 frame 1 提示词,并在 Kling v3 的 Animate an image 功能中使用 Locked off 芯片运行 shot 1 提示词。我们第二次运行了 frame 1 配方:它在同一平台上返回了相同的外套、波波头、靴子、雨伞和箱子,箱子如描述那样在她右手,但步态不同,长椅也在她的另一侧。预期姿势和细节会有所变化;角色和场景由参考图保持。下面的静帧是我们的演员、布景和道具;上面的画面和镜头已展示。

所需素材

  • Vale 的肖像WebP 图片 · 1536x2048 · 238 KB下载
  • Ozzy 的肖像WebP 图片 · 1536x2048 · 231 KB下载
  • 车站静帧WebP 图片 · 1536x864 · 114 KB下载
  • 镀铬箱子静帧WebP 图片 · 1280x1280 · 56 KB下载
  • Frame 1 的运行结果WebP 图片 · 2560x1440 · 353 KB下载
上传肖像作为角色参考,上传车站作为地点参考,以便在你自己的账户上重建影片的演员阵容。

常见问题

Vale 在每个镜头中都是同一个人吗?
她的外套、发型、靴子、雨伞和箱子在五个镜头中保持一致,一致性指南对此进行了测量。至于她是否在每个镜头中都是同一个人,我们尚未测量,因此不作断言。
为什么要在每个镜头前先生成画面?
一帧画面的成本远低于一次视频拍摄,而且正是在这一步确定服装、道具和构图。这还能避免两个问题:视频模型拒绝或丢失角色参考图,或者模型虽然接受了角色,却自行构建了场景。
我应该使用哪个视频模型?
对于奔跑镜头,使用 Kling v3:它能保持奔跑动作和手中道具的真实感。Seedance 2.0 Fast 拒绝了她的参考图,而 Seedance 1.5 Pro 无法承载参考图,因此较安静的镜头使用基于帧生成的 Seedance 2.5。对于任何需要重量感的镜头,使用 Kling v3 或 Seedance 2.5。
影片可以有多长?
取决于你的镜头列表。25 秒由五个 4 到 6 秒的镜头组成。保持镜头简短;模型在超过 5 秒后会出现漂移和重复。
角色可以说话吗?
这部影片没有对话。对于台词,在音频编辑器中录制,并将其铺在剪辑下方,或者在单个镜头中使用支持原生语音的模型。
我可以在 Premiere 或 Resolve 中完成吗?
可以。Studio 的导出菜单会下载一个 ZIP 文件,其中包含序列、媒体和作为 LUT 的调色。先解压,然后导入序列。

从演员阵容开始

打开角色

影视制作

保持镜头间角色和地点的一致性

一个已保存的角色、一个已保存的地点,以及每个道具重复使用的一句话:在一部影片的五镜头中,实际保持一致的内容(按物体和颜色逐项测量),以及两个未能保持一致的缺口。

· 11 分钟阅读

影视制作

从脚本到视频:分步指南

将 60 到 90 词的脚本拆分为镜头,在视频合成器中为每个镜头添加运镜并生成,录制旁白,在 Studio 中剪辑并导出。每一步都经过实际验证。

· 13 分钟阅读