如果说 2022 年是 AIGC 绘画元年,那么今年估计就是 AIGC 视频元年了,视频的生成效果越来越好,但是一直存在一个问题就是可控性的问题。视频这个领域一直没有一个类似 controlnet 的存在,在之前出现了 pika 这样的产品,可以通过图片 + 提示词的方式来控制画面的呈现,但是还不够。
昨天,Runway 给他们的生成视频加上了四种不同的运镜功能,并且不同的运镜功能还可以相互叠加,所以一共有 36 种不同的玩法。Runway 的这几种运镜的功能跟 SD 生成视频里的运镜功能非常类似了。
下图是 SD Deforum 的视频运镜设置界面。试过 SD 生成动画的同学应该不陌生。基本上也是前后,上下左右和旋转,不过 SD 的生成路径是可以用参数精准控制的,并且还可以进行空间运镜,目前 Runway 的镜头运动还只能设置大致的方向。
接下来我会详细介绍这几种新功能的效果。
Custom camera control 自定义摄像头控制
在 motion 的下方添加了一个Custom camera control 按钮。目前还是 beta 功能。
点击后会有一个 Custom camera control 的操作栏。
在操作栏的上方添加了一个自定义摄像头控制,这个功能条目前主要有四种运镜模式和一个速度控制选项。
Speed 速度控制(1~10)
这里的速度可以不用选择运镜单独调节,也是跟 motion 一样一共可以调节从 1~10 的数值。这里测试了只选速度,不选择运镜的效果。
Speed = 1
Speed = 2
Speed = 3
这里需要注意:Speed 单独设置运动的幅度并不大,但是如果 Speed 再加上任意的运镜选项后,运动的幅度都会增加很多。
这里大家可以对比下:Speed 数值为 3 时加上水平运镜的效果
为了方便查看效果接下来的运镜速度都统一设置为 Speed=3
Horizontal 水平运镜(向左,向右)
向左运镜 + Speed3
向右运镜 + Speed3
Vertical 垂直运镜(向上,向下)
向上运镜 + Speed3
向下运镜 + Speed3
Zoom 推近推远(放大,缩小)
镜头推远缩小 + Speed3
镜头推近放大 + Speed3
Roll 旋转运镜(顺时针,逆时针)
逆时针旋转 + Speed3
顺时针旋转 + Speed3
运镜叠加玩法两种模式
这四种不同的运镜模式是可以互相叠加在一起玩的,这就演化出了非常多不同的运镜方式。不过水平和垂直运镜无法跟旋转运镜叠加在一起使用。旋转 roll 运镜只能跟 zoom 运镜叠加。
当你选择水平或者垂直运镜按钮后,roll 运镜就会不可用,如下图:
Horizontal 水平运镜 + Vertical 垂直运镜
向左 + 向上 + Speed3
Horizontal 水平运镜 + Zoom 推近拉远
向左 + 拉远 + Speed3
Vertical 垂直运镜 + Zoom 推近推远
向上 + 推近 + Speed3
Roll 旋转运镜 + Zoom 推近推远
逆时针 + 推近 + Speed3
运镜叠加玩法三种模式
Horizontal 水平运镜 + Vertical 垂直运镜 + Zoom 推近推远
向右 + 向上 + 推远 + Speed3
最后
Runway 作为 AIGC 视频方向的独角兽,接下来估计还会有更多的动作。毕竟这还是个 beta 版本。从人人都是插画师(文生图)到人人都是程序员(GPT4)终于到了人人都是导演(文生视频)的时代了。
AIGC 视频相关文章
好莱坞终结者?Fable 公司推出多模态影视生成器 Showrunner AI
【免责声明】市场有风险,投资需谨慎。本文不构成投资建议,用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。