Sora的真相进步惊人但需大量人工

2024-05-09 | 来源: 极客公园 | 转到微信 | 有0人参与评论 | 字体: 放大缩小 | 收藏 | 打印

2月初，OpenAI发布的Sora惊艳了全世界，它在文生视频上的革命性突破，一度被视为吹向好莱坞的一场大风暴。

Sora是一种扩散模型，与以往的 AI 视频生成器相比，Sora 能够依据提示词生成长达一分钟的视频内容，保持视觉质量和一致性，并且实现镜头的切换和构图调整，它还能使视频与背景相关的主题细节准确符合，生成的视频更加逼真，仿佛是现实世界的延伸。

当时，OpenAI还发布了技术说明，表明它未来可以将生成的视频延长或无缝混合两个视频。

3月起，Sora对一些艺术家开放了使用权限，月末，OpenAI在官网发布了几位艺术家使用Sora生成的超现实视频作品。近日，这些作品之一《气球人》背后的艺术家团队Shy Kids全揭秘了使用Sora的制作过程。

整体看下来，真正投入到影视制作中的Sora并没有当初那么惊艳，但它已经足够令人震撼——能让一个仅有三人的团队，在大约1.5至2周的时间内便制作出了一部精彩短片。

在该团队看来，当前形态的Sora在特定的图像生成方面取得了令人难以置信的进步；但对于相对复杂的项目，可能还需要一段时间的进化才能满足导演的具体需求。除了Sora的使用，这部《Air Head》依然使用了大量的编辑和人为指导才制作完成。团队表示，“将Sora融入创作流程是一种很真实的工作方式，但如果不这么干，好像也没什么关系。”

以下为 fxguide 与 Shy Kids 就 Sora 目前的工作原理进行讨论的内容整理：

作为获得了Sora的有限访问权限的制作团队之一，Shy Kids团队制作了Sora短片《Air Head》。Shy Kids是一家加拿大制作公司，以其多样化和创新的媒体制作方法而闻名。

Sora目前正在开发中，并通过像Shy Kids这样的团队的反馈积极改进。重要的是要认识到：Sora尚处于非常早期的发展时期，几乎可以称之为前阿尔法阶段。

Shy Kids中负责后期制作的帕特里克评论道，使用Sora是很有趣的过程，Sora是一个非常强大的工具，“我们已经在梦想着它可以如何融入我们现有的流程。但我认为对于任何生成性AI工具来说；控制力仍然是最令人向往的，也是目前最难捉摸的东西。”

用户界面和交互：为提升一致性，仅支持文本输入

Sora的用户界面设计简洁，它允许艺术家通过输入文本提示来启动视频片段的生成过程。

消息称TikTok计划本周裁撤大量运营和营销人员

Costco橄榄油价格惊人为啥涨价?

郭有才一夜变"毒瘤",背后真相引人深思

艺术家输入想要的场景描述后，OpenAI的ChatGPT技术会将其转换成更长的字符串，这一步骤是触发Sora生成视频片段的关键。

目前，Sora仅支持文本输入，尚未整合多模态输入方式，也就是说，除了文本描述外，用户无法通过其他形式如图像或声音来提供输入。

这种设计的重要性在于，尽管Sora在保持视频镜头内对象的一致性方面做得非常出色，但系统目前还无法确保第一个镜头中的内容与随后的镜头完全匹配。

换句话说，即使是使用相同的文本提示，Sora在不同时间生成的视频片段也可能存在差异。为了尽可能保持一致性，用户需要在文本提示中尽可能详细地描述场景，包括角色的服装和道具的类型等。然而，即便如此，Sora在镜头之间的一致性控制方面仍然存在局限，因为它尚未具备完整的功能集来实现完全的控制。

“我们能做的最接近的事情就是在我们的提示中加入更详细地描述，”帕特里克解释道。“解释角色的服装，以及气球的类型，是我们实现一致性的方式，因为因为目前还没有完整的功能集来完全控制镜头到镜头的一致性。”

Sora生成的每个独立片段，就其所代表的技术而言，都是令人惊叹的。然而，如何有效利用这些片段，取决于用户对Sora隐式或显式镜头生成方式的理解。

例如，如果你要求Sora生成一个在厨房里长距离跟踪的镜头，并且镜头中包含一个放在桌上的香蕉，Sora将依赖于其对“香蕉”这一概念的隐式理解来生成一个显示香蕉的视频。

通过训练数据，Sora已经学习了香蕉性的隐式特性：例如“黄色”、“弯曲”、“末端有深色”等。但它没有香蕉的实际记录图像，也没有“香蕉库存库”数据库；它有一个更小的压缩隐藏或“潜在空间”来代表香蕉的概念。因此，每次生成的运行都会展示出这个潜在空间的不同解释，这意味着用户输入的提示必须基于对这些隐式特征的理解。

角色Sonny的一致性：

团队试图在不同镜头中保持黄色气球头Sonny的一致性，但Sora无法确保每个镜头中的气球颜色和样式完全相同。有时气球的颜色或样式与提示不符，甚至出现意外的脸部图案。