Sora团队罕见专访：短期内不会向公众开放，目前还不是一个产品

最近，Sora 团队三位负责人露面，接受了科技博主 @MKBHD 约 16 分钟的专访。

整个视频掐头去尾，再除去想词和提问的时间，透露的信息并不多，还回避了训练数据之类的敏感问题。

或许因为没有采访经验，他们盯着镜头，坐姿有些拘束，YouTube 网友评价：OpenAI 的采访给人的感觉，就像旁边有个拿着枪的律师。

采访得到最为明确的信息是，Sora 短期内不会向公众开放。

另外，他们也谈到了 Sora 的原理、优缺点、发展路线、安全问题，以及对创造力的影响。

但无论如何，这都是在外界众说纷纭和等待 Sora 之时，OpenAI 公开表达态度的一次采访，值得一看。

Q：科技博主@MKBHD

A：三位 OpenAI 团队成员

Bill Peebles，OpenAI 研究科学家，Sora 负责人。

Tim Brooks，OpenAI 研究科学家，Sora 负责人。

Aditya Ramesh，OpenAI 图像生成模型 DALL·E 开发者，Sora 负责人。

Q：简单地解释一下 Sora 的工作原理？

A：总的来说，Sora 是一个生成模型。

这几年面世的生成模型很多，包括 GPT 等语言模型，DALL·E 等图像生成模型，而 Sora 是视频生成模型，通过大量的视频数据，学习生成逼真的现实世界和数字世界视频。

Sora 的工作方式，借鉴了类似 DALL·E 的基于扩散的模型，以及类似 GPT 系列的大语言模型，但介于两者之间，像 DALL·E 那样被训练，在架构上更像 GPT 系列。

Q：Sora 是基于什么训练的？

A：这个我们不能透露太多，只能说基于公开可用的数据以及 OpenAI 已经获得许可的数据。

Sora 在训练方面有一项创新，能在不同时长、宽高比、分辨率的视频上训练。以前训练图像或视频生成模型时，素材的尺寸通常是非常固定的，例如只有一个分辨率。

但我们将所有宽高比、时间长短、高分辨率、低分辨率的图像和视频，全部变成叫作补丁（patch）的小块，然后根据输入的大小，在不同数量补丁（patch）的视频上训练模型。

这样一来，我们的模型非常灵活，既能在更广泛的数据上训练，也能用于生成不同分辨率和大小的内容。

Sora 可以采样 1920x1080、1080x1920 以及介于两者之间的所有视频.

Q:现阶段的 Sora 在创作方面的优点和缺点是什么？

A：Sora 的逼真度，以及 1 分钟的时长，都是巨大的进步，但也有些地方还不够好。

一般来说，手还是一个痛点。

Sora 可能生成六个手指.

另外还有一些物理方面的问题，比如 3D 打印机的例子。

Sora 没理解 3D 打印机，也没理解延时摄影.

如果要求提得更加具体，像是随时间变化的运动和摄像机轨迹，对 Sora 来说也有困难。

（编者注：采访者 @MKBHD 也在 X 分享了他的观点。

1.Sora 往往无法处理好步行等动作，双腿经常交叉并相互融合。

2.Sora 生成的商品与现实生活不完全相符，汽车、相机等无法识别为特定型号。

3.Sora 的灯光和阴影效果有时候很自然。

4.Sora可以很写实，体现光线和反射，甚至特写和纹理，也可以要求 Sora 生成具体的拍摄风格，比如 35 毫米胶片，或者背景模糊的数码单反相机，体现对焦的效果。）

Q：但是这些视频都没有声音，加入声音很难吗，你们计划什么时候在 AI 生成的视频里加入 AI 生成的声音？

A：很难给出一个确切的时间，初代的 Sora 就是一个视频生成模型，我们的重心在于改进视频生成的能力。

在 Sora 之前，很多 AI 生成的视频，只有 4 秒钟，帧率很低，质量不是很好，目前来讲，视频生成仍然是我们努力的主要方向。

当然，加入其他类型的内容会使视频更加沉浸，这也是我们正在考虑的事情。

有人用 ElevenLabs 等音频工具和剪辑工具，让 Sora 视频更有电影感.

Q：你们怎么判断 Sora 到达一个临界点，你们能够掌控它，知道怎么改进它，也准备好把它分享出来？

A：Sora 还没有准备好。

我们以博客文章形式发布 Sora（并提供部分访问权限），就是为了获得反馈，了解它对人类有什么用，还需要做哪些工作保证安全，我们也在听取艺术家的意见，看 Sora 怎么在工作流发光发热，从而指引我们的研究路线。

但 Sora 目前不是一个产品，在 ChatGPT 或者其他地方都不可用，我们甚至还没有将其转化为产品的时间表，现在就是一个获取反馈的阶段。

我们肯定会改进它，但应该如何改进它，还是一个等待解答的、开放的问题。

Q：目前你们听到了什么有趣的反馈？

A：我们收到了一个重要的反馈，人们希望能更细节地控制 Sora，不想只是借助一个较短的提示词，而是更好地控制生成的内容，这很有趣，也会是我们研究的一个方向。

Q：未来有没有这样的可能，Sora 生成一个与普通视频无法区分的视频，就像 DALL·E 制作逼真的图片？

A：这确实是可能的，当然，当我们快要接近时，必须小心谨慎，确保相关的功能不被用来传播虚假信息。

现在人们刷社交媒体时，已经在担心看到的视频是真的还是假的，是否来自权威的信源。

Q：Sora 生成的视频在底部角落有一个水印，但这样的水印可以被裁掉，你们是否考虑了其他方法，简单地识别 AI 生成的视频？

A：是的，对于 DALL·E 3，我们训练了可以识别图像是否由模型生成的溯源分类器（provenance classifier），我们也将让这项技术适用于 Sora 生成的视频。不过，这还不是一个全面的解决方案，只是第一步而已。

（编者注：DALL·E 3 官网显示，「溯源分类器」还在内测，OpenAI 称，如果图片从未修改，判断是否由 DALL·E 生成的准确率超过 99%，如果经过裁剪、压缩、叠加文本或图像等修改，准确率仍在 95% 以上。）

Q：这是否有点像元数据或者嵌入式的标志？

A：C2PA（Adobe、微软等发起的技术协议，在媒体文件中嵌入元数据，验证其来源和修改历史）是这样的。但我们训练的分类器可以在任何图像或视频上运行，并判断某个内容是否由我们的模型之一生成。

C2PA 的图标「CR」，鼠标悬停时会出现详细信息.

Q：Sora 官宣后，有人说这太酷了、太神奇了，也有人觉得害怕，工作岌岌可危了。对于大众的这些反应，你们又有什么反应？

A：焦虑肯定是存在的。

关于接下来会发生什么，我们的使命是确保这项技术安全地部署，并负起相关的责任。

同时，也有很多新的机会。例如，如果一个人有制作电影的想法，但拿到投资真正地制作电影很难，因为制作公司必须衡量预算和风险，而 AI 可以极大地降低从产生创意到完成视频的成本，这就很酷。

Q：我现在用 DALL·E 头脑风暴、制作视频缩略图，Sora 应该也有许多类似的工具化用途。但 Sora 还处于测试阶段，它会不会尽快向公众开放？

A：不会很快。

Sora 提示词：一只中等体型、看起来很友好的狗走过工业停车场。环境多雾、多云。采用 35mm 胶片拍摄，色彩鲜艳.

Q：相比照片，视频有时间、物理、反射、声音等更多的维度和变量。在更远的未来，当 Sora 制作出有声音的、完美写实的五分钟 YouTube 视频时，AI 生成媒体的下一个发展方向会是什么？

A：其实更让我们兴奋的是，AI 工具的使用，如何促进创造全新的内容。

我们往往很容易想象，AI 工具如何被用来创造现有的东西，但当新工具到最有创意的人手中，我们才能知道他们如何使用工具，创造的事物会是什么样子，或许是当前不可能的、想象不到的、全新的体验。

通过制作新的工具，让真正有创造力的人推动创意的边界，是非常激动人心的，也是我们一直以来的动力。

Q：让 Sora 更有创造力的方式，是通过更好的提示词吗？

A：Sora 还有其他特别酷的提示方式，而不仅仅是基于文本的提示。

我们发布的 Sora 技术报告中有一个示例，展示了两个输入视频如何融合，左边的视频是无人机穿过斗兽场，右边的视频是蝴蝶在水下的珊瑚礁游泳，而融合的视频是，其中的一个过渡时刻，斗兽场开始腐烂，部分埋入水下被珊瑚礁覆盖，无人机变成了蝴蝶。

这种生成视频，与使用旧技术制作的内容相比，确实给人眼前一亮的感觉。

所以，我们对于创作这类事物的兴奋超出了提示词的范畴，人们可以用像 Sora 这样的技术生成新的体验。

某种程度上可以说，我们将「建模现实」视为「超越现实」的第一步。

Q：这很有趣，Sora 模拟现实的能力越强，我们也能够更快地在其基础上构建，将它作为一个工具，解锁新的创造可能。关于 Sora 和 OpenAI，你们还有什么想分享的吗？

A：让我们兴奋的另一件事是，如何让 AI 从视频数据中学习，发挥更多的作用，而不仅仅是创作视频。

在我们生活的世界，观察事物就像观看视频，很多信息不能用文本表达，虽然像 GPT 这样的模型非常聪明，对世界已经了解很多，但如果它们无法像我们一样以视觉方式看待世界，就会缺失一些信息。

所以我们希望 Sora 和未来在 Sora 基础上构建的其他 AI 模型，从关于世界的视觉数据中学习，更好地理解我们生活的世界和其中的事物，然后更好地帮助人类。