tiknovel.com tiknovel

AI

当前位置:首页 > 技术圈 > AI

Sora启示录:信仰、对抗与未来

Sora启示录:信仰、对抗与未来

随着OpenAI正式发布首个文生视频大模型Sora,过去几天里围绕Sora技术配方的猜测,对行业影响的讨论成为了科技圈的头条。一位AI创业者对Sora评价是:“没有想到文生视频的GPT时刻能来的这么快。”

从创业者和行业观察角度,文生视频一直被视为多模态AIGC「圣杯」,除了本身相较于文生图来说难度更高外,在数据质量、算力以及多融合技术的复杂性上都有诸多需要突破的关卡,这也是为什么即便是行业异常火热,从Runway等AI视频初创公司崛起,再到去年Pika爆火,业内人士也乐观地认为2024是AI行业的「视频大年」,但还是在时间上留了保守态度。比如,Pika联合创始人Chenlin Meng在去年接受采访预测:“目前视频生成处于类似GPT-2的时刻。”

但Sora所呈现的效果还是打破了业内人士的预期。

无论是同行们——马斯克「人类愿赌服输」,Runway联合创始人「game on」的感慨,还是技术层面,如前阿里总裁贾扬清「非常牛」的评价,似乎让人们一夜之间又回到了一年多前令人恐惧和焦虑的GPT-3时刻。

在各类观点之外,Sora崛起究竟能给创业者乃至技术界带来哪些启示?目前国内外文生视频的发展进度又如何?

图片

「硅基研究室」曾在《Pika爆火,但AI视频还没到「GPT时刻」》一文中系统梳理AI生成视频模型背后的技术路线,主要可分为三个阶段——

阶段一为基于GAN(生成式对抗网络游戏)和VAE模型(变分自编码器),可以自回归地形成视频帧,但该技术的局限性在于应用范围窄,生成视频分辨率低,且仅能生成静态、单一的画面;

阶段二为受GPT3和DALLE启发,行业开始采用Transformer架构,出现了谷歌的Phenaki、微软的NUWA等一系列的视频生成模型,巨头押注之中,提升了视频模型的能力,例如可以捕捉上下文,实现颗粒度更细的语义控制等,却缺点也更明显了——计算量太大了,对配对数据集的要求也更大。

阶段三也则是受stable diffusion等文生图应用扩散模型的启发(diffusion models),从图像到视频领域,采用扩散架构成为了主流,Meta的Make-a-video、英伟达的Video LDM,初创公司Runway的Runway-Gen1、Runway-Gen2、字节的MagicVideo等也都是采用了扩散架构。

但扩散模型这一技术路线在算法、数据上存在难点,比如如何改善计算成本和提升数据集质量这一老问题,以及在生成效果与质量上,例如画面的一致性、分辨率、生成长度上也有不少的问题。

图片

而Sora所呈现出的效果,如生成风格的多样性、画面的一致性等优势恰好弥补了过去视频生成模型的劣势。而复盘Sora之所以能加速视频模型进程,综合官方的技术文档和专家的猜测观点,核心逻辑依旧是OpenAI技术路线的又一次验证,这套路线的特点是:大力出奇迹、足够简洁和坚守技术信仰。

一是大力出奇迹,Sora遵循了OpenAI推崇的Scaling Law。在Scaling Law的指导下,OpenAI擅长以更大规模的算力和数据提升模型性能表现。思谋科技创始人贾佳亚评价Sora:“Sora是大力出奇迹,在学术界连VIT的256*256的分辨率都没法改的情况下,Sora直接用上了高清以及更大的分辨率,这没几千上万张 H100都不敢想象如何开始这个项目。”

二是简洁性。根据技术文档和专家猜测,Sora是使用了混合模型架构——是Transformer架构的Diffusion扩散模型,据纽约大学数据科学中心的助理教授谢赛宁的猜测(注:他也是Sora技术文档中所引用的一篇关键论文的作者之一),Sora应该是建立在一种混合模型DiT之上(DiT是一个带有Transformer主干的扩散模型,它= [VAE编码器+ViT+DDPM+VAE解码器])。

同时,Sora参考了文生文模型中的Token原理。在文生文模型中,文本被同意转化为token的数字表示形式,用以模型训练。而OpenAI提出了一种用patch(视觉补丁)统一图像与视频的方法。

图片

OpenAI官方公布的示例视频

谢赛宁就评价这些技术特点是「简单性和可扩展性」,没有专注于创新。“因为简单性意味着灵活性。”

三是不变的技术信仰。Sora的爆发并非是短期,而是源自业界(比如老大哥谷歌)的技术尝试以及OpenAI长期的技术积累,从文本、图像等诸多技术尝试中均可见一斑。

创新无法被计划,但所有的创新都可以成为颠覆式创新的垫脚石,这仍然是OpenAI给大公司留下的启示。

图片

不可否认的是,在「太牛了」等感叹后,国内外的大模型企业也开始了新一轮的焦虑:从文本、图像再到视频模型,随着差距进一步拉大,「追赶」又成了新一轮的主题。

去年Pika爆火时,行业曾预测,未来在视频领域也会是一家公司领先一到两年,其他公司在追赶。但现在,竞争的时间窗口正因Sora而大大缩小。面对与OpenAI的竞争,Pika创始人郭文景回应:“我们觉得这是一个很振奋人心的消息,我们已经在筹备直接冲,将直接对标Sora。”

根据美国VC机构a16z的统计,2023年,文生视频领域发布相关工具与产品达到了21种,发布产品的多为初创企业。

图片

但当前,国内国外的文生视频领域呈现出不同的竞争态势。

在国外,一方面形成了「科技巨头+创业派+专业派」的组合,目前头部科技巨头基本都已入局,只是产品尚未全面公测。专业派则是如Adobe此类面向专业级用户的老牌软件巨头。而创业派则是包括了Runway、Pika等。另一方面,由于海外较为细分和垂直化的科技生态,也涌现出如HeyGen、Descript、Rephrase.ai等围绕轻量化视频制作的工具或平台型企业,这一部分初创企业目前也在通过收购或被收购,扩充生态。比如OpenAI参投了Descript,而Rephrase.ai则被Adobe收购。

反观国内,目前的路线和竞争格局还尚不清晰。「硅基研究室」梳理,大厂也在积极押注视频生成,如字节跳动的文生视频模型MagicVideo-V2、阿达摩院的Zeroscope等。不久前,张楠辞任抖音集团CEO,同时转向剪映发展,也被外界解读为字节对视频领域押注。

尽管技术水平不同,生态也不同,但摆在国内外企业面前的难点与挑战也是类似的。

首先在技术方面,由于是闭源模型,Sora并未公开更多的技术细节,路径依旧是模糊的。据魔搭社区开发者的讨论,一些可能的技术难点如下:Sora究竟是如何保证视频特征被更好地保留的?Sora的数据集组成如何?如何保证海量高质量的数据(数据的获取和标注又是如何完成的?)

其次在算力方面,初创企业难以复刻OpenAI「大力出奇迹」的路径,奥特曼近期一系列押注算力的计划也再度印证了算力的稀缺性。随着大模型的发展速度更快,算力成本是否能如奥特曼所想的那样降低,二者之间谁的速度更快,这一速度线往往就是初创企业的生死线。

尽管焦虑,但并非没有路可走。如一位开发者所言:“OpenAI画了一条「模糊」的路,但有了这条模糊的路,大家就可以去尝试,从而画出通往视频生成的正确的清晰的路。”

南洋理工大学研究工程师周弈帆就认为从技术贡献上来看,Sora其中一项创新就是使用了一种不限制输入形状的DiT。“DiT能支持不同形状的输入,大概率是因为它以视频的3D位置生成位置编码,打破了一维编码的分辨率限制。后续大家或许会逐渐从U-Net转向DiT来建模扩散模型的去噪模型。”(注:UNet是一种流行的卷积神经网络架构,特别适合图像分割任务)

而对一些内容创作者而言,他们关心的不仅是技术,也有开源问题。实验电影人、AIGC艺术家@海辛在即刻中写道:“我还是更相信开源社区,OpenAI总是提供很好的范式,DallE2,GPT,Sora.. 但至今你都没办法让DallE2画具体某个游戏画风的角色/场景,由于数据集本身的多样性不够,导致没有办法做具体的项目风格,风格没有办法自定义,对于大多数商业项目来说就没有意义,即实用性很低。”

如人们所预测的2024,无疑是AI视频大年,Sora提供了一种新的技术路线和方向,也为内容创作者提供了新的工具,新的追赶开始了,新的竞争与创意也从此刻开始,也正在发生。


评论排行榜