AI长视频平台Clipfly(www.clipfly.ai)正式上线。Clipfly是Fotor旗下的新产品,集合了AI视频生成、AI视频增强、视频编辑等众多功能,是全球率先正式上线的一站式AI长视频平台。
Fotor是全球头部AI图像产品,本身是一个AI图片编辑平台。2022年8月,Fotor便上线了AI图片生成功能。此后,Fotor相继上线了AI人像生成、AI卡通化、图片增强等众多AI功能。目前,Fotor月活人数(MAU)达1500万人。
Fotor创始人兼CEO段江表示,Fotor在图像领域有深厚积累,基于技术通用性和视频用户需求增长,因此决定布局AI视频方向。
AI视频生成还处于早期阶段,AI工具之间不互通,用户的制作流程繁琐。一名AI视频创作者,需要先用Stable Diffusion、Midjourney等文生图工具生成图片,再用Runway、Pika等视频生成工具将图片生成视频,最后在Premiere Pro、剪映等视频编辑器上将片段剪辑成完整视频。
Fotor关注到了这一问题,并且提出了自己的解决思路——Clipfly的设计理念是提供一站式AI视频平台,集成文生图、图生视频、视频编辑等功能,使用户能够在一个平台上完成从产生创意到完整视频的所有工作。
Clipfly生成视频截图
在工作流程上,Clipfly先将提示词(Prompt)生成1-4张图片,也就是视频帧(Frame),再将图片生成4秒长的视频片段。生成足够的视频片段后,用户可以进入视频编辑器,将素材加上字幕、音乐,剪辑为完整视频。
段江表示,对于广告短片等具体应用场景,创作者需要的不是一镜到底的视频,而是不断变换的多个场景片段。Clipfly通过调优模型,提高生成视频片段的采纳率,从而满足创作者体验。“Sora虽然发布了一分钟的视频,但短期内还拿不出正式上线的产品。我们通过全流程平台解决AI长视频的问题,为视频创作者提供了一个非常良好的工具。”
2023年6月,Clipfly便立项开发。段江表示,团队基于成熟的技术和产品能力,在开发过程中部分解决了人物一致性等问题。开发时间长达半年,原因在于一站式AI视频平台的需求众多,团队从头搭建了视频编辑器,并且集合了各种类型的视觉模型。
Clipfly生成视频截图
在技术实现上,Clipfly一方面使用Stable Difussion等开源模型,并进行调优,实现文生图、视频生成功能。另一方面,基于团队在图像处理领域的核心算法,实现图像增强功能,从而提升视频质量。尤其是在图像增强领域,部分团队采用AIGC思路,即训练大量高质量图片,基于待处理图片,重新生成新图片,相对耗时、耗资源。Clipfly则基于经典的图像处理算法和计算机视觉算法,可以在端侧实现图片计算,速度更快。
据36氪了解,Clipfly还处于上线测试阶段,用户主要来自Fotor导流。段江表示,“我们有工程能力、算法的原始创新,还有产品能力,这些结合在一起,形成了现在的Clipfly产品。Clipfly也是全球首个正式上线的一站式AI长视频平台。