Linly-Dubbing 智能视频多语言AI配音/翻译工具_tiknovel-最新最全的nft,web3,AI技术资讯技术社区

Linly-Dubbing 智能视频多语言AI配音/翻译工具

2024-08-18 09:06:42  浏览:364  作者:管理员
Linly-Dubbing 智能视频多语言AI配音/翻译工具

Linly-Dubbing 智能视频多语言AI配音/翻译工具,这个项目野心很大,从图上就可以看出来它要做大而全的功能。

它内置了 yt-dlp 项目用来下载在线视频;人声分离用了 Demucs 和 UVR5;语音识别使用 WhisperX 和 FunASR;翻译模块使用 OpenAI API、Qwen、Google Translate;语音生成和音色克隆使用 Edge TTS、XTTS、CosyVoice、GPT-SoVITS;口型匹配使用 Linly-Talker;至于视频合成处理那肯定是 FFmpeg。

那么这种大而全的项目带来的问题就是你需要下载 Qwen,XTTSv2,CosyVoice,faster-whisper-large-v3 等各种模型,不仅如此,翻译还需要使用 OpenAI API(当然你可以用 Ollama 配置本地服务器)。模型加上依赖,这个项目最后会占用的空间应该会很恐怖。

项目: https://github.com/Kedreamix/Linly-Dubbing


评论区

共 0 条评论
  • 这篇文章还没有收到评论,赶紧来抢沙发吧~

【随机内容】

返回顶部