Linly-Dubbing 智能视频多语言AI配音/翻译工具,这个项目野心很大,从图上就可以看出来它要做大而全的功能。
它内置了 yt-dlp 项目用来下载在线视频;人声分离用了 Demucs 和 UVR5;语音识别使用 WhisperX 和 FunASR;翻译模块使用 OpenAI API、Qwen、Google Translate;语音生成和音色克隆使用 Edge TTS、XTTS、CosyVoice、GPT-SoVITS;口型匹配使用 Linly-Talker;至于视频合成处理那肯定是 FFmpeg。
那么这种大而全的项目带来的问题就是你需要下载 Qwen,XTTSv2,CosyVoice,faster-whisper-large-v3 等各种模型,不仅如此,翻译还需要使用 OpenAI API(当然你可以用 Ollama 配置本地服务器)。模型加上依赖,这个项目最后会占用的空间应该会很恐怖。
项目: https://github.com/Kedreamix/Linly-Dubbing