而如果在各大教程中溜达一圈后就会发现,其中的关键秘诀,还是要靠一个名为so-vits-svc的开源项目。 它提供了一种音色替换的办法,项目在今年3月发布。 推特博主@歸藏介绍说,在处理前最好把声音格式转成WAV格式,因为So-VITS-SVC 4.0只认这个格式,方便后面处理。 还是会担心版权问题 值得一提的是,在so-vits-svc的项目主页上,着重强调了版权问题。 警告:请自行解决数据集的授权问题。 GitHub地址: https://github.com/svc-develop-team/so-vits-svc 参考链接: [1]https://mp.weixin.qq.com/s/bXD1u6ysYkTEamt-PYI1RA
介绍so-vits-svc是基于VITS的开源项目,VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech runtime==4.8pip install antlr4-python3-runtime==4.8pip install tensorboard数据集准备将上一步中生成的音频片段文件夹clips移动到so-vits-svc sovits 模型,以扩散模型推理-se | --second_encoding:二次编码,浅扩散前会对原始音频进行二次编码,玄学选项,有时候效果好,有时候效果差推理下面以孙燕姿的模型为例,演示如何使用 so-vits-svc audio id="audio" controls="" preload="none"> <source id="mp3" src="https://pan.tryxd.cn/d/aliyundrive/<em>so-vits-svc</em> amix=inputs=2:duration=first:dropout_transition=3 output.wav参考:https://github.com/svc-develop-team/<em>so-vits-svc</em>
而这次大火的AI翻唱背后的原始项目「so-vits-svc」的作者,据称也是因为太多人滥用,而删除了项目。 SoVitsSvc:唱歌声音转换 项目地址:https://github.com/svc-develop-team/so-vits-svc 歌声转换模型使用SoftVC内容编码器来提取源音频语音特征 参考资料: https://github.com/svc-develop-team/so-vits-svc https://www.bilibili.com/video/BV1io4y1w73k/?
如何在本机使用CPU来跑大语言模型 前段时间用google的colab跑so-vits-svc开源声音训练模型库,因为我本机是Mac的cpu版本,无法支持NAVID GPU的加速并行训练,但是每天都有时间限制
此外,HelloGithub 本周的热门项目之一是可以帮你翻唱乐曲的 so-vits-svc,想要孙燕姿唱你想听的歌曲么?试试它。 3.1 AI 翻唱:so-vits-svc 主语言:Python 它提供了一种歌声转换的 AI 算法,能够实现高质量的歌声转换。更有网友玩出了花样,用它训练出来的模型翻唱流行歌曲,效果惊人。
最近半年,在TTS领域也涌现了一大批音频领域的AI,TTS发展到了VITS阶段,so-vits-svc则是在音乐领域大放异彩。TTS从纯粹的文字朗读,变得富有情感和节奏,言语间显得更加自然。
主要功能包括: 支持多种声音变化 AI MMVC so-vits-svc RVC(Retrieval-based-Voice-Conversion) DDSP-SVC Beatrice JVS Corpus
so-vits-svc-fork[3] Stars: 7.4k License: NOASSERTION 这个项目是 SoftVC VITS Singing Voice Conversion Fork,它是 so-vits-svc
懂技术的小伙伴也可以寻找其他替代方案,比如语音转文字模型 Whisper、文字翻译 GPT、声音克隆 + 生成音频 so-vits-svc、生成符合音频的嘴型视频 GeneFace++dengdeng。
开始训练 万事俱备,只差训练,首先配置so-vits-svc环境,请移步:AI天后,在线飙歌,人工智能AI孙燕姿模型应用实践,复刻《遥远的歌》,原唱晴子(Python3.10) ,囿于篇幅,这里不再赘述 最后,运行命令开始训练: python3 train.py -c configs/config.json -m 44k 终端会返回训练过程: D:\work\so-vits-svc\workenv how-to-adjust-learning-rate warnings.warn("Detected call of `lr_scheduler.step()` before `optimizer.step()`. " D:\work\so-vits-svc D:\work\so-vits-svc\workenv\lib\site-packages\torch\autograd\__init__.py:200: UserWarning: Grad strides
主要功能包括: 支持多种声音变化 AI MMVC so-vits-svc RVC(Retrieval-based-Voice-Conversion) DDSP-SVC Beatrice JVS Corpus
此外,还收录了 HG 网站热门项目 AI 翻唱 so-vits-svc,以及不到 1024 行的文本编辑器 kibi。 3.
References [1] AI孙燕姿: https://github.com/svc-develop-team/so-vits-svc [2] audiocraft: https://github.com
有网友扒出,HeyGen是用Whisper将语音转文字,GPT4(目前未开源)进行文本翻译,声音克隆+生成音频用so-vits-svc,最后用GeneFace++,将翻译后的语音与视频中说话者的嘴唇动作同步
另外,这里面还有一个分支,就是AI唱歌,现在基于so-vits-svc技术,已经可以把AI唱歌做的非常好,你看suno的发展,音乐创作者们高声痛哭要失业。
模型微调:使用预训练的语音转换模型(如So-VITS-SVC或RVC),在极短时间内完成对目标音色的微调。
十、扩展点 替换YourTTS为更先进的VITS/RVC/So-VITS-SVC进行风格转换(需更多配置与训练)。
(歌曲生成的方案可以参考 AI 孙燕姿的技术选型:so-vits-svc)若当前意图和虚拟人技能库中已有能力不匹配或者当前意图为 chat 时,我们将执行对话行为分支。