从音频中提取i向量

Question

下午好,

我正在考虑从音频片段中提取ivectors。python-bob是最好的库吗？很难找到任何有用的文档，所以如果有任何正确方向的观点，我将不胜感激。

谢谢

Answer 1

既然你问的是一个非常宽泛的问题，我只能给你一个宽泛的答案。

要提取ivectors，需要首先训练背景模型。bob.bio.spear是你可以用来做这件事的主库。bob.db.voxforge可以作为一个玩具数据库示例来帮助您入门。bob.bio.spear已从BOB9版本中删除(它将在下一个版本的Bob中恢复)，因此您必须安装BOB8并阅读bob 8 documentation

所以这里是如何安装bob8相关的包：

$ conda create --name bob-8 --override-channels \
  -c https://www.idiap.ch/software/bob/conda -c defaults \
  -c https://www.idiap.ch/software/bob/conda/label/archive \
python=3 bob=8 bob.bio.spear bob.db.voxforge gridtk bob.bio.gmm
$ conda activate bob-8
$ conda config --env --add channels defaults
$ conda config --env --add channels https://www.idiap.ch/software/bob/conda/label/archive
$ conda config --env --add channels https://www.idiap.ch/software/bob/conda
$ # conda install more packages if you need them. like:
$ # conda install bob.db.iris

以下是一些有用的链接，可以帮助您入门：

• https://www.idiap.ch/software/bob/docs/bob/docs/v8.0.0/tutorial.html
• https://www.idiap.ch/software/bob/docs/bob/docs/v8.0.0/bob/bob.bio.base/doc/index.html
• https://www.idiap.ch/software/bob/docs/bob/docs/v8.0.0/bob/bob.bio.spear/doc/index.html
• https://www.idiap.ch/software/bob/docs/bob/docs/v8.0.0/bob/bob.db.voxforge/doc/index.html

如果您想查看Gitlab上的代码，则必须浏览与BOB8版本相关的标记中的代码：https://gitlab.idiap.ch/bob/bob/-/blob/v8.0.0/requirements.txt

例如，要浏览bob.bio.base代码，请查看https://gitlab.idiap.ch/bob/bob.bio.base/-/tree/v4.1.1

对于一个最小的示例，要在voxforge数据库上训练和测试i-vector系统，请运行：

$ download_and_untar_voxforge.py --address ~/databases/voxforge
$ echo "[YOUR_VOXFORGE_DIRECTORY]=$HOME/databases/voxforge" > ~/.bob_bio_databases.txt
$ verify.py -vvv -d voxforge -p energy-2gauss -e mfcc-60 -a ivec-plda-voxforge -s ivec-plda --groups {dev,eval} --parallel 4

然后，如果您想在自己的数据上进行测试，您可以按照https://www.idiap.ch/software/bob/docs/bob/docs/v8.0.0/bob/bob.bio.base/doc/filelist-guide.html创建一个文件列表数据库接口