- 综合排序
- 最热优先
- 最新优先
- 来自专栏新智元
Facebook开源PyTorch版本fairseq翻译模型，训练速度提高50%
FAIR今天发布了fairseq-py，这是一个用PyTorch实现的卷积seq2seq模型。 fairseq-py是语言翻译以及其他 seq2seq 的NLP任务的一个很好的模型，新的工具包比以前的更高效率：生成翻译的速度比以前的提高了80%，训练速度提高了50%。 今天开源的是一个PyTorch版本的fairseq。这个重新实现的原作者是Sergey Edunov，Myle Ott和Sam Gross。 训练一个新模型 数据预处理 Fairseq-py源码分发包含了一个用于IWSLT 2014德语 - 英语语料库的预处理脚本示例。 /models/wmt14.en-fr.fconv-py.tar.bz2 | tar xvjf - -C data-bin $ curl https://s3.amazonaws.com/fairseq-py
2.3K110发布于 2018-03-22 - 来自专栏AI科技评论
Facebook开源机器学习翻译项目fairseq
今天，Facebook的人工智能研究团队发表了他们的研究成果Fairseq，他们使用了一种新型的卷积神经网络来做语言翻译，比循环神经网络的速度快了9倍，而且准确性也是现有模型中最高的。
1K60发布于 2018-03-12 - 来自专栏BestSDK
一周简报|Facebook开源机器学习翻译项目fairseq ，可翻译6500种语言
Facebook开源机器学习翻译项目fairseq ，可翻译6500种语言 Facebook的人工智能研究团队发表了他们的研究成果Fairseq，他们使用了一种新型的卷积神经网络来做语言翻译，比循环神经网络的速度快了
1.9K40发布于 2018-02-28 - 来自专栏量子位
Facebook开源CNN机器翻译的PyTorch实现，速度提高80%
同时，Facebook还开放了seq2seq学习工具包fairseq的Torch源代码和已训练的系统。 最近，Facebook又开源了fairseq的PyTorch版：fairseq-py。 fairseq-py可以用来里实现机器翻译，也能用于其他seq2seq的NLP任务。 这个开源工具包同时还包含英译法、英译德的预训练机器翻译模型。 fairseq-py比之前的Torch版更高效，翻译的速度提高了80%，训练速度提升近50%。 fairseq-py的GitHub链接： https://github.com/facebookresearch/fairseq-py 论文Convolutional Sequence to Sequence forum/fairseq-users
1.2K40发布于 2018-03-26 - 来自专栏AI科技评论
开发 | Facebook开源 PyTorch版 fairseq，准确性最高、速度比循环神经网络快9倍
AI科技评论按：今年5月，FacebookAI研究院（FAIR）发表了他们的研究成果fairseq，在fairseq中，他们使用了一种新型的卷积神经网络来做语言翻译，比循环神经网络的速度快了9倍，而且准确性也是现有模型中最高的 Facebook开源机器学习翻译项目fairseq 一文。 日前，FacebookAI研究团队又在GitHub上开源了fairseqPyTorch版本。 相关介绍 fairseq是FacebookAI研究院发布的一个序列到序列的学习工具，它的原作者（排名不分先后）是SergeyEdunov、MyleOtt和SamGross。 A 0 1 3 3 5 6 6 10 8 8 8 11 12 训练新模型 数据预处理 fairseq-py工具包中包含用于IWSLT 2014德转英语料库的一个预处理脚本样例。 训练好的模型 目前开源的全卷积序列到序列模型如下： wmt14.en-fr.fconv-py.tar.bz2（https://s3.amazonaws.com/fairseq-py/models/wmt14
1.8K91发布于 2018-03-14 - 来自专栏纸鱼AI
Transformer解码器详解
最近做fairseq的实验，发现之前对transformer的理解还是不够深入，尤其是解码器的部分，所以我又重新深入地了解了一下transformer解码器的构造。 比对fairseq后对框架的了解也更加深入了。 transformer和self-attention的的介绍我前面的文章已经说过了，这里就不重复提了。这篇文章只说明解码器部分的细节。 ? 这一部分fairseq中使用了static k，v来表示（fairseq的这两块代码是分开的），因为编码器输出后，在解码过程中，这些k，v是不会变的。 ? 后面的前向网络和其余部分的就没什么区别了。
2.7K20发布于 2020-04-08 - 来自专栏机器学习算法与Python学习
10月份GitHub上最热门的Python开源项目
2 fairseq https://github.com/pytorch/fairseq Star 10205 Fairseq这个翻译模型由Facebook AI实验室在2017年提出，和以往以RNN为基础的翻译模型相比 Fairseq的模型，模型结构如下图所示： ?
1.5K31发布于 2020-11-17 - 来自专栏机器之心
支持Transformer全流程训练加速，最高加速3倍！字节跳动LightSeq上新
除此之外，它还和当前流行的训练库如 Fairseq [5]、NeurST [6] 等做了深度集成。 Fairseq LightSeq 为 Fairseq 提供了一套完整便捷的 Transformer 训练样例。 以当前流行的 Fairseq 训练库（基于 PyTorch）和被广泛使用 Apex 工具库 [8] 为基准，测试了 LightSeq 的训练性能。 首先是 Fairseq+Apex 的可视化，结果如图 4 所示。总耗时在 288ms 左右，三个红色框分别表示前向传播、反向传播、梯度同步与参数更新。 图 4：Fairseq+Apex 单步训练过程可视化 然后是 Fairseq+LightSeq 的可视化，结果如图 5 所示，总耗时降到了 185ms 左右。
1.4K20编辑于 2023-03-29 - 来自专栏相约机器人
微软研究院推出“Tutel”：一个促进大规模 DNN（深度神经网络）模型开发的高性能 MoE 库
与最先进的 MoE 实现（如 Meta 的 Facebook AI Research Sequence-to- PyTorch 中用于单个 MoE 层的序列工具包 (fairseq)。 Tutel 是免费的开源软件，已集成到 fairseq 中。 Tutel 是一种高级 MoE 解决方案，通过专注于 MoE 特定计算和全对全通信的优化以及其他多样化和灵活的 MoE 算法支持，对现有的高级 MoE 解决方案（如 fairseq 和 FastMoE） Tutel 还使用了一个快速的 cumsum-minus-one 运算符，它比 fairseq 加快了 24 倍的过程。 Tutel 的表现优于 fairseq 框架，并已被纳入DeepSpeed框架。Tutel 和相关连接将有助于 Azure 服务，特别是对于希望轻松扩展大型模型的公司。
1.6K10发布于 2021-12-01 - 来自专栏Python绿色通道
2020年10月GitHub上最热门的Python开源项目
2 fairseq https://github.com/pytorch/fairseq Star 10205 Fairseq这个翻译模型由Facebook AI实验室在2017年提出，和以往以RNN为基础的翻译模型相比 Fairseq的模型，模型结构如下图所示： ?
1.2K21发布于 2020-11-19 - 来自专栏机器之心
32分钟训练神经机器翻译，速度提升45倍
项目地址：https://github.com/pytorch/fairseq ? 我们想让用户用自己喜欢的语言体验我们的产品，同时与世界各地的人们建立联系。 我们之前关于这一课题的研究 fairseq 已经开源，这是一个序列到序列的学习库，可供任何人训练 NMT 模型，完成自动摘要或其他文本生成任务。 快速翻译 我们还提高了 fairseq 模型的翻译速度。具体来说，我们实现了很巧妙的高速缓存，或从计算和批处理中移除完成句子的几个单词而不是句子。这提高了大约 60% 的速度。 下图展示了 fairseq 和其它工具集的对比。只从 32 位浮点数变到 16 位浮点数就能提升 40% 的速度。 ? 为了让该研究项目尽快成长起来，我们共享了分布式训练的代码，并将其作为我们的 fairseq 开源项目的一部分，从而使其他研究者也可以轻松地以更快的速度训练 NMT 模型。
1K10发布于 2018-09-20 - 来自专栏AI科技大本营的专栏
Facebook开源多款AI工具，支持游戏、翻译等
GitHub 地址： https://github.com/facebookresearch/ParlAI Fairseq Fairseq 是一个序列建模工具包，可为翻译、概括以及其他文本生成任务训练定制模型 GitHub 地址： https://github.com/facebookresearch/fairseq-py MUSE MUSE 是一个 Python 库，可以加快跨语言词嵌入和 NLP 的开发和评估过程
1.1K10发布于 2018-07-23 - 来自专栏CSDN社区搬运
语音预训练模型wav2vec
例如，Facebook fairseq 源码库提供了Wav2Vec相关的模型和工具，可以方便地训练和使用Wav2Vec模型。 以下是一个使用Hugging Face库的代码示例： import torch import fairseq cp_path = 'wav2vec_large.pt' model, cfg, task = fairseq.checkpoint_utils.load_model_ensemble_and_task([cp_path]) model = model[0] model.eval() wav_input wav_input_16khz) c = model.feature_aggregator(z) 部署文档 源码库地址 GitHub(FAIR)：https://github.com/pytorch/fairseq 文档地址： https://github.com/facebookresearch/fairseq/blob/main/examples/wav2vec/README.md 源码系列： https
1.2K10编辑于 2024-11-27 - 来自专栏算法工程师的学习日志
语音识别的一些开源项目整理
链接：https://github.com/tensorflow/lingvo （9）fairseq 推荐指数： ★★★☆☆ start数量：14.4k 工具特点：是meta基于pytorch开发的序列到序列建模的工具 链接：https://github.com/pytorch/fairseq （10）athena star数量：700+ 工具特点：端到端语音处理工具包，同样包含asr在内的多个任务。
3.5K30编辑于 2022-07-27 - 来自专栏小小挖掘机
Papers with Code 2020 全年回顾
github.com/eriklindernoren/PyTorch-GAN MMDetection — OpenMMLab — https://github.com/open-mmlab/mmdetection FairSeq — PyTorch — https://github.com/pytorch/fairseq Gluon CV — DMLC — https://github.com/dmlc/gluon-cv 2020
96830发布于 2021-01-08 - 来自专栏海边的拾遗者
Papers with Code 2020 全年回顾
github.com/eriklindernoren/PyTorch-GAN MMDetection — OpenMMLab — https://github.com/open-mmlab/mmdetection FairSeq — PyTorch — https://github.com/pytorch/fairseq Gluon CV — DMLC — https://github.com/dmlc/gluon-cv 2020
51311发布于 2021-01-08 - 来自专栏计算机视觉工坊
Papers with Code 2020 全年回顾（顶流论文+顶流代码+Benchmarks）
github.com/eriklindernoren/PyTorch-GAN MMDetection — OpenMMLab — https://github.com/open-mmlab/mmdetection FairSeq — PyTorch — https://github.com/pytorch/fairseq Gluon CV — DMLC — https://github.com/dmlc/gluon-cv 2020
63510发布于 2021-01-12 - 来自专栏量子位
BERT重夺多项测试第一名，改进之后性能追上XLNet，现已开源预训练模型
import torch roberta = torch.hub.load(‘pytorch/fairseq’, ‘roberta.large’) roberta.eval() # disable dropout 论文地址： https://arxiv.org/abs/1907.11692 GitHub： https://github.com/pytorch/fairseq/tree/master/examples
84630发布于 2019-08-01 - 来自专栏磐创AI技术团队的专栏
热点 | github近期热点项目汇总
【2578 stars】 （https://github.com/facebookresearch/ParlAI） No17：Fairseq。 Fairseq是一个研究序列化学习的工具包，从脸谱网AI研究定制为神经机器翻译（NMT）。 【2571 stars】 （https://github.com/facebookresearch/fairseq） No18：Pyro。
1.6K10发布于 2018-09-20 - 来自专栏AI科技评论
改进版 BERT 打败 XLNet ，Facebook 公布研究细节
相关论文地址： https://arxiv.org/pdf/1907.11692.pdf GitHub 地址： https://github.com/pytorch/fairseq/tree/master 目前，他们还使用了一个新的数据集，并发布相关模型和预训练微调代码，可以点击打开以下网址查看： https://github.com/pytorch/fairseq
92210发布于 2019-08-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号