- 综合排序
- 最热优先
- 最新优先
- 来自专栏算法码上来
DeBERTa登顶GLUE~
DeBERTa刷新了GLUE的榜首，本文解读一下DeBERTa在BERT上有哪些改造 DeBERTa对BERT的改造主要在三点 分散注意力机制 为了更充分利用相对位置信息，输入的input embedding 在训练下游任务时，给训练集做了一点扰动来增强模型的鲁棒性 效果 DeBERTa large目前是GLUE的榜首，在大部分任务上整体效果相比还是有一丢丢提升 ? 附上原文与源码，顺便吐槽一下原文的图画的太烂了 原文： https://arxiv.org/abs/2006.03654 源码： https://github.com/microsoft/DeBERTa /tree/master/DeBERTa/deberta
82310发布于 2021-02-24 - 来自专栏机器之心
NLU新里程碑，微软DeBERTa登顶SuperGLUE排行榜，显著超越人类
DeBERTa 的架构。 最近该研究在 arXiv 上提交了 DeBERTa 的最新论文，文中详细介绍了 DeBERTa 模型的方法及最新的实验结果。 ? 增强型掩码解码器 与 BERT 一样，DeBERTa 也使用掩码语言建模（MLM）进行了预训练。DeBERTa 将语境词的内容和位置信息用于 MLM。 DeBERTa_base 在开发集和测试集上都获得了比较好的 PPL 结果，MLM 和 ARLM 联合训练进一步降低了 PPL，这展示了 DeBERTa 的有效性。 为了研究 DeBERTa 模型不同部分对性能的影响，研究人员设计了三种变体： EMD 表示没有 EMD 的 DeBERTa 基础模型； C2P 表示没有内容到位置 term 的 DeBERTa 基础模型 因此，该研究建立了一个拥有 15 亿个参数的 DeBERTa，表示为 DeBERTa_1.5B，该模型有 48 层。
1K10发布于 2021-01-20 - 来自专栏量子位
AI在这张“问卷”上首次超越人类，SuperGLUE被微软谷歌两家“攻破”
一个是来自微软的DeBERTa，一个是来自谷歌的T5+Meena。 ? 超越人类的两大NLU模型 对NLP领域的人来说，微软DeBERTa模型并不陌生，早在去年8月微软就开源了该模型的代码，并提供预训练模型下载。 ? 增大规模带来的性能提升，使单个DeBERTa模型SuperGLUE上的得分（90.3）首次超过了人类（89.8），居于榜单首位。 和其他预训练语言模型(PLM)一样，DeBERTa旨在学习通用语言表示形式，适应各种下游NLU任务。DeBERTa使用三种新技术——分离的注意力机制、增强的掩码解码器和一种用于微调的虚拟对抗训练方法。 微软DeBERTa源代码与预训练模型： https://github.com/microsoft/DeBERTa 谷歌T5和Meena： https://ai.googleblog.com/2020/02
71530发布于 2021-01-13 - 来自专栏自然语言处理
Kaggle 专利匹配比赛赛后总结
/input/deberta-base-cv5/deberta-base/", "../input/deberta-v3-base-cv5/deberta-v3-base/", ".. /input/deberta-v3-small/deberta-v3-small/", ".. /input/deberta-base-cv5/deberta-base/', "deberta-base"], 'deberta-v3-base': ['.. /input/deberta-v3-base-cv5/deberta-v3-base/', "deberta-v3-base"], 'deberta-v3-small': ['.. /input/deberta-v3-small/deberta-v3-small/', "deberta-v3-small"], 'distilroberta-base': ['..
53240编辑于 2022-09-09 - 来自专栏深度学习自然语言处理
BERT的逆袭：揭秘如何在无需额外训练下释放语言模型的生成能力
论文提出了一种简单的推理技术，使得DeBERTa能够在没有任何额外训练的情况下作为生成模型运行。 作者使用DeBERTa模型，并将其与GPT-3进行了比较分析，涵盖了多种自然语言处理（NLP）任务，包括语言理解、语言建模、机器翻译和问答。 实验包括了对不同规模的DeBERTa模型（从0.1B到1.4B参数）在单次（1-shot）学习情况下的表现进行了评估。 在机器翻译任务中，DeBERTa的表现不如GPT-3，部分原因可能是由于其训练语料库相对较小且干净，缺乏多语言数据。 未来工作可能包括： 通过在更大和更多样化的文本语料库上预训练、增加模型参数数量和使用更长的上下文长度来提高DeBERTa的结果。
39510编辑于 2024-06-18 - 来自专栏大数据文摘
微软和谷歌的人工智能，在SuperGLUE基准测试中超越了人类
但截至1月初，有两个模型：微软的DeBERTa和谷歌的T5 + Meena——已经成为第一个超越人类基线的模型。 DeBERTa并不是全新的——它去年开源过——但是研究人员说他们训练了一个包含15亿个参数（模型用来做预测的内部变量）的更大版本。 例如，DeBERTa会理解“deep”和“learning”两个词相邻出现时的依赖性要比出现在不同的句子中时强得多。 微软的研究人员希望下一步继续探索如何使DeBERTa能够概括出新的子任务或基本的解决问题技能，这一概念被称为组合泛化。 微软研究人员写道：“DeBERTa在SuperGLUE上超越人类的表现，标志着通用人工智能的一个重要里程碑。
60610发布于 2021-01-25 - 来自专栏NLP/KG
VLE基于预训练文本和图像编码器的图像-文本多模态理解模型：支持视觉问答、图文匹配、图片分类、常识推理等
VLE与METER的结构上的差异在于： VLE使用DeBERTa-v3作为文本编码器，其性能优于METER中使用的RoBERTa-base。 -base CLIP-ViT-base-patch16 hfl/vle-base-for-vqa link VLE-large-for-VQA DeBERTa-v3 -large CLIP-ViT-large-patch14 hfl/vle-large-for-vqa link VLE-base-for-VCR-q2a DeBERTa-v3- base CLIP-ViT-base-patch16 hfl/vle-base-for-vcr-q2a link VLE-large-for-VCR-q2a DeBERTa-v3-large hfl/vle-base-for-vcr-qa2r link VLE-large-for-VCR-qa2r DeBERTa-v3-large CLIP-ViT-large-patch14 hfl
1.2K00编辑于 2023-08-06 - 来自专栏信数据得永生
Transformers 4.37 中文文档（二十八）
原文：huggingface.co/docs/transformers/v4.37.2/en/model_doc/deberta 概述 DeBERTa 模型是由何鹏程、刘晓东、高建峰、陈伟柱在DeBERTa DeBERTa 的代码和预训练模型将在github.com/microsoft/DeBERTa上公开提供。 这个模型是由DeBERTa贡献的。这个模型 TF 2.0 实现是由kamalkraj贡献的。 它用于根据指定的参数实例化一个 DeBERTa 模型，定义模型架构。使用默认值实例化配置将产生类似于 DeBERTa microsoft/deberta-base架构的配置。 在顶部带有语言建模头的 DeBERTa 模型。 在 DeBERTa 模型的顶部带有一个标记分类头部（隐藏状态输出的线性层）的 DeBERTa 模型，例如用于命名实体识别（NER）任务。
58510编辑于 2024-06-26 - 来自专栏开源栈
内容审查到零样本分类 | 技术创作特训营第一期
无以上类别"] model_options = ["facebook/bart-large-mnli", "valhalla/distilbart-mnli-12-3", "MoritzLaurer/DeBERTa-v3 -large-mnli-fever-anli-ling-wanli36.511.270.150.140.02部分准确2DeBERTa-v3-large-mnli-fever-anli-ling-wanli17.580.720.40.050.03 不准确3DeBERTa-v3-large-mnli-fever-anli-ling-wanli95.6959.726.890.450.07合理4DeBERTa-v3-large-mnli-fever-anli-ling-wanli95.0779.3217.910.070.05 部分准确5DeBERTa-v3-large-mnli-fever-anli-ling-wanli61.8828.358.160.060.03部分准确6DeBERTa-v3-large-mnli-fever-anli-ling-wanli99.6493.950.830.070.03 合理7DeBERTa-v3-large-mnli-fever-anli-ling-wanli2.481.410.080.060.04不准确数据集太小，无法得出明确的结果，但它们在这个任务上似乎都在相对可比的空间内
42110编辑于 2023-08-25 - 来自专栏信数据得永生
Transformers 4.37 中文文档（二十九）
/deberta-v2 概述 DeBERTa 模型是由 Pengcheng He、Xiaodong Liu、Jianfeng Gao、Weizhu Chen 在DeBERTa: Decoding-enhanced DeBERTa 的代码和预训练模型将在github.com/microsoft/DeBERTa上公开。 以下信息直接可见于原始实现存储库。DeBERTa v2 是 DeBERTa 模型的第二个版本。 根据指定的参数实例化一个 DeBERTa-v2 模型，定义模型架构。使用默认值实例化配置将产生类似于 DeBERTa microsoft/deberta-v2-xlarge架构的配置。 在顶部带有语言建模头的 DeBERTa 模型。 带有顶部语言建模头的 DeBERTa 模型。
97210编辑于 2024-06-26 - 来自专栏Python与算法之美
Kaggle Feedback Prize金牌思路赛后总结
模型部分 3.1 backbone 前排常见的backbone包括:DeBERTa-V3-large、DeBERTa-Large、DeBERTa-XLarge。
52820编辑于 2023-02-23 - 来自专栏为了不折腾而去折腾的那些事
使用 Docker 来快速上手中文 Stable Diffusion 模型：太乙
/ 29 ls 30 vim pretrain_deberta_base.sh 31 sh pretrain_deberta_base.sh 32 git submodule init 33 / 59 sh pretrain_deberta_base.sh 60 vim pretrain_deberta_base.sh 61 sh pretrain_deberta_base.sh /lightning_logs/ 67 rm fengshen/workspace/erlangshen-deberta-base/lightning_logs -rf 68 rm fengshen /workspace/erlangshen-deberta-base/ckpt -rf 69 cd .. 70 exit 上面的命令中，主要做了几件事： 调整和配置 Python 应用所需要 Pytorch 在提供给用户的镜像里进行了 pretrain_erlangshen_deberta_v2 的预训练，结束后或许是想保持干净的环境，删除掉了日志和模型文件。
2.3K00编辑于 2022-12-09 - 来自专栏为了不折腾而去折腾的那些事
使用 Docker 来快速上手中文 Stable Diffusion 模型：太乙
/ 29 ls 30 vim pretrain_deberta_base.sh 31 sh pretrain_deberta_base.sh 32 git submodule init 33 / 59 sh pretrain_deberta_base.sh 60 vim pretrain_deberta_base.sh 61 sh pretrain_deberta_base.sh /lightning_logs/ 67 rm fengshen/workspace/erlangshen-deberta-base/lightning_logs -rf 68 rm fengshen /workspace/erlangshen-deberta-base/ckpt -rf 69 cd .. 70 exit 上面的命令中，主要做了几件事： 1.调整和配置 Python 应用所需要 Pytorch 4.在提供给用户的镜像里进行了 pretrain_erlangshen_deberta_v2 的预训练，结束后或许是想保持干净的环境，删除掉了日志和模型文件。
2.9K40编辑于 2023-03-05 - 来自专栏Elastic Stack专栏
介绍 Elastic Rerank：Elastic 的新语义重排模型
对于我们的重排序器，我们选择从DeBERTa v3 检查点开始训练。它结合了预训练文献中的各种成功理念，并在微调后在各种 NLP 基准上提供了与模型大小相关的最先进性能。 简要总结一下这个模型： DeBERTa 引入了一种解耦的位置和内容编码机制，使其能够学习内容和序列中其他标记位置之间更细致的关系。 DeBERTa v3 采用了 ELECTRA 预训练目标，以 GAN 风格同时训练模型生成有效的假标记并学会识别这些假标记。他们还提出了对这一过程的参数化进行小改进。 因此，我们训练 Elastic 重排序器的第一步是尽量从 DeBERTa 中提取相关性判断。 它从 DeBERTa v3 基础模型微调而来，使用了一个精心准备的数据集，通过双编码器和交叉编码器模型的集合进行蒸馏。 我们展示了它在词法检索结果的重排序中提供了最先进的相关性。
69122编辑于 2024-12-13 - 来自专栏量子位
注意力机制作用被高估了？苹果等机构新研究：把注意力矩阵替换成常数矩阵后，性能差异不大
如下图，研究先用了BERT-BASE、RoBERTa-BASE和DeBERTa-BASE做实验，其中y轴表示性能，x轴是注意力头相比原来减少的情况： 随后，研究又用了BERT-LARGE、RoBERTa-LARGE 和DeBERTa-LARGE做实验： 通过比较结果，研究人员发现了一些有意思的现象： 首先，用常数矩阵替换一半的注意矩阵，对模型性能的影响极小，某些情况下甚至可能导致性能的提升（x值达到½时，图中有些模型数值不减反增
33920编辑于 2022-12-09 - 来自专栏自然语言处理(NLP)论文速递
2023年！自然语言处理（NLP）10 大预训练模型
9、DeBERTa DeBERTa模型（Decoding-enhanced BERT with Disentangled Attention），是微软在2021年初发布。 DeBERTa 模型使用了两种新技术（注意力解耦机制、增强的掩码解码器）改进了 BERT和RoBERTa模型，同时还引入了一种新的微调方法（虚拟对抗训练方法）以提高模型的泛化能力。
7.6K50编辑于 2023-03-06 - 来自专栏深度学习自然语言处理
每日论文速递 | BiLoRA: 基于双极优化消除LoRA过拟合
A：论文中进行了一系列的实验来验证BiLoRA方法的有效性和性能，具体包括： 自然语言理解（NLU）任务: 在GLUE基准测试上评估了RoBERTa和DeBERTa模型。 扩展到大型模型的性能评估: 使用DeBERTa-v2xxlarge（1.5亿参数）模型评估了BiLoRA在非常大型模型上的扩展性能。 不同模型架构的适应性: 论文中的实验主要针对RoBERTa、DeBERTa和GPT-2模型。BiLoRA方法在其他类型的模型架构上的效果和适用性值得进一步研究。 实验: 在GLUE基准测试上对RoBERTa和DeBERTa模型进行了评估。 在E2E NLG挑战赛上对GPT-2模型进行了评估。 对比了BiLoRA与LoRA、AdaLoRA和其他微调方法的性能。
99710编辑于 2024-04-11 - 来自专栏自然语言处理
RAGulator：如何识别和缓解大模型所谓的“忠实幻觉”
比较了不同模型（包括LightGBM、Random Forest、deberta-v3-large和xlm-roberta-large）的性能，并与Llama-3.1-70b-Instruct进行了对比 模型性能比较实验： 比较了RAGulator模型（包括LightGBM、Random Forest、deberta-v3-large和xlm-roberta-large）与Llama-3.1-70b-Instruct
26910编辑于 2024-11-23 - 来自专栏机器之心
稠密检索新突破：华为提出掩码自编码预训练模型，大幅刷新多项基准
在 BERT、RoBERTa 等初代预训练语言模型之后，大量新方法被相继提出，如 XLNET、T5、ELECTRA、DeBERTa 等。 RetroMAE (blue)在 BEIR 上与 BERT (red)、RoBERTa (green)、DeBERTa(purple)的对比 图 4. 根据在零样本稠密检索基准 BEIR [3]之上的表现（图 3、图 4），RetroMAE 在绝大多数任务中都明显优于 BERT、RoBERTa、DeBERTa 等传统基线，其平均检索精度更是远超此前同等规模的预训练模型
1K40编辑于 2022-12-16 - 来自专栏灯塔大数据
双周动态|韩运营商LG U+6月将关闭韩国最后的2G网络；AI算法可将试管婴儿成功率提高3倍；硬件钱包有望拓展数字人民币应用场景
但在今年一月初，微软的DeBERTa和谷歌的T5 + Meena第一次成为超越人类基准的机器模型。 DeBERTa的微软研究人员解释说DeBERTa通过蒙面语言建模进行预训练，利用了上下文中单词的内容和位置信息来识别句子中两个不同词汇在句子中扮演的角色，并判断单词依赖性的强度。 尽管在SuperGLUE基准上DeBERTa超越人类基准，但SuperGLUE并不是一种完美的人类语言测试，为了使模型早日达到人类水平需要继续研究突破，以及用新的基准来衡量它们及其影响。
60210发布于 2021-01-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号