- 综合排序
- 最热优先
- 最新优先
- 来自专栏深度学习自然语言处理
【ERNIE】深度剖析知识增强语义表示模型——ERNIE
ERNIE的原理介绍 上面简单回顾了静态词向量与动态词向量，以及其中重要的点，那么ERNIE是怎么工作，以及任务是怎么训练的呢？ ERNIE 1.0的效果图： ? ERNIE的官方对比效果图： ? 这里XLNET没有中文，只对比了bert的效果。 ERNIE的应用案例 ERNIE效果那么好，怎么应用到我们自己的场景中呢？ 性能不敏感的场景：直接使用 ? 21.5%的用户排序得到优化 ERNIE用户风控模型应用于度小满场景 ERNIE 的模型蒸馏案例：搜索问答Query识别和QP匹配 ? 使用了一个技术叫离线向量化，用ERNIE直接过一遍视频库，simnet的倒数第二层保留向量的输出。这样减少实际ERNIE直接对两两视频进行计算
2.3K20发布于 2019-12-23 - 来自专栏NLP/KG
PaddleHub实战篇{ERNIE实现文新闻本分类、ERNIE3.0 实现序列标注}【四】
_汀、的博客-CSDN博客_ernie模型 百度飞桨：ERNIE 3.0 、通用信息抽取 UIE、paddleNLP的安装使用[一]_汀、的博客-CSDN博客_paddlenlp 安装 项目实战： PaddleHub Tiny}训练、部署【三】_汀、的博客-CSDN博客 PaddleHub实战篇{ERNIE实现文新闻本分类、ERNIE3.0 实现序列标注}【四】_汀、的博客-CSDN博客 通过前面几篇文章大家都有一定了解 'ernie') ERNIE tiny, Chinese hub.Module(name='ernie_tiny') ERNIE 2.0 Base, English hub.Module(name='ernie_v2 PaddleNLP已经实现了ERNIE 3.0预训练模型，可以通过一行代码实现ERNIE 3.0预训练模型和分词器的加载。 本项目开源 ERNIE 3.0 Base 、ERNIE 3.0 Medium 、 ERNIE 3.0 Mini 、 ERNIE 3.0 Micro 、 ERNIE 3.0 Nano 五个模型： ERNIE
1.1K20编辑于 2022-12-21 - 来自专栏CSDNToQQCode
ERNIE-Bot 4.0提示词格式
这个提示词提出了一个具体主题，即人工智能的未来发展，并要求ERNIE-Bot 4.0发表相关看法。这样的提示词可以引导ERNIE-Bot 4.0就特定主题展开讨论，提供深入的见解和分析。 ERNIE-Bot 4.0可以根据这个情境，提供相关的旅行目的地推荐和旅游建议。 这些案例展示了不同类型的提示词格式，以帮助您更好地理解和使用ERNIE-Bot 4.0。 ERNIE-Bot 4.0的提示词元素 ERNIE-Bot 4.0的提示词元素包括以下几个部分： 1. **引导词**：这是提示词的开头部分，用于引导ERNIE-Bot 4.0的注意力。 这部分是必选的，因为它决定了ERNIE-Bot 4.0生成回答的方向。 3. ERNIE-Bot 4.0的提示词元素包括以下几个部分： 1. **引导词**：通常是必选的。它用于启动对话，并明确向ERNIE-Bot 4.0发出指令。例如：“请问”、“请告诉”等。
45440编辑于 2023-11-15 - 来自专栏小七的各种胡思乱想
为Bert注入知识的力量 Baidu-ERNIE & THU-ERNIE & KBert
这一章我们只针对NLU领域3个基于实体链接的知识增强方案Baidu-ERNIE，THU-ERNIE和K-Bert来聊下具体实现~知识增强 Knowledge is any external information 对比BERT对独立token进行掩码，ERNIE分阶段采用token，phrase和entity这三种不同粒度的span进行掩码。 不过模型本身并没有引入更丰富的实体关联等知识信息~THU-ERNIE paper：ERNIE: Enhanced Language Representation with Informative Entitiesgithub THU-ERNIE更完整的给出了在预训练中融入知识的方案。 ERNIE设计了新的预训练目标dAE来辅助知识信息融入。
52010编辑于 2022-08-25 - 来自专栏自然语言处理
ERNIE 3.0 Titan：最强中文预训练模型
百度|ERNIE 3.0 Titan:探索更大规模的知识增强型语言理解和生成预训练 论文标题：ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced 作者提出了名为ERNIE 3.0的统一框架，用于预训练大规模知识增强模型，并训练了一个具有 100 亿个参数的模型。 ERNIE 3.0 在各种 NLP 任务上的表现优于最先进的模型。 为了探索扩展 ERNIE 3.0 的性能，作者在PaddlePaddle平台上训练了具有多达2600亿个参数的百亿参数模型 ERNIE 3.0 Titan。 受益于ERNIE 3.0 Framework的优势，ERNIE 3.0在自然语言理解和自然语言生成的丰富下游任务上取得了惊人的改进。 理所当然地，本文中的 ERNIE 3.0 Titan 是建立在 ERNIE 3.0 Framework 之上的。
1.3K40编辑于 2022-01-06 - 来自专栏机器之心
登顶GLUE的百度ERNIE再突破：语言生成预训练模型ERNIE-GEN刷新SOTA
机器之心报道 机器之心编辑部 还记得去年登顶 GLUE 的 ERNIE 预训练语言模型吗？时隔半年，ERNIE 功力大增。 他们提出了首个基于多流（multi-flow）机制生成完整语义片段的预训练模型 ERNIE-GEN，显著提升了自然语言生成任务效果。 以 BERT、ERNIE 为代表的语言理解预训练模型只进行了编码器的表征学习。 总结 ERNIE-GEN 开源项目包含飞桨静态图、动态图两个版本。 基于更大规模预训练数据集的 ERNIE-GEN 也正式发布在 GitHub 上：https://github.com/PaddlePaddle/ERNIE/ 除了上述公开数据集外，ERNIE-GEN 已经在新闻标题生成等真实业务场景进行了应用
76620发布于 2020-05-27 - 来自专栏CSDNToQQCode
ERNIE-Bot 4.0的角色如何使用
ERNIE-Bot 4.0使用角色步骤 要使用ERNIE-Bot 4.0的角色，可以按照以下步骤进行操作： 1. **明确需求**：在使用ERNIE-Bot 4.0之前，首先明确自己的需求。 确保提示词清晰、明确，并包含必要的信息，以便ERNIE-Bot 4.0能够理解你的意图。 3. **输入提示词**：将构建好的提示词输入到ERNIE-Bot 4.0的交互界面中。 反复调整和改进提示词，以与ERNIE-Bot 4.0进行更准确、智能的对话。 需要注意的是，ERNIE-Bot 4.0是一个语言模型，虽然具备强大的自然语言处理能力，但仍然存在一些局限性。 因此，在使用ERNIE-Bot 4.0时，可能需要一些尝试和调整，以获得最佳的结果。 同时，对于某些复杂的问题或任务，ERNIE-Bot 4.0可能无法提供完全准确的回答，这时可以参考其提供的信息，并结合其他资源进行综合考量。
66220编辑于 2023-11-15 ERNIE Bot Agent开发框架 & function calling 开发实践
2 ERNIE Bot Agent开发框架ERNIE Bot Agent 基于文心模型的 Function Calling（下⾯简称FC） 能力实现了多工具编排和自动调度功能，并且允许工具、插件、知识库等不同组件的混合编排 # ⾸先安装Ernie Bot !pip install ./ERNIE-SDK/erniebot # 然后安装ERNIE Bot Agent !pip install . /ERNIE-SDK/erniebot-agent # 安装核⼼模块 #pip install './erniebot-agent/. 没啥可多讲的SYSTEM_MESSAGE = "你是⼀个英语⽼师，当⽤户给你⼀个单词的时候，请你专业⽽通俗的返回英语的<单词翻译><近义词><反义词><例句>"llm = ERNIEBot(model="ernie ").get_tools()[0] 2.4 创建agent memory = SlidingWindowMemory(max_round=5) llm_final = ERNIEBot(model="ernie
57910编辑于 2024-06-17- 来自专栏机器学习算法与Python学习
百度ERNIE，中文任务全面超越BERT
本文转自机器之心 ERNIE Github 项目地址：https://github.com/PaddlePaddle/LARK/tree/develop/ERNIE 近年来，无监督文本的深度神经网络预训练模型大幅提升了各个 因此百度提出了基于知识增强的 ERNIE 模型。ERNIE 模型通过建模海量数据中的实体概念等先验语义知识，学习真实世界的语义关系。 ERNIE 对实体概念知识的学习以及训练语料的扩展，增强了模型语义表示能力。为验证 ERNIE 的知识学习能力，研究者利用几道有趣的填空题对模型进行了考察。 可以看到 ERNIE 在基于上下文知识推理能力上表现的更加出色。 对于知识推理能力，ERNIE 在自然语言推断任务上做了进一步实验。 ERNIE 与 Google 公布的 BERT 进行了比较： ? 实验表明，ERNIE 模型相较于 BERT，在语言推断效果上更胜一筹。
1.4K30发布于 2019-05-24 - 来自专栏我还不懂对话
BERT+实体-百度ERNIE优化了啥
ERNIE 1.0 如何将知识(knowledge)信息融入到模型训练中，一种方式是将知识信息作为输入，成本是其他人使用的时候也要构建知识库，并且fine-tune和pre-train的知识库分布不一致 其三，通过完型填空人物，ernie能够更好地利用词语信息预测出正确的实体。 ERNIE2.0框架 作者基于上面假设，提出来ERNIE2.0的框架，支持添加定制的任务与原有多任务一起增量地预训练，使得模型能够更好地学习到语料中的词汇( lexical)、句法(syntactic) 首先，通过引入先验知识和大数据上持续地无监督任务训练模型，然后增量的添加多任务更新ERNIE模型。 基于此，作者认为这种持续学习能够让ERNIE框架保持学习并且持续收集知识，同时积累的知识保证模型在新任务上能够学得更好。 讲道理，这不就是 积跬步而至千里 吗？
70950编辑于 2022-01-04 - 来自专栏数据分析与挖掘
PaddleHub提供的ERNIE进行文本分类
可直接在百度的aistudio中进行实验： 地址：https://aistudio.baidu.com/aistudio/projectdetail/305830 ERNIE 通过建模海量数据中的词、实体及实体关系 相较于 BERT 学习原始语言信号，ERNIE 直接对先验语义知识单元进行建模，增强了模型语义表示能力，以 Transformer 为网络基本组件，以Masked Bi-Language Model和 本示例展示利用ERNIE进行文本分类任务。 1、导入需要的包：在jupyter notebook中安装所需的包需要在前面加上感叹号，如果是本地，直接pip即可 ! "ernie") dataset = hub.dataset.ChnSentiCorp() 在PaddleHub中选择ernie作为预训练模型，进行Fine-tune。 5、选择优化策略（Fine-Tune） 用于ERNIE/BERT这类Transformer模型的迁移优化策略为AdamWeightDecayStrategy。详情请查看Strategy。
1.7K30发布于 2020-08-26 - 来自专栏阿泽的学习笔记
5 分钟理解百度 ERNIE 核心思想
如果想要细致了解 ERNIE 的各个细节，建议读原论文：ERNIE1.0 和 ERNIE2.0 ❞ 本文假设读者对 Transformer 以及 BERT 有一定的了解。 ERNIE 1.0 「ERNIE1.0 主要是改进了 BERT 的 MLM 任务。」 我们看图说话， ? 从图中，我们很容易发现 ERNIE1.0 对于 BERT 的改进是在 MLM 任务。 好了，这样子最初版的 ERNIE 就讲完了。下面我们开始讲 ERNIE2.0. ERNIE 2.0 「ERNIE2.0 主要是在 ERNIE1.0 的基础上，使用了新的多任务训练的框架。」 对于这样的多任务训练，ERNIE2.0 系统化的提出了 3 大类任务，并让 ERNIE 基于这三大类任务进行学习。我们先看图： ? 我们首先介绍这三大类任务，然后再介绍任务训练的方式。 最终，ERNIE2.0 预训练的整体框架为： ?
53320发布于 2021-07-06 - 来自专栏NLP/KG
深度学习进阶篇-国内预训练模型：ERINE、ERNIE 3.0、ERNIE-的设计思路、模型结构、应用场景等详解
这三种策略都是应用在ERNIE预训练过程中的预训练任务，期望通过这三种级别的任务帮助ERNIE学到更多的语言知识。 ERNIE 3.0借鉴此想法，在如下方面进行了改进：ERNIE 3.0同时结合了将自回归和自编码网络，从而模型在文本生成和语言理解任务表现均很好。ERNiE 3.0在预训练阶段中引入了知识图谱数据。 ERNIE 3.0的模型结构图片图1 ERNIE 3.0模型结构2.2.1 ERNIE 3.0的网络结构延续ERNIE 2.0的语言学习思路，ERNIE 3.0同样期望通过设置多种预任务的方式辅助模型学习语言的各方面知识 ERNIE和N-Gram的融入方式上边我们提到了，不同于连续多个token的预测，ERNIE-GRAM采用了一种显式的n-gram方式进行建模，在本节我们将展开讨论ERNIE和显式的n-gram融合建模的方式 [ERNIE-Gram github](https://github.com/PaddlePaddle/ERNIE/tree/develop/ernie-gram)
4.5K00编辑于 2023-05-28 - 来自专栏AI科技大本营的专栏
超详细中文预训练模型ERNIE使用指南
ERNIE效果会比较好，而且使用十分方便，所以今天就详细地记录一下。 希望大家也都能在自己的项目上取得进展~ 1、A Glance at ERNIE 关于ERNIE模型本身的话这篇不会做过多介绍，网上的介绍文档也很多了，相信从事NLP的同学们肯定都非常熟悉啦。 2、ERNIE源码浅尝 Okay，当我们了解了ERNIE模型的大体框架及原理之后，接下来就可以深入理解一下具体的实现啦。 目前来说，对于中文领域的NLP任务，可以优先选择ERNIE。听小道消息说，ERNIE 2.0快出来了，据说效果很猛。 不要过分迷信预训练模型！！！ 关于ERNIE的更多信息，可点击文末阅读原文或查看以下链接： https://github.com/PaddlePaddle/ERNIE/tree/develop/ERNIE Reference： 《Enhanced
2.7K30发布于 2019-08-01 - 来自专栏我还不懂对话
BERT+实体-百度ERNIE优化了啥
ERNIE 1.0 如何将知识(knowledge)信息融入到模型训练中，一种方式是将知识信息作为输入，成本是其他人使用的时候也要构建知识库，并且fine-tune和pre-train的知识库分布不一致 其三，通过完型填空人物，ernie能够更好地利用词语信息预测出正确的实体。 ERNIE2.0框架 作者基于上面假设，提出来ERNIE2.0的框架，支持添加定制的任务与原有多任务一起增量地预训练，使得模型能够更好地学习到语料中的词汇( lexical)、句法(syntactic) 首先，通过引入先验知识和大数据上持续地无监督任务训练模型，然后增量的添加多任务更新ERNIE模型。 基于此，作者认为这种持续学习能够让ERNIE框架保持学习并且持续收集知识，同时积累的知识保证模型在新任务上能够学得更好。 讲道理，这不就是 积跬步而至千里 吗？
1K10发布于 2021-10-19 - 来自专栏程序媛驿站
NLP | 百度 ERNIE - 从0开始快速上手
前文我们已经简单讲解过ERNIE1.0与2.0的构成与区别 NLP | 百度 ERNIE - 简析1.0 与 2.0 一篇简单易懂的好文 本文小媛带来的是【从0开始快速上手百度 ERNIE】 一、前置条件 执行如下命令从GitHub上获取ERNIE代码库。如果网络速度较慢用户可以跳过此步，因为教程自带有ERNIE的包。 ! 从表1中可以看到ERNIE具有明显的优势。 使用ERNIE 1.0中文Base模型进行推理分如下三个步骤： 数据获取。 /ERNIE python . /ERNIE/ernie/finetune_sementic_analysis_dygraph.py \ --from_pretrained ernie-1.0 \ --
1.2K20编辑于 2022-04-11 - 来自专栏程序媛驿站
NLP | 百度 ERNIE - 简析1.0 与 2.0
| 小媛提示：本文有个面试小重点哦 本文以通俗易懂的语言介绍了百度提出的 持续学习语义理解框架 ERNIE 的基本原理，和利用 ERNIE 来解决下游 NLP 任务的过程。 图2 BERT、GPT 与 ELMo 三、ERNIE 介绍了 ERNIE 的骨架结构后，下面再来介绍了 ERNIE 的原理。 因此 ERNIE 2.0 应运而生。ERNIE 2.0 是基于持续学习的语义理解预训练框架，使用多任务学习增量式构建预训练任务。 小媛插一句： NLP岗面试可是被问到过ERNIE 1.0 与 2.0 的区别哦， 重点画好了， 你们看着办 图4 ERNIE 2.0框架 ERNIE 2.0 的预训练包括了三大类学习任务，分别是 关于ERNIE更详细的介绍，可以参考这两篇学术论文： ERNIE: Enhanced Representation through Knowledge Integration ERNIE 2.0: A
1K10编辑于 2022-04-11 - 来自专栏机器学习初学者精选文章
【NLP】5 分钟理解百度 ERNIE 核心思想
如果想要细致了解 ERNIE 的各个细节，建议读原论文：ERNIE1.0 和 ERNIE2.0 ❞ 本文假设读者对 Transformer 以及 BERT 有一定的了解。 ERNIE 1.0 「ERNIE1.0 主要是改进了 BERT 的 MLM 任务。」 我们看图说话， ? 从图中，我们很容易发现 ERNIE1.0 对于 BERT 的改进是在 MLM 任务。 好了，这样子最初版的 ERNIE 就讲完了。下面我们开始讲 ERNIE2.0. ERNIE 2.0 「ERNIE2.0 主要是在 ERNIE1.0 的基础上，使用了新的多任务训练的框架。」 对于这样的多任务训练，ERNIE2.0 系统化的提出了 3 大类任务，并让 ERNIE 基于这三大类任务进行学习。我们先看图： ? 我们首先介绍这三大类任务，然后再介绍任务训练的方式。 最终，ERNIE2.0 预训练的整体框架为： ?
84240发布于 2021-07-07 - 来自专栏PaddlePaddle
ERNIE加持，飞桨图神经网络PGL全新升级
其中ERNIE是百度推出的基于知识增强的持续学习语义理解框架，在中英文16个任务上超越业内同类最优模型，以历史上首次超越90大关的成绩登顶自然语言处理领域最权威的GLUE评测榜单，并在最近SemEval ERNIESage是ERNIE与GraphSAGE碰撞的结果，是ERNIE SAmple aggreGatE的简称，它的结构如下图所示，主要思想是通过ERNIE作为聚合函数（Aggregators），建模自身节点和邻居节点的语义与结构关系 单纯的ID特征的GraphSAGE只能建模结构信息，单独的ERNIE语义模型只能建模语义信息。 在PGL的框架驱动下，我们可以轻松结合二者，通过ERNIE捕捉语义信息，并且利用GraphSAGE补充结构特征，通过节点的邻居补充更有用的信息。 下图为百度内部某个推荐系统的Text Graph实际场景，ERNIESage通过结合文本与图结构信息，可以取得比独立应用ERNIE和GraphSAGE更好的效果。
80430发布于 2020-05-04 - 来自专栏AINLP
一文读懂最强中文NLP预训练模型ERNIE
基于飞桨开源的持续学习的语义理解框架ERNIE 2.0，及基于此框架的ERNIE 2.0预训练模型，在共计16个中英文任务上超越了BERT和XLNet, 取得了SOTA效果。 本文带你进一步深入了解ERNIE的技术细节。 ERNIE 的Fine-tuning代码和英文预训练模型已通过飞桨开源 Github 地址： https://github.com/PaddlePaddle/ERNIE 二：ERNIE 详解 2.1 ERNIE 结构 2.1.1 ERNIE 初探 ? 2.1.1 ERNIE 结构详解 ?
1.8K30发布于 2019-10-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号