首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Michael阿明学习之路

    Rasa NLU 实践

    目录结构 2. nlu.yml 3. config.yml 4. domain.yml 5. 目录结构 2. nlu.yml version: "3.0" nlu: - intent: greet examples: | - 你好 - hello 实践 pip install --no-deps -r full_requirements.txt cd Chapter02/ rasa train nlu 训练 rasa train nlu ┌── -rw-rw-r-- 1 web web 20238659 Nov 10 09:55 nlu-20221110-095458-green-trill.tar.gz 运行测试 rasa shell nlu 重新训练 rasa train nlu 测试 rasa shell nlu Next message: 你很优雅的完成了任务 { "text": "你很优雅的完成了任务", "intent"

    1.6K30编辑于 2022-11-18
  • 来自专栏喔家ArchiSelf

    感知自然语言理解(NLU

    自然语言是人类的智慧,自然语言处理(NLP)是AI中最为困难的问题之一,而自然语言理解(NLU)也变成了一个主要的问题,充满了魅力和挑战。 一介程序员,没有能力去做相关的研究,但是认知其中的一些基本概念,对于开发具体NLP/NLU相关的应用实现,尤其是对话式智能系统上的应用,还是非常有帮助的。那NLP 和 NLU 有啥区别和联系呢? 简单的说, NLU是NLP的一个子集,因此在老码农眼中的简明AI中的那张图是错误的,应该是包含的关系。 ? NLU的一个主要功能是“execute an intent ”即提取意图。什么是意图呢? 在我们开发Android 应用的时候,离不开Intent,尽管和NLU中的意图不太一样,但还是对意图的理解有帮助的。 不会的,这正是DuerOS的强大所在,这涉及到很多NLU/NLP的技术,其中一种就是泛化。

    2K20发布于 2019-03-12
  • 来自专栏产品经理的人工智能学习库

    自然语言理解 – NLU | NLI

    自然语言理解(NLU)跟 NLP 是什么关系?为什么说它是人工智能领域里一个难点?NLU 的发展史历史和目前最现金的方法是什么? 本文将解答上面的问题,带你全面了解自然语言理解(NLU)。 什么是自然语言理解(NLU)? 大家最常听到的是 NLP,而 自然语言理解(NLU) 则是 NLP 的一部分: ? 什么是自然语言? 下面用一个具体的案例来深度说明一下自然语言理解(NLU): 对话系统这个事情在2015年开始突然火起来了,主要是因为一个技术的普及:机器学习特别是深度学习带来的语音识别和NLU(自然语言理解)——主要解决的是识别人讲的话 自然语言理解(NLU)的应用 几乎所有跟文字语言和语音相关的应用都会用到 NLU,下面举一些具体的例子。 ? NLU具有围绕特定产品垂直的本体,用于计算意图的概率。NLU具有已定义的已知意图列表,其从指定的上下文信息识别源导出消息有效载荷。

    3K10发布于 2019-12-18
  • 利用NLU标签优化ASR重评分模型

    技术背景当用户与语音助手交互时,自动语音识别(ASR)模型先将语音转为文本,再由自然语言理解(NLU)模型解析文本结构。 核心创新多任务训练框架 在标准语言模型目标(词序列概率预测)基础上,新增NLU的意图分类和槽位填充任务共享词嵌入层,使模型学习同时优化三个目标的向量表示推理阶段仅保留语言模型评分功能(如图1所示架构) 训练策略优化 采用两阶段训练:先在大规模无标注数据上预训练语言模型,再用带NLU标注的小数据集微调对比线性权重调整与随机权重多数算法,后者通过动态概率分布调整任务权重表现更优实验结果相对基线模型,罕见词错误率降低 3%(相对无重评分系统降低5%)最佳效果来自预训练+多任务微调的组合策略未来方向将NLU分类结果显式输入解码器基于意图分类动态偏置重评分探索半监督学习扩展自动标注数据规模

    23300编辑于 2025-08-06
  • 加泰罗尼亚语加入多语言NLU数据集

    2022年12月5日今年早些时候发布的MASSIVE是一个包含100万条记录的自然语言理解(NLU)数据集,由人工翻译的语料组成,涵盖51种语言、18个领域、60种意图和55种槽位类型。 会议EMNLP 2022大规模多语言NLU研讨会相关出版物《MASSIVE:包含51种类型多样语言的百万示例多语言自然语言理解数据集》

    26910编辑于 2025-09-16
  • 来自专栏AI研习社

    NLP 与 NLU:从语言理解到语言处理

    在这篇文章中,我们将仔细研究NLP和NLU的概念以及它们在AI相关技术中的优势。 值得注意的是,NLP和NLU尽管有时可以互相交换使用,但它们实际上是两个有一些重叠的不同概念。 然而,NLP和NLU是许多其他数据挖掘技术的对立面。 ? 自然语言理解(NLU) NLP可以追溯到20世纪50年代计算机程序员开始尝试简单的语言输入。NLU在20世纪60年代开始发展,希望让计算机能够理解更复杂的语言输入。 NLU被认为是NLP的一个子方向,主要侧重于机器阅读理解:让计算机理解文本的真正含义。 NLU实际上做了什么 与NLP类似,NLU使用算法将人类语音转化为结构化本体。 总而言之:最好将NLU视为实现NLP的第一步:在机器处理语言之前,必须首先理解它。 NLP和NLU的相关性 从其任务可以看出,NLU是NLP的组成部分,它负责人类理解某个文本所呈现的含义。

    2.7K20发布于 2019-05-31
  • 来自专栏AI工程

    自然语言理解的应用 SNIPS-NLU

    自然语言理解的应用 SNIPS-NLU AI工程:尽量不自己造轮子 什么是自然语言理解 自然语言理解,即Natural Language Understanding,可以认为是特指对话系统/对话机器人/ Chatbot中的NLU组件/模块,也可以认为是所有自然语言理解类任务的总称。 用NLU改善问答的例子 以上的例子,显然如果我们能够通过自然语言理解,获取用户搜索的句子的时间,还有计算我们数据库中索引了的数据条目的时间,进行时间重合度/匹配度的计算,就能更好的分清楚到底哪个句子应该排在前面 我们这里尝试用Snips-nlu来处理英文时间识别问题 (因为没有好的中文处理工具) 公司A在2018年之后的收入 The company's revenue after 2018 公司A在2016年之前的收入是 那么在AI工程上往往有两个方法: 重新训练NLU,增加例子,训练一个自己的NLU模型,解决问题 在自然语言之前加规则层,绕开问题 在第二个方法中,例如上面的问题,我们可以写一个规则模板、正则表达式,把“

    89350发布于 2020-02-12
  • 来自专栏AI工程

    自然语言理解的应用 SNIPS-NLU

    自然语言理解的应用 SNIPS-NLU AI工程:尽量不自己造轮子 什么是自然语言理解 自然语言理解,即Natural Language Understanding,可以认为是特指对话系统/对话机器人/ Chatbot中的NLU组件/模块,也可以认为是所有自然语言理解类任务的总称。 用NLU改善问答的例子 以上的例子,显然如果我们能够通过自然语言理解,获取用户搜索的句子的时间,还有计算我们数据库中索引了的数据条目的时间,进行时间重合度/匹配度的计算,就能更好的分清楚到底哪个句子应该排在前面 我们这里尝试用Snips-nlu来处理英文时间识别问题 (因为没有好的中文处理工具) 公司A在2018年之后的收入 The company's revenue after 2018 公司A在2016 那么在AI工程上往往有两个方法: 重新训练NLU,增加例子,训练一个自己的NLU模型,解决问题 在自然语言之前加规则层,绕开问题 在第二个方法中,例如上面的问题,我们可以写一个规则模板、正则表达式,把“

    1K20发布于 2020-04-02
  • 来自专栏AI科技评论

    NLP≠NLU,机器学习无法理解人类语言

    更糟糕的是,这种方法会阻碍自然语言理解(NLU)的任何真正进展。 相反,现在是重新思考 NLU 方法的时候了。 因为我们确信,对 NLU 的"大数据"方法不仅在心理上、认知上甚至计算上都是难以操作的,而且这种盲目的数据驱动 NLU 方法在理论和技术上也有缺陷。 虽然机器学习可能适合某些 NLP 任务,但它们几乎与 NLU 无关。 这时候,我们应该可以清楚地明白:为什么NLP与NLU不同,为什么NLU对机器来说是困难的。但是NLU 的困难根源究竟是 什么? 解码"过程是NLU中的"U"--即理解话语背后的思想。 说话者和听者的思想语言交流 此外,"解码"过程中需要没有任何误差,才能从说话者的话语中,找出唯一一种意在传达的含义。这正是NLU困难的原因。

    96730发布于 2021-08-24
  • 来自专栏人工智能

    使用Botkit和Rasa NLU构建智能聊天机器人

    NLU工具,也是我们在这个任务中首先考虑的工具。 取而代之的,我们通过使用一个叫做Rasa的开源的NLU来完美的代替API.ai和Wit.ai,这样一来,我们便能够在AWS上对其进行托管和管理了。 Rasa NLU 在本节中,我将详细解释Rasa NLU,并且提供给你一些你应该熟知的在NLP中常用的术语。 意图: 将用户的诉求告知机器。 例如:提出投诉,要求退款等请求。 这些媒介软件提供Botkit与数据库、CRM、NLU和统计工具的集成接口,使得该框架更加具有可扩展性。 您现在应该已经熟悉如何使用机器人开发框架和NLU来构建对话机器人的过程了。希望这篇文章能够帮助你更快的开始搭建起你自己的机器人。

    6.5K90发布于 2018-01-29
  • 多任务语言模型:用NLU标注提升ASR重评分

    利用NLU标签改进ASR重评分模型通过对自动语音识别(ASR)的假设进行重评分的二阶语言模型,能够从自然语言理解(NLU)任务的多任务训练中受益。 随后,一个自然语言理解(NLU)模型会解释这段文本,为助手提供其可以执行的结构化数据。传统上,ASR系统是流水线式的,包含独立的声学模型、词典和语言模型。 其理念是,添加通常有标注训练数据的NLU任务,可以帮助语言模型吸收更多知识,这将有助于识别罕见词。 例如,我们可以将NLU分类结果作为解码器的显式输入,而不仅仅是训练编码器的目标。或者,我们可以利用意图分类来动态调整重评分结果。 我们也在探索半监督训练技术,即使用更大的自动标注语料库来扩充用于训练NLU子网络的标注数据。FINISHED

    4610编辑于 2026-03-11
  • 领域数据在NLU模型蒸馏中的关键作用

    领域数据在自然语言理解模型蒸馏中胜过教师模型知识在自然语言理解(NLU)任务中,仅使用任务特定数据训练的轻量级学生模型,其表现优于使用混合通用数据与任务特定数据训练的模型。 在NLU应用中,教师模型通常基于通用语料库进行预训练,这与任务特定微调语料库存在差异。这引发了一个问题:学生模型应该通过通用语料库蒸馏以学习高质量的教师预测,还是应该使用与微调更匹配的任务特定语料库?

    24210编辑于 2025-09-15
  • 领域数据优于教师知识:NLU模型蒸馏的关键发现

    领域数据优于教师知识:用于蒸馏NLU模型会议: EMNLP 2022相关出版物: Knowledge distillation transfer sets and their impact on downstream NLU tasks知识蒸馏是一种将大型机器学习模型压缩至可管理大小的流行技术,使其适用于语音助手等低延迟应用。

    9810编辑于 2026-01-28
  • 亚马逊发布51种语言数据集,助力多语言NLU研究

    下表将 MASSIVE 与其他自然语言理解数据集进行了比较:名称语言数量每种语言的话语数量领域意图槽位MASSIVE5119,521186055SLURP116,521186055NLU Evaluation

    7610编辑于 2026-02-14
  • 来自专栏机器之心

    NLU新里程碑,微软DeBERTa登顶SuperGLUE排行榜,显著超越人类

    机器之心报道 参与:小舟、陈萍 在最新的 NLU 测试基准 SuperGLUE 中,微软提出的 DeBERTa 登顶榜单,并超越人类。 像其他 PLM 一样,DeBERTa 旨在学习通用语言表征,可以适应各种下游 NLU 任务。 对于 NLU 任务,干扰被用于词嵌入,而不是原始的词序列。但是,嵌入向量的值范围(范数)在不同的词和模型上有所不同。对于具有数十亿个参数的较大模型,方差会比较大,从而导致对抗训练不稳定性。 实验 该研究用实验及结果评估了 DeBERTa 在 NLU 和 NLG 的各种 NLP 任务上的性能。 在 NLU 任务上的主要结果 受此前 BERT、 RoBERTa 和 XLNet 等论文的影响,该研究使用大型模型和基础模型进行结果展示。 大型模型性能结果如下表所示: ?

    99110发布于 2021-01-20
  • 向量检索+NLU:AI知识库高效检索的核心逻辑与实操

    则从根本上解决了传统知识库的关键词检索瓶颈,传统基于倒排索引的搜索方式常出现“搜不到”“搜不准”的情况,比如查询“如何解决HTTP接口调用超时的服务端问题”,关键词搜索仅能返回含“超时”的零散文档,而系统的AI搜索通过自然语言理解(NLU

    15310编辑于 2026-02-28
  • 51种语言理解数据集发布与多语言NLU技术突破

    零样本学习技术有望将NLU能力扩展至全球7000多种语言中的低资源语言。模型优势多语言模型通过学习跨语言共享表示,实现从高资源语言向低资源语言的知识迁移,显著提升语言理解的覆盖范围和技术普惠性。

    18310编辑于 2025-09-26
  • 来自专栏自然语言处理(NLP)论文速递

    「自然语言处理(NLP)」统一预训练UniLM模型(NLU+NLG)

    3、不同于主要用于 NLU 任务的 BERT,UniLM 可使用不同的自注意掩码进行配置,从而聚合用于不同类型的语言模型的上下文,因此 UniLM 可用于 NLU 和 NLG 任务。 第三,除了在 NLU 任务上的应用,作为序列到序列语言模型使用的 UniLM 也使其能自然地用于 NLG 任务,比如抽象式摘要和问答。 [EOS] 不仅能在 NLU 任务中标记句子边界,还能在 NLG 任务中让模型学习中止解码过程的时间。这种输入表征方式与 BERT 的一样。 针对下游 NLU 和 NLG 任务进行微调 对于 NLU 任务,作者将 UniLM 微调为类似于 BERT 的双向 Transformer 编码器。 2 Aced 自然语言NLP(NLG+NLU)资料大全(持续更新....)

    2.3K20发布于 2020-02-10
  • 来自专栏韩曙亮的移动开发专栏

    【AI 大模型】提示工程 ④ ( 自然语言处理 NLG | 自然语言理解 NLU | 自然语言生成 NLG | 使用 提示词 + 大模型 实现 NLU | 使用 提示词 + 大模型 实现 NLG )

    深度学习模型 , 如 : 循环神经网络、Transformer 模型 ; 统计模型 ; 自然语言处理 ( NLP , Natural Language Processing ) 主要包含 自然语言理解 ( NLU Natural Language Understanding ) 自然语言生成 ( NLG , Natural Language Generation ) 两个 子领域 ; 在实际应用中 , 自然语言理解 NLU 和 自然语言理解 NLG 的功能是互补的 , NLU 提供了理解用户输入的能力 , 将 自然语言 转为 指定格式的 状态数据 , 如 JSON 格式 / XML 格式 , 计算机可以使用编程语言 处理这些 状态数据 ; NLG 则将 理解后的 状态数据 内容 , 转化为自然语言输出 ; 二、自然语言理解 NLU 自然语言理解 ( NLU , Natural Language Understanding 含义和意图 , 能够 处理和理解 人类语言的复杂性,将 文本输入 转换成 计算机可以操作的形式 , 如 : JSON 或 XML 格式 , 从而支持各种应用程序和系统的开发和改进 ; 自然语言理解 ( NLU

    85711编辑于 2024-07-14
  • 来自专栏AI科技大本营的专栏

    Google发布新的问答语料库,专攻篇章级的NLU问题

    译者 | Linstancy 整理 | Jane 出品 | AI科技大本营(ID:rgznai100) 开放域的问答(QA)是自然语言理解(NLU)中的一项基本任务,旨在模拟人是如何通过阅读和理解完整的文档 同时,Google 也鼓励 NLU 社区参与进来,关于比赛的更多信息,可以访问: https://ai.google.com/research/NaturalQuestions/

    78430发布于 2019-05-06
领券