- 综合排序
- 最热优先
- 最新优先
- 来自专栏韩曙亮的移动开发专栏
【AI 大模型】提示工程 ④ ( 自然语言处理 NLG | 自然语言理解 NLU | 自然语言生成 NLG | 使用 提示词 + 大模型 实现 NLU | 使用 提示词 + 大模型 实现 NLG )
( NLP , Natural Language Processing ) 主要包含 自然语言理解 ( NLU , Natural Language Understanding ) 自然语言生成 ( NLG , Natural Language Generation ) 两个 子领域 ; 在实际应用中 , 自然语言理解 NLU 和 自然语言理解 NLG 的功能是互补的 , NLU 提供了理解用户输入的能力 , 将 自然语言 转为 指定格式的 状态数据 , 如 JSON 格式 / XML 格式 , 计算机可以使用编程语言 处理这些 状态数据 ; NLG 则将 理解后的 状态数据 内容 , 转化为自然语言输出 自然语言生成 ( NLG , Natural Language Generation ) 是一种人工智能技术 , 将 结构化数据 或 非语言格式的数据 转换成人类可以理解的 自然语言文本 ; 自然语言生成 Language Processing ) 领域中的一个重要子领域 , 通过 计算机在特定交互目标下生成语言文本 , 模拟人类语言和思考过程 , 以满足用户对数据和信息的需求 ; 自然语言生成 ( NLG
85711编辑于 2024-07-14 - 来自专栏产品经理的人工智能学习库
自然语言生成 – Natural-language generation | NLG
本文除了介绍 NLG 的基本概念，还会介绍 NLG 的3个 Level、6个步骤和3个典型的应用。 什么是 NLG？ NLG 是 NLP 的一部分 ? NLP = NLU + NLG 自然语言生成 – NLG 是 NLP 的重要组成部分。NLU 负责理解内容，NLG 负责生成内容。 以智能音箱为例，当用户说“几点了？” ，首先需要利用 NLU 技术判断用户意图，理解用户想要什么，然后利用 NLG 技术说出“现在是6点50分”。 自然语言生成 – NLG 是什么？ ? NLG 的3个level: 简单的数据合并 模块化的 NLG 高级 NLG NLG 的6个步骤： 内容确定 – Content Determination 文本结构 – Text Structuring 可以说一个NLG系统就像一个翻译器将数据转换成自然语言表示。然而，由于自然语言的固有表现力，产生最终语言的方法与编译器的方法不同。NLG已经存在了很长时间，但商业NLG技术最近才被广泛使用。 查看详情
2.4K40发布于 2019-12-18 - 来自专栏我还不懂对话
Fine-tuning过时啦，NLG生成任务如何Tuning？
而这篇文章就提出prefix-tuning的nlg训练方法。动机国际惯例，列举finetuning缺点：需要微调语言模型所有参数，每个任务都需要保存一遍所有的模型参数。
1.5K60编辑于 2022-09-06 - 来自专栏HyperAI超神经
微软对内发布最强模型 Turing-NLG
而在多项基准测试方面，Turing-NLG 也达到了最优异的水平。 Turing-NLG 的消息在微软官方博客发布 Turing-NLG 拥有 170 亿参数量，是英伟达 Megatron 模型参数的两倍。 Turing-NLG 将同类模型远远地甩在了身后 实际的测试中， Turing-NLG 在多项语言模型的基准上，均实现了 SOTA （最先进性能）。 Turing-NLG 吊打其他模型 模型预训练完成后，为了验证其性能，微软将 Turing-NLG 和英伟达 Megatron-LM ，以及 OpenAI 的 GPT-2 完整版做了性能对比。 可以看到，Turing-NLG 和这两个当下最先进的模型相比，性能上均有所超越。 此外，在有关问答和摘要任务的实际测试中，Turing-NLG 也取得了极大的突破。
1.3K10发布于 2020-02-19 - 来自专栏小七的各种胡思乱想
Bert不能做NLG？MASSUNILMBART
GPT只用了Decoder，核心是基于AutoRegression perplexity loss的单向语言模型，适用于NLG任务。 针对NLG任务，会随机MASK第二个segment中的token进行还原。 整体效果GLUE Benchmark比Bert略好一丢丢，在生成式问答和摘要上提升更大。
1.2K41编辑于 2022-03-23 - 来自专栏自然语言处理(NLP)论文速递
「自然语言处理(NLP)」自然语言生成(NLG)论文速递（二）
周一注定是忙碌的一天，地铁人逐渐增多，提醒大家做好防护别懈怠，晚安~~ 引言 下面是作者整理的自然语言生成(NLG)论文速递系列的第二篇，该篇主要看点有：摘要生成、文本生成，标题生成，手写生成 ，机器翻译等，如果你对NLG感兴趣或者也在找一些相关的文章，希望能够帮助你~~ 正文开始 1 First Blood 1、TILE: A Deep Reinforced Model for Abstractive
1.3K20发布于 2020-03-12 - 来自专栏自然语言处理(NLP)论文速递
「自然语言处理(NLP)」自然语言生成（NLG）资料整理
NLG用于Email、手机短信，它可以为您自动创建答复；NLG用于图标说明时，可以根据公司数据自动生成图标说明。前段时间在一个有趣的用例中，美联社利用自然语言生成成功的从公司收益报表中生成了报告。 更重要的是，NLG一旦被完美设置就会自动生成数以千计的报告。 NLG学术界每年都会召开会议，公布NLG的最新发现。 NLG的商业兴趣日益增长，其中大部分集中在数据到文本，即结合NLG和数据分析的系统，以产生摘要，解释等结构化数据。 他的博客Ehud Reiter's Blog主要包括：NLG系统的搭建、NLG系统性能的评估、NLG的学术生活、NLG相关话题、个人生活等五个部分，该博客对NLG技术、评价与应用进行了深入的探讨与反思。 其中有一篇文章我觉得写得特别不错‘How do I Learn about NLG?’，主要讲了自己学习NLG的一些方法及感悟，感兴趣的同学可以拜读一下。
2.5K31发布于 2020-01-02 - 来自专栏AI科技评论
微软发布史上最大NLG模型：基于Transformer架构，170亿参数加持
一、Turing-NLG：自带170亿参数，性能超其他最佳模型 Turing-NLG 一个基于Transformer的生成语言模型，拥有 170亿参数，在诸多语言模型基准上都超越了当前性能最佳的其他模型 而Turing-NLG 则能够非常自然地完成问答和摘要任务。 而下图则展示了Turing-NLG模型（蓝线和绿线）和Megatron-LM 模型（橙线）在验证困惑度上的表现对比情况： 图1：Turing-NLG 17B 模型（蓝线和绿线）和Megatron-8B 2、Turing-NLG 在问答和摘要任务上实现的两大突破 在问答和摘要任务上，Turing-NLG 分别实现了两个方面的突破： 1）实现了直接生成问答或在零样本下生成问答的能力 很多网络用户在网页上搜索问题的时候 为了让Turing-NLG 尽可能广泛地为不同类型的文本生成摘要，研究者们还在几乎所有对外开放的摘要数据集上，采用多任务模式对Turing-NLG模型进行了微调。
1.1K10发布于 2020-02-21 - 来自专栏机器学习算法与Python学习
微软发布史上最大语言模型Turing-NLG：170亿参数量
文 | 周蕾 微软AI＆Research今天分享了有史以来最大的基于Transformer架构的语言生成模型Turing NLG（下文简称为T-NLG），并开源了一个名为DeepSpeed的深度学习库 微软表示，T-NLG在各种语言建模基准上均优于最新技术，并在应用于许多实际任务（包括总结和问题解答）时表现出色。 ? 不过，像Google的Meena一样，最初使用GPT-2，T-NLG最初只能在私人演示中共享。 使用T-NLG这样的自然语言生成模型，可以自然地总结或回答有关个人文档或电子邮件主题的问题。 DeepSpeed包含零冗余优化器（ZeRO），用于大规模训练具有1亿个或更多参数的模型，微软过去曾用它训练T-NLG。
1.6K10发布于 2020-02-20 - 来自专栏自然语言处理(NLP)论文速递
「自然语言处理(NLP)」统一预训练UniLM模型(NLU+NLG)
第三，除了在 NLU 任务上的应用，作为序列到序列语言模型使用的 UniLM 也使其能自然地用于 NLG 任务，比如抽象式摘要和问答。 [EOS] 不仅能在 NLU 任务中标记句子边界，还能在 NLG 任务中让模型学习中止解码过程的时间。这种输入表征方式与 BERT 的一样。 对于 NLG 任务，以序列到序列任务为例。微调过程类似于使用自注意掩码进行预训练。令 S1 和 S2 分别表示源序列和目标序列。 生成式问答可为输入的问题和篇章生成形式自由的答案，这是一种 NLG 任务。 2 Aced 自然语言NLP(NLG+NLU)资料大全(持续更新....)
2.3K20发布于 2020-02-10 - 来自专栏TechLead
详解自然语言处理NLP两大任务与代码实战：NLU与NLG
NLG是许多应用的关键组成部分，包括聊天机器人、报告生成和更复杂的创造性任务。以下是自然语言生成的几个关键方面。 基于规则的生成在自然语言生成（NLG）中起着关键作用，特别是在结构化的或领域特定的场景中。下面是基于规则的生成的详细介绍和代码示例。
1.8K30编辑于 2023-10-21 - 来自专栏相约机器人
百度发布全新 NLG 训练模型 ERNIE-GEN，获 5 项 SOTA！
https://arxiv.org/abs/2001.11314 项目地址: https://github.com/PaddlePaddle/ERNIE 在自然语言处理领域中，语言理解（NLU）和语言生成（NLG 百度发布的ERNIE-GEN预训练模型指向语言生成（NLG），这听起来很晦涩，实际上并不陌生。
71520发布于 2020-06-01 - 来自专栏机器之心
超越现有指标57.3%，邢波教授、胡志挺教授团队提出统一NLG评价框架
自然语言生成（NLG）包括机器翻译、摘要生成、机器对话等自然语言处理 （NLP）任务。这些任务虽然都要求生成通顺的文本，但是最终的表达目标往往有很大的区别。
36820编辑于 2022-02-23 - 来自专栏纳米药物前沿
刘庄Biomaterials：奥沙利铂NLG919前药脂质体实现肿瘤化学免疫治疗
苏州大学刘庄教授团队将奥沙利铂前药(Oxa(IV))偶联磷脂与IDO1抑制剂烷基化NLG-919(AnLG)和商品脂质进行自组装，构建了双功能脂质体。 得到的AnLG/Oxa(IV)Lip不仅能在还原性胞浆中释放细胞毒性奥沙利铂，引发癌细胞免疫原性细胞死亡(ICD)，而且能通过NLG919介导的IDO1抑制，有效地延缓色氨酸降解为免疫抑制剂犬尿氨酸。 本文通过经典的脂质体制备方法，以OXA(IV)前药共轭磷脂、疏水烷基化的NLG919和商品脂质为原料，制备了一种免疫调节的脂质体纳米药物。 此外，这项工作还提出了一种合理定制的结直肠癌联合治疗方法，通过将能够实现主要宿主的抗肿瘤免疫的治疗剂(例如奥沙利铂)与能够有效逆转免疫抑制TME的药物(例如NLG-919)协同结合来治疗结直肠癌。
2.7K10发布于 2021-02-04 - 来自专栏AI研习社
博客 | 关于SLU（意图识别、槽填充、上下文LU、结构化LU）和NLG的论文汇总
Spoken Language Understanding _____________________________________________________________________ NLG Tradition Template-Based NLG Plan-Based NLG (Walker et al., 2002) Class-Based LM NLG Stochastic language language generation using graphical models and active learning, Mairesse et al, 2010 RNN-Based LM NLG NLG-Corpus based Alice H Oh and Alexander I Rudnicky. NLG-Neural Network Recurrent neural network based language model.
2.1K20发布于 2018-12-21 - 来自专栏AI科技评论
NLG顶会INLG2021最佳长论文出炉！一作华人学生代表出席今晚INLG
除了世界级的研究报告外，今年的会议还包括研讨会、学习教程、受邀专家的讲座和一个讨论小组（讨论题目为“用户希望从NLG的现实应用中获得什么”）。 小组讨论由目前在计算机学习、NLG 和认知 AI 辅助行业任职的权威学者领导。 虽然自然语言生成（NLG）的研究已经持续了70多年，但旨在将NLG落地的基础技术却是在近些年才出现。 最近，越来越多学术界与产业界的资深人员也已认识到 NLG 是一种核心能力。INLG也称，会议现已从小众的专业学术组织发展成了一个产学研相结合的国际性学术交流平台。 3 研究内容 6种语言生成模型的对比 以上几种NLG模型对比揭示了baseline的几个问题： 1）概念覆盖率与概念集大小密切相关，概念集越大，概念的覆盖率越低，即遗漏概念的概率越高 2）许多短语不完整
82010发布于 2021-10-11 - 来自专栏AI科技大本营的专栏
170亿参数加持，微软发布史上最大Transformer模型
T-NLG：大型生成语言模型的优势 T-NLG是一个基于Transformer的生成语言模型，这意味着它可以生成单词来完成开放式的文本任务。 Megatron和T-NLG均未使用这种停用词过滤技术。 下面图1显示了与Megatron-LM相比，T-NLG在验证perplexity方面的表现。 T-NLG的强大功能在于，它已经非常了解文本，因此无需太多的监督即可胜过我们之前使用的所有技术。 为了使T-NLG尽可能通用，以汇总不同类型的文本，我们在几乎所有公开可用的汇总数据集中以多任务方式微调了T-NLG模型，总计约有400万个训练样本。 T-NLG未来的应用 T-NLG在自然语言生成方面已经取得了优势，为微软和我们的客户提供了新的机会。
88020发布于 2020-02-20 - 来自专栏Flink实战应用指南
[新知] 软硬件技术突破，微软建立拥有高达170亿个参数的语言产生模型
微软T-NLG模型的参数数量，远高于第二名模型的参数数量 微软发表最新语言产生模型T-NLG（Turing Natural Language Generation），该模型具有170亿个参数，远高于BERT 目前微软向学术与研究人员释出T-NLG范例，展示其自由格式生成、问答以及总结等能力。 T-NLG还能应付零次问答，也就是T-NLG模型不需要上下文，就能够直接给出问题的答案，而这完全仰赖预训练过程的知识来生成答案。 ? 而模型以抽象方式产生摘要的困难，在于缺乏监督式训练资料，但T-NLG的优势是非常了解文字，因此不需要太多监督式训练，就能胜任文字总结的工作。 T-NLG模型将被用在微软的各种服务上，包括总结文件和电子邮件，以节省用户的时间，也会被用于微软Office中，为用户提供写作协助，或是为文件产生常见问答，进一步T-NLG还将用在聊天机器人与数位助理上
50720发布于 2020-03-11 - 来自专栏Y-StarryDreamer
[自然语言处理|NLP] 自然语言生成中的应用：从原理到实践
NLG的应用领域2.1 自动化报告生成在商业和科学领域，NLG被广泛用于生成报告和分析。通过将数据输入系统，NLG可以自动生成可读性强、简明扼要的报告，从而节省了大量人工编写报告的时间。 2.3 创意写作与广告创意NLG不仅可以生成信息性的文本，还可以用于创意写作。广告公司利用NLG创建引人入胜的广告语，甚至是创意小说的部分内容。3. NLG的技术方法3.1 基于规则的方法基于规则的NLG方法依赖于预定义的语法规则和模板。这些规则描述了如何将输入数据转换为自然语言文本。虽然这种方法灵活性较差，但在特定任务上表现良好。 n-gram模型和隐马尔可夫模型是常见的统计NLG方法。这些方法依赖于大规模语料库的统计信息。3.3 基于神经网络的方法近年来，基于神经网络的NLG方法取得了显著的进展。 随着大型预训练模型如GPT-3的涌现，NLG技术迎来了新的发展机遇。未来，我们可以期待更加智能、灵活的NLG系统，为各个领域带来更多令人惊喜的应用。
1.2K00编辑于 2023-11-15 - 来自专栏机器之心
搞定千亿参数，训练时间只用1/3，微软全新工具催生超级NLP模型
Turing-NLG：170 亿参数，史上最大的 NLG 模型 ? 在现有的 NLP 模型中，Turing Natural Language Generation（T-NLG）的参数量远超其他。 近日，微软在最新的博客文章中介绍了史上最大的 NLG 模型「T-NLG」，参数量达到 170 亿。 Megatron-LM 和 T-NLG 则没有使用。 下图 1 展示了 T-NLG 与 Megatron-LM 在困惑度验证方面的对比表现。 ? 为了使 T-NLG 适用于更多的文本类型，研究人员在几乎所有公开可用的公共摘要数据集上微调了 T-NLG 模型，使其具备适应多任务的能力。训练所用的示例接近 400 万。 DeepSpeed+ZeRO 在 T-NLG 上的应用 研究者在 DeepSpeed 开源库中联合使用 ZeRO-OS 和英伟达的 Megatron-LM 来训练 T-NLG 模型。
1.1K10发布于 2020-02-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号