- 综合排序
- 最热优先
- 最新优先
- 来自专栏null的专栏
文本生成seq2seq框架
这种同时包含encoder和decoder的结构与AutoEncoder网络相似，不同的是AutoEncoder模型是将输入通过encoder的网络生成中间的结果，并通过decoder对中间的结果还原， 2. Seq2Seq框架 2.1. 和Decoder分别是两个独立的神经网络模型，用于对不同的文本建模，通常对序列化文本建模的方法如LSTM[1]，RNN[2]等。 ,\cdots ,\overrightarrow{h_{T_x}}\right \} {h1 ,h2 ,⋯,hTx } 反向RNN生成的隐含层状态序列为 ( y_{t-1},s_{t-1},c_t \right ) yt=f(yt−1,st−1,ct) 注意到此处与上面不一样的是这里的Encoder网络生成的语义向量不再是固定的
81310编辑于 2022-05-12 - 来自专栏AI科技评论
资源 | OpenAI 文本生成器 - gpt-2
安装 用Git克隆此项目仓库，然后用 cd 进入目录以获取其余命令 git clone https://github.com/openai/gpt-2.git && cd gpt-2 本机安装 下载模型数据 docker build --tag gpt-2 -f Dockerfile.gpu . # or Dockerfile.cpu 从gpt-2 docker镜像启动交互式bash会话。 docker run --runtime=nvidia -it gpt-2 bash 用法 警告：样品未经过滤，可能含有令人反感的内容。 下面的一些示例可能包括Unicode文本字符。 无条件样本生成 要从小模型生成无条件样本： python3 src/generate_unconditional_samples.py | tee /tmp/samples 控制样本有不同的标志： python3 temperature 0.7 | tee /tmp/samples 要查看标志的说明，请使用： python3 src/generate_unconditional_samples.py -- --help 条件样本生成
2K30发布于 2019-10-31 - 来自专栏AI研习社
Github项目推荐 | OpenAI文本生成器 - gpt-2
安装 用Git克隆此项目仓库，然后用 cd 进入目录以获取其余命令 git clone https://github.com/openai/gpt-2.git && cd gpt-2 本机安装 下载模型数据 docker build --tag gpt-2 -f Dockerfile.gpu . # or Dockerfile.cpu 从gpt-2 docker镜像启动交互式bash会话。 docker run --runtime=nvidia -it gpt-2 bash 用法 警告：样品未经过滤，可能含有令人反感的内容。 下面的一些示例可能包括Unicode文本字符。 无条件样本生成 要从小模型生成无条件样本： python3 src/generate_unconditional_samples.py | tee /tmp/samples 控制样本有不同的标志： python3 temperature 0.7 | tee /tmp/samples 要查看标志的说明，请使用： python3 src/generate_unconditional_samples.py -- --help 条件样本生成
3.9K20发布于 2019-03-14 - 来自专栏AI研习社
Github项目推荐 | OpenAI文本生成器 - gpt-2
安装 用Git克隆此项目仓库，然后用 cd 进入目录以获取其余命令 git clone https://github.com/openai/gpt-2.git && cd gpt-2 本机安装 下载模型数据 docker build --tag gpt-2 -f Dockerfile.gpu . # or Dockerfile.cpu 从gpt-2 docker镜像启动交互式bash会话。 docker run --runtime=nvidia -it gpt-2 bash 用法 警告：样品未经过滤，可能含有令人反感的内容。 下面的一些示例可能包括Unicode文本字符。 无条件样本生成 要从小模型生成无条件样本： python3 src/generate_unconditional_samples.py | tee /tmp/samples 控制样本有不同的标志： python3 temperature 0.7 | tee /tmp/samples 要查看标志的说明，请使用： python3 src/generate_unconditional_samples.py -- --help 条件样本生成
1.2K40发布于 2019-05-12 - 来自专栏深度学习自然语言处理
长文实践 | 详述文文本生成任务之营销文本生成
引言 文本生成（Text Generation）可进一步细分为文本摘要、机器翻译、故事续写等任务。本项目主要用到文本摘要技术。 抽取式摘要是选取其中关键的句子摘抄下来。 相反，生成式摘要则是希望通过学习原文的语义信息后相应地生成一段较短但是能反映其核心思想的文本作为摘要。 生成式摘要相较于抽取式摘要更加灵活，但也更加难以实现。 熟练掌握如何实现 Beam Search 算法来生成文本。 熟练掌握文本生成任务的评估方法。 掌握深度学习训练的一些优化技巧，如：Scheduled sampling、Weight tying等）。 项目任务简介 文本生成任务中，通常将作为输入的原文称为 source，将待生成的目标文本称为 target 或者 hypothesis，将用来作为 target 好坏的参考文本称之为reference。 模型优化：PGN+coverage实现 seq2seq+attention模型虽然可以自由地生成文本，但是其有很多缺点，包括但不限于： 不准确地再现事实细节 无法处理词汇表外（OOV）单词 生成重复的单词
1.1K42编辑于 2022-09-13 - 来自专栏大数据智能实战
textgenrnn 文本生成实战
文本生成是一件很神奇的自然语言处理任务，深度学习给文本生成带来的全新的技术途径，如这篇文章The Unreasonable Effectiveness of Recurrent Neural Networks textgenrnn就是采用RNN的方式来实现文本生成的一个简洁高效的库，代码量非常少，又非常易于理解。其架构是采用了LSTM＋Attention的方式来实现。如下图所示： ? 源码实践： （1）默认的测试，生成新闻。 ? （2）电脑领域的新闻生成 ? 在上述参数中，可见有个temperatures，它可以用来代表生成文本的温度（从结果来看，似乎可以认定为文本带的感情色彩强烈与否，其中0.2一般为偏负面，0.5代表偏中性，1.0代表相对正能量一些。） 如训练语料至少2000－5000个之间，且生成文本不稳定，需要一些人工编辑等。 textgen = textgenrnn('.
99930发布于 2019-05-26 - 来自专栏大鹅专栏：大数据到机器学习
GPTGPT2DialoGPT 详解对比与应用-文本生成与对话
神经响应生成是文本生成的子问题，任务是迅速生成自然的文本（与训练文本不一致）。人类对话包含了两个对话者的竞争目标，潜在的响应（回复）更加多样化。 4.1 模型架构 作者在GTP-2架构的基础上训练DialoGPT模型。参考OpenAI GPT-2将多轮会话作为长文本，将生成任务作为语言模型。 PT-2 就是一个语言模型，能够根据上文预测下一个单词，所以它就可以利用预训练已经学到的知识来生成文本，如生成新闻。也可以使用另一些数据进行微调，生成有特定格式或者主题的文本，如诗歌、戏剧。 所以接下来，我们会用 GPT-2 模型进行一个文本生成。 5.2 预训练模型生成新闻 想要直接运行一个预训练好的 GPT-2 模型，最简单的方法是让它自由工作，即随机生成文本。 除了直接利用预训练模型生成文本，我们还可以使用微调的方法使 GPT-2 模型生成有特定风格和格式的文本。 5.3 微调生成戏剧文本 接下来，我们将使用一些戏剧剧本对 GPT-2 进行微调。
9.9K167编辑于 2022-01-22 - 来自专栏杨熹的专栏
如何自动生成文本摘要
v=ogrJaOIuBx4&list=PL2-dafEMk2A7YdKv4XfKpfbTH5z6rEEj3&index=19 代码： https://github.com/llSourcell/How_to_make_a_text_summarizer /blob/master/vocabulary-embedding.ipynb 今天学习的是自动生成文本摘要。 接着我们需要把整个文章变成一个一个的单词，并且一个词一个词的生成总结。 decoder，和encoder一样的 lstm 结构，权重矩阵也是用同样的提前训练好的 glove embeddings，它用来生成 summary。 decoder 会先生成一个单词，然后把这个单词投入到下一层中，就会生成下一个单词，一直到生成一句标题。
2K50发布于 2018-04-03 - 来自专栏AI算法能力提高班
AnyText | 广告营销文本生成
⚡ AnyText | 广告营销文本生成 本文介绍AnyText文本生成和文本编辑，适合广告电商图片生成，降本增效。 辅助潜在模块：这个模块使用文本字形、位置和遮蔽图像等输入来生成用于文本生成或编辑的潜在特征。它通过将这些信息编码到潜在空间中，帮助模型在图像中生成或修改文本。 AnyText能够生成多种语言的字符，据作者所知，这是第一个解决多语言视觉文本生成的工作。 2️⃣ 核心原理 image-20240103181013706 本文中的AnyText模型通过两个主要模块来实现准确和连贯的视觉文本生成：辅助潜在模块（auxiliary latent module） 文本嵌入模块： 该模块使用光学字符识别（OCR）模型将笔画数据编码为嵌入，这些嵌入与分词器生成的图像标题嵌入融合，以生成与背景无缝融合的文本。
82510编辑于 2024-01-05 - 来自专栏文本生成图像
文本生成图像工作简述2--常用数据集分析与汇总
文本到图像的 AI 模型仅根据简单的文字输入就可以生成图像。 文本生成图像（text-to-image）可以根据给定文本生成符合描述的真实图像，其是多模态机器学习的任务之一，具有巨大的应用潜力，如视觉推理、图像编辑、视频游戏、动画制作和计算机辅助设计。 本篇将简述文本生成图像的数据集，汇总介绍数据集的内容、特点、细节和下载方式等。 Multi-Modal-CelebA-HQ可用于训练和评估文本到图像生成、文本引导图像处理、草图到图像生成、图像说明和 VQA 的算法。这个数据集是在TediGAN中提出并使用的。 2️⃣数据信息：数据集与通用的文本生成非人脸数据集CUB和COCO数据集具有相同的数据格式。
2.1K10编辑于 2024-04-19 - 来自专栏AI小白入门
【NLP】机器如何生成文本？
写在前面 最近，由于在大规模语料集上训练的大型Transformer-based语言模型的兴起（如著名的OpenAI-GPT2模型），社区对开放式语言生成的兴趣日益增加。 haha，仅仅使用两行代码我们就可以利用GPT2生成一个简短文本。从生成结果可以看到，根据上下文生成的单词是合理的，但是模型很快就会开始重复。 换句话说，作为人类，我们希望生成的文本使我们感到惊讶，而不是无聊或者可预测的，作者通过绘制概率图很好地证明了这一点。 ? 哈哈，既然这样，那让我们停止无聊并加入一些随机性！ 在下文中为了方便说明，我们设置random_seed = 0，可以随意更改random_seed来尝试不同的生成效果。 ? 尝试读一遍文本，会发现似乎还不错，但是仔细观察时，这并不太连贯和通顺。 在第一步采样中， 包含了整体的2/3，第二步采样则包含了几乎全部，但是有效地去除了一些奇奇怪怪的单词。 ? 哇！这个结果可以说是我们一路下来最真实的文本生成。
4.8K30发布于 2020-04-25 - 来自专栏算法一只狗
文本图像生成：谷歌Imagen硬杠OpenAI的DALL.E 2
Imagen：文本到图像生成 还记得4月初刷爆AI圈的DALL.E 2吗？ 我们看一下这两个选手在统一命题下生成的图片效果： 盘旋牛绑架外星人（左图是Imagen，右图是DALL.E 2） 从生成的结果上说，两位AI选手各有千秋，其中DALL.E 2会生成偏向于漫画风格的图片 ，而是在写文字 还有一些网友觉得Imagen已经可以打败DALL.E 2了： 技术细节 从具体论文看出，Imagen是一种文本到图像的扩散模型，能够生成较为真实的图片。 Imagen对比DALL.E 2 对比这两个较为出圈的模型，如果给出“一只马骑着一个宇航员”，这两个AI都会生成错误的图片： 而如果给出“一只熊猫在拉花”，则Imagen生成更符合文本的图片，而DALL.E 2会生成在咖啡中的熊猫拉花： 后续 图像生成工具一只是黑产可以利用的工具之一。
1.1K20编辑于 2022-11-04 - 来自专栏AI研习社
Github 项目推荐 | 由文本生成人脸图像 —— T2F
T2F 结合了最近的两个架构 StackGAN 和 ProGAN，用于从文本描述中合成面部，该项目使用 Face2Text 数据集，每个数据集包含 400 个图像和文字说明。 数据包含在 data / LFW / Face2Text / face2text_v0.1 目录下的存储库中。 Github 链接： https://github.com/akanimax/T2F 一些样例 ? 结构 ? LSTM 网络能够将文本描述编码为摘要向量，图中所示的嵌入（psy_t）通过调节增强块（单个线性层）以获得 GAN 作为输入的潜在向量的文本部分（使用类似重新参数化技术的VAE）。 - 16 num_workers: 3 feedback_factor: 7 # number of logs generated per epoch checkpoint_factor: 2
88420发布于 2018-07-26 - 来自专栏媒矿工厂
2D 扩散模型 + Nerf，实现文本生成 3D 模型
目录 摘要 引入：扩散模型 方法 摘要 在数十亿图像-文本对上训练的扩散模型，在文字生成图像的任务上大获成功。 在这项工作中，作者通过使用预训练的 2D 文本-图像的扩散模型，实现文本到 3D 合成。他们引入了基于概率密度蒸馏的损失函数，这也允许了2D扩散模型作为先验，用以优化参数图像生成器。 在该方法中，给定文本生成的 3D 模型可以从任意角度观察，通过任意照明重新点亮，或合成到任何 3D 环境中。 2\right] 其中 w(t) 是一个时变的权重函数。 基于视角的文本嵌入 对于仰角较大的数据，文本中将会加入“overhead view”；对于小于60°的仰角，他们将会根据方位角加入文本“front view”，“side view”或是“back view
3.1K20编辑于 2022-11-07 - 来自专栏文本生成图像
文本生成图像工作简述5--对条件变量进行增强的 T2I 方法（基于辅助信息的文本生成图像）
在传统的T2I方法中，常常使用一个固定的随机噪声向量作为输入，然后通过生成器网络来生成图片。 而条件变量增强的T2I方法则通过引入额外的条件信息来生成更具特定要求的图片， 这个条件信息可以是任何与图片相关的文本信息，比如图片的描述、标签或者语义向量。 一、基于场景图的文本生成图像基于场景图的文本生成图像方法是一种利用场景图信息来生成图像的图像生成方法。 在学术上，Johnson 等人跳出了文本描述指导图像生成的限制，提出了 Sg2im模型，该模型使用场景图(Scene graph)对文本对象及其关系进行建模，通过预测每个对象的边界框和分割掩模来计算场景布局 通过简单地拼接 QA 对，并将它们用作额外的训练样本，辅助以外部 VQA 损失，可以有效提高图像质量和图像-文本对齐度。与 VAQ-GAN相比，这是一种简单而有效的技术，可以应用于任意 T2I 模型。
1K10编辑于 2024-04-24 - 来自专栏机器之心
资源 | T2T：利用StackGAN和ProGAN从文本生成人脸
而计算机视觉是不是也能仅使用少量的描述性语句就生成对应的人脸图像？ 本 GitHub 项目使用了最新发布的 Face2Text 数据集，并通过结合 StackGAN 与 ProGAN 从文本生成人脸图像。 项目地址：https://github.com/akanimax/T2F 本项目利用深度学习由文本生成人脸图像，除了结合 StackGAN 和 ProGAN，作者还参考了从文本到图像的研究，并修改为从文本合成人脸 StackGAN++由树状结构的多个生成器和鉴别器组成；从树的不同分支生成对应于同一场景的多尺度图像。 数据存储地址：data/LFW/Face2Text/face2text_v0.1 样例： ? 架构： ? 视频 Demo： ? 使用 LSTM 网络将文本描述编码为一个汇总向量。
92110发布于 2018-07-26 - 来自专栏DeepHub IMBA
通过短文本生成图像
文本到图像(Text-to-Image, TTI)是深度学习的新兴学科之一，专注于从基本文本表示生成图像。 2)概念-对象关系:TTI模型中难以解决的一个问题是从文本描述中提取的概念与其对应的可视对象之间的关系。实际上，可以有一个不定式数量的对象匹配一个特定的文本描述。 为了反映给定的叙述，TTI模型不仅要生成正确的对象，还要生成它们之间的关系。在文本到图像的生成技术中，生成包含多个具有语义意义的对象的更复杂的场景仍然是一个重大的挑战。 gan通常由两种机器学习模型组成——一个生成器从文本描述生成图像，另一个判别器使用文本描述判断生成图像的真实性。生成器试图让假照片通过鉴别器;另一方面，辨别器不希望被愚弄。 2)生成最终图像:这个功能是由一个多级图像生成器和一个鉴别器完成的。 下图提供了Obj-GAN模型的高级架构。该模型接收一个带有一组标记的句子作为输入，然后将其编码为单词向量。
1.2K20发布于 2021-08-20 - 来自专栏AI技术探索和应用
AIGC之文本和图片生成向量
文本和图片生成向量的方式一般是通过已有的模型进行生成，在流行的模型托管平台上已有大量开源的Embedding模型，如国外的HuggingFace平台和国内的ModelScope平台。 接下来将对文本生成向量和图片生成向量在不同平台SDK下使用方式进行简单介绍。 文本生成向量 OpenAI（官方收费） 安装依赖。 pip install -U openai 文本生成向量示例如下。 pip install -U transformers 文本生成向量示例如下。若本地缓存不存在该模型，默认会从HuggingFace上下载该模型到本地。 ModelScope封装了统一的接口对外提供单句向量表示、双句文本相似度、多候选相似度计算功能。 安装依赖。 pip install -U modelscope 文本生成向量示例如下。 pip install -U towhee 文本生成向量示例如下。
2.9K31编辑于 2024-03-13 - 来自专栏深度学习自然语言处理
文本生成魔改方案汇总！
文本生成是NLP中较难的点，应用场景多且广泛。 VAE在文本生成界应用已经开始有点边缘了，不过对于seq2seq的系列文本生成，似然求解偏置问题导致的生成文本单一问题，VAE有天然优势。 VAE做文本生成最大的卖点是存在一个隐变量分布，在inference的时候会从分布中采样，而seq2seq在给定输入的时候输出是确定的，无法做到VAE的给定输入，输出仍然会不同的效果。 seq2seq各种魔改 seq2seq在文本生成应用中更加主流，因此各种应用场景和改造也比较多，当然也有其固有的问题， 针对具体场景和问题也有很多解决方案，下面简单介绍原理然后总结几种思路方案 【seq2seq 【seq2seq+attention存在的问题】 受模型限制，文本生成质量会受到训练数据集质量和多样性的巨大影响。
2.1K20发布于 2021-01-04 - 来自专栏智能生信
用于文本生成的GAN模型
GAN的基本结构 二、GAN在文本生成中遇到的困境 传统的GAN只适用于连续型数据的生成，对于离散型数据效果不佳。文本数据不同于图像数据，文本数据是典型的离散型数据。 为了解决GAN在面对离散型数据无法将梯度反向传播给生成器的问题，人们提出了三种方案：1.判别器直接获取生成器的输出；2.使用Gumbel-softmax代替softmax；3.通过强化学习来绕过采样带来的问题 图2. 3.2 LeakGAN 基于GAN生成文本的方法大多数场景是生成短文本，对于长文本来说还是存在很多挑战。 先前的GAN中判别器的标量指导信号是稀疏的，只有在完整生成文本后才可用，缺少生成过程中的文本结构的中间信息。当生成的文本样本长度很长时效果不好。
4.9K20发布于 2021-10-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号