- 综合排序
- 最热优先
- 最新优先
- 来自专栏深度学习自然语言处理
VLN: 基于全局对比训练的视觉-语言导航方法
最新的研究表明：在解码时，利用Beam-Search进行多条路径探索，通过路径评价函数获得最优导航路径，可以获得更好的导航精度。 B 基于Beam-Search的全局对比训练策略 Baseline将一个路径的匹配度计算分解为单步方向选择得分累加，由于单步方向得分是单独计算的，没有明确涵盖全局信息，因此将Baseline评估函数称为局部评估函数 全局对比训练：在训练时，利用Beam-Search搜索出多条正确路径和多条错误路径，设计对比损失函数，使得正确路径得分高于错误路径，可以有效地对全局评估模块DMSM和Speaker模块进行训练。
2.2K10编辑于 2022-07-18 - 来自专栏小小挖掘机
推荐系统遇上深度学习(一四一)-[快手]移动端实时短视频推荐
但直接寻找最优的排列所需要的计算量是巨大的，因此Beam-Search是一种常用的近似优化策略（但这种策略只能考虑上文对下文的影响，无法考虑下文对上文的影响，仍非全局最优策略）。 为了进一步减少寻找最优排列的耗时，论文对Beam-Search方法做出了一定的改进，提出了自适应步长的Beam-Search方法。 在Beam-Search的每一步，计算reward最差的序列和最优的序列的奖励比值，如果该比值大于一定的阈值，则说明再往后的每一步，序列间的reward也不会相差太多，无需进一步的搜索。
2.5K40编辑于 2022-12-30 - 来自专栏专知
【下载】PyTorch实现的神经网络翻译框架——机器翻译工具包 nmtpytorch
splits to translate -b BATCH_SIZE, --batch-size BATCH_SIZE Batch size for beam-search -k BEAM_SIZE, --beam-size BEAM_SIZE Beam size for beam-search -m MAX_LEN
1.6K90发布于 2018-04-12 - 来自专栏新智元
ChatGPT性能最多提升214%，刷新7个榜单！IDEA、港科大广州等提出ToG思维图谱
Think-on-Graph，高效的紧耦合新范式 据研究团队介绍，Think-on-Graph借鉴了Transformer的beam-search算法思路。 案例：用搜索宽度N=2的beam-search实现Think-on-Graph推理 在搜索剪枝任务中，大模型从关键词Canberra出发，匹配到知识图谱中最接近（或一致）的实体，分别搜索了5个「关系→实体
46810编辑于 2023-11-27 - 来自专栏小小挖掘机
论文笔记系列(一)-Seq2Seq与RL的结合综述！
这一阶段可以通过beam-search的方法选择一条最合适的序列作为输出。同时，选择ROUGE , BLEU, METEOR, CIDEr等方法，对模型的预测结果进行评价。 那么在预测阶段，我们就可以采用beam-search或者是greedy的方法，根据Encoder的输入来得到Decoder的输出。
1.8K60发布于 2018-07-25 - 来自专栏857-Bigdata
【nlp-with-transformers】|Transformers中的generate函数解析
[`~generation.GenerationMixin.sample`] if `num_beams=1` and `do_sample=True` - *beam-search generation.GenerationMixin.beam_search`] if `num_beams>1` and `do_sample=False` - *beam-search generation.GenerationMixin.beam_sample`] if `num_beams>1` and `do_sample=True` - *diverse beam-search generation.GenerationMixin.group_beam_search`], if `num_beams>1` and `num_beam_groups>1` - *constrained beam-search early_stopping：控制基于 beam 的方法（如 beam-search）的停止条件。
2.8K30编辑于 2023-09-18 - 来自专栏炼丹笔记
排序(rank)后重排(re-rank)?
论文提出了一种permutation-wise和goal-oriented的beam-search算法，称为 FPSA (Fast Permutation Searching Algorithm)。
1.7K31发布于 2021-05-14 - 来自专栏AI科技评论
动态 | Facebook 开源首个全卷积语音识别工具包 wav2letter++
集束搜索解码器（Beam-search decoder）：根据声学模型的输出内容生成词序列。
97710发布于 2018-12-29 - 来自专栏数据分析与挖掘
LLM（大语言模型）解码时是怎么生成文本的？
multinomial sampling by calling [~generation.GenerationMixin.sample] if num_beams=1 and do_sample=True beam-search decoding by calling [~generation.GenerationMixin.beam_search] if num_beams>1 and do_sample=False beam-search sampling by calling [~generation.GenerationMixin.beam_sample] if num_beams>1 and do_sample=True diverse beam-search calling [~generation.GenerationMixin.group_beam_search], if num_beams>1 and num_beam_groups>1 constrained beam-search early_stopping (bool or str, optional, defaults to False) - 控制基于beam-based的停止条件，比如beam-search。
6.3K30编辑于 2023-04-27 - 来自专栏机器之心
ACL-2022 | 字节跳动与新加坡科技与设计大学提出：基于演绎推理的数学解题
如果我们做 beam-search 的话，这种情况是比较困难的。因为每个 timestep 的概率分布会不平衡。 实验过程中，我们最好的 varaint 是 「Roberta-DeductiveReasoner」，并且我们不采用 beam-search，这边比较的之前的工作，全都有采用 beam size 为 5
63040编辑于 2022-06-07 - 来自专栏汇智网教程
wav2letter++：基于卷积神经网络的新一代语音识别框架
模型的第一层CNN用来处理原始音频并提取一些关键特征；接下来的卷积声学模型是一个具有门限单元的CNN，可通过训练从音频流中预测字母；卷积语言模型层则根据来自声学模型的输入生成候选转录文本；最后环节的集束搜索（Beam-Search
1.5K10发布于 2019-03-12 - 来自专栏李炼的专栏
加权有限状态机在语音识别中的应用
将上述的HCLG通过组合以及相关的操作后，得到一个完整的解码图，配合GMM或者DNN模型去计算每一帧对应HMM状态的概率，采用Viterb或者beam-search算法，可以得到完整语音对应权重最小的文本
3.9K20发布于 2017-08-21 - 来自专栏小七的各种胡思乱想
解密prompt系列49. 回顾R1之前的思维链发展
以什么样的形态生成深度搜索：self-refine（RISE），self-reflection(GLoRE)， 思考本身是串行的，整个流程就是思考->反思->优化->再思考广度搜索：Major-Vote，Best-of-N，Beam-Search 深度+广度：MCTS，REBEASE等相比Beam-search的局部最优，复杂度更高的全局优化方案推理打分能力：如何选择更优的推理路径，从而指导以上的推理过程生成？
88621编辑于 2025-02-19 - 来自专栏新智元
GitHub超1.5万星NLP团队热播教程：使用迁移学习构建顶尖会话AI
当前，成功进行beam-search/贪婪解码的两个最佳选择是top-k和nucleus (或top-p) 采样。这是我们如何使用top-k或nucleus/top-p)采样进行解码的方法： ?
1.4K20发布于 2019-10-21 - 来自专栏深度学习自然语言处理
近期有哪些值得读的QA论文？
在预测的时候，可以用 beam-search。 FastQA Extended 相当于主流模型的 interaction layer。 Beam-search 可以微弱提升结果，因为最可能的开始位置不一定是最好的 answer span； 3. 额外的 character embedding 对结果有显著提升； 4. π 是要训练的 policy，是action 的概率分布，action space 就是 decoder output layer 的词汇表，可以通过 beam-search 采样选择 action，采样结果通过
89330发布于 2018-07-25 - 来自专栏Soul Joy Hub
TensorFlow文本摘要生成 - 基于注意力的序列到序列模型
在精确解和贪婪解方法之间取一个折中, 就是beam-search束搜索解码器(Algorithm1), 它在保持全量字典VV的同时, 在输出摘要的每一个位置上将自己限制在KK个潜在的假设内. 这种beam-search方法在神经机器翻译模型NMT也很常用. Beam search算法展示如下: ?
1.1K50发布于 2019-06-11 - 来自专栏【腾讯云开发者】
超强指南！推荐算法架构——重排
可以通过DNN、RNN、self-attention等多种方式建模和提取item序列信息，再通过beam-search等贪婪搜索方法得到最终的序列。 通过beam-search等贪婪搜索方法，得到最终的序列。 整个过程和机器翻译等NLP场景任务很像，同样可以结合pointer-network来优化。
6.8K62编辑于 2022-04-11 - 来自专栏小小挖掘机
推荐系统遇上深度学习(一三一)-[蚂蚁金服]信息流推荐中局部视野感知的重排序方法
2）当前重排最常用的是序列生成+序列评估两阶段范式，序列生成方法可以采用启发式方法，也可以采用模型生成的方法如阿里的PRS，使用Beam-Search的方法生成多个候选序列。
1K20编辑于 2022-04-06 - 来自专栏SAMshare
我用特征工程+LR超过了xDeepFM！
它利用beam-search来高效地构造交叉特征，从而可以考虑到高阶特征交叉，而这是现有研究中尚未涉及到的。
1.6K30发布于 2021-01-05 - 来自专栏机器之心
京东AI研究院获QuAC机器阅读理解竞赛冠军，EL-QA模型能力业界领先
该结果的取得主要得益于我们在关键技术上的创新，包括大规模预训练语言模型、知识迁移、多任务学习、数据增强、Beam-Search 解码答案和 Deep Ranking 等。
42310编辑于 2023-03-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号