- 综合排序
- 最热优先
- 最新优先
- 来自专栏人工智能
Top-K采样的智慧选择
什么是top-k采样？为什么只考虑最可能的几个选项就够了？一、为什么需要top-k采样想象一下你正在玩一个猜词游戏。每次轮到你时，系统会给你成千上万个可能的词汇选择，但其中大部分都是完全不相关的。 二、什么是top-k采样top-k采样是一种文本生成策略，其核心思想很简单：排序：对于当前要生成的下一个词，模型会为词汇表中的每个词计算一个概率筛选：只保留概率最高的前k个词（这就是"top-k"的含义 三、top-k采样如何工作工作原理详解top-k采样的工作流程可以分为以下几个步骤：第一步：获取完整概率分布模型首先会为词汇表中的每个词计算一个概率值，形成一个完整的概率分布。 ❌无法动态适应不同上下文的不确定性五、top-k采样的实际应用top-k采样在实际应用中非常广泛：聊天机器人：让对话更加自然多变，避免重复回答内容创作：生成多样化的文章、故事或诗歌代码生成：在保持语法正确的同时增加实现方式的多样性机器翻译 六、top-k采样的发展与演进虽然top-k采样解决了传统随机采样的很多问题，但它也有自身的局限性。最主要的挑战是固定的k值无法适应不同上下文的不确定性。
16310编辑于 2026-03-03 - 来自专栏LeetCode
BFPRT算法&&TOP-K问题
一、BFPRT算法 在一大堆数中求其前k大或前k小的问题，简称TOP-K问题。 而目前解决TOP-K问题最有效的算法即是BFPRT算法，其又称为中位数的中位数算法，该算法由Blum、Floyd、Pratt、Rivest、Tarjan提出，最坏时间复杂度为O(n)O(n)。 在首次接触TOP-K问题时，我们的第一反应就是可以先对所有数据进行一次排序，然后取其前k即可，但是这么做有两个问题： （1）：快速排序的平均复杂度为O(nlogn)O(nlogn)，但最坏时间复杂度为 O(n2)O(n2)，不能始终保证较好的复杂度。 （2）：我们只需要前k大的，而对其余不需要的数也进行了排序，浪费了大量排序时间。 除这种方法之外，堆排序也是一个比较好的选择，可以维护一个大小为k的堆，时间复杂度为O(nlogk)。
1.1K01发布于 2019-02-24 - 来自专栏P_M_P学习笔记
Top-K问题
方法一：遍历选择 我们可以进行k轮遍历，分别在每轮中提取第 1、2、…、k 大的元素，时间复杂度为 (nk) 。 这种方法只适用于k<<n的时候，当k与n很接近时，时间复杂度趋近于O（n^2），效率不高。 方法二：排序 先对nums数组进行排序，然后提取最右边的k个元素，时间复杂度为O（nlogn）。 } //向上调整 void AdjustUp(HPDataType* a, int child) { //数组中父节点的下标比子节点的下标小 int parent = (child - 1) / 2; parent])//小堆（大堆时是>） { swap(&a[child], &a[parent]); child = parent; parent = (child - 1) / 2; ) { assert(a); int child = parent * 2 + 1; while (child < size) { if (child+1<size&&a[child + 1
23210编辑于 2024-01-18 - 来自专栏全栈程序员必看
负采样_欠采样
这个时候我们就需要用到负采样（negative sampling）的技术。 下面通过Skip-Gram来讲解负采样技术。 为了提升训练的速度，减少更新权重的数量，我们就需要对节点进行负采样。首先来了解两个概念 postive word 和 negative word。 负采样的目的就是在 negative word 中，找出一部分节点进行权重的更新，而不需要全部都更新。 负采样的本质：每次让一个训练样本只更新部分权重，其他权重全部固定；减少计算量；（一定程度上还可以增加随机性） 参考1 参考2 参考3 发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn
74120编辑于 2022-08-03 - 来自专栏韩曙亮的移动开发专栏
【音视频原理】图像相关概念 ④ ( YUV 排列格式 | 打包格式 | 平面格式 | YUV 表示法 | YUV 采样格式表示方法 | YUV 4:2:2 采样 | 上采样与下采样概念 )
色度值 分量 ; YUV444 采样 , 存储时 , 没有进行下采样 , 数据没有进行压缩 , YUV 的比例是 1:1:1 ; 2、YUV 4:2:2 采样 2 个 Y 灰度值 分量 , 才会有一个 , 公用一个 UV 色度值 ; 下图展示的是 YUV 4:2:2 采样的示意图 , 两个 Y 灰度值 分量 , 对应这 一个 UV 色度值 分量 ; YUV422 采样 , 存储时 , 水平方向进行下采样 , 数据进行了压缩 , YUV 的比例是 2:1:1 , 即 2 和 Y 分量 对应 1 个 UV 分量 ; 3、YUV 4:2:0 采样 4 个 Y 灰度值 分量 , 才会有一个 UV 色度值 分量 : YUV 4:2:2采样格式中 , 色度分量 的 水平方向 进行了 2:1 的下采样 , 即每两个 水平方向的 像素共享一个色度样本 ; YUV 4:2:0采样格式中 , 色度分量 的 水平方向 和 垂直方向 都进行了 2:1 的下采样 , 即每两个 水平方向 和 垂直方向的 像素共享一个色度样本 ; 2、上采样 Upsampling 上采样 ( Upsampling ) 是 增加图像分辨率
63710编辑于 2024-01-21 采样
采样的作用： 采样的本质是对随机现象的模拟，根据给定的概率分布，来模拟产生一个对应的随机事件。采样因此可以让人们对随机事件及其产生过程有更直观的认识。 比如，通过二项分布采样，可以模拟抛硬币出现正面还是反面，这个随机事件，进而模拟产生一个多次抛硬币出现的结果序列，或者计算多次抛硬币后出现正面的频率。 采样所得到的样本集本身也可以看作是一种非参数模拟，即用较少量的样本点来近似总体分布，并刻画总体中的不确定性。从这个角度来说，采样也是一种信息降维，可以用于模型训练，在总体分布有无穷多个点的情况下。 对当前数据进行重采样，如自助法和刀切法，可以充分利用已有数据，挖掘更多信息，可以通过多次重采样来估计统计量的偏差，方差等。 2.如果需要产生高维样本或大量样本，线性同余法会存在什么问题？
39110编辑于 2024-09-10- 来自专栏计算机图形学 前端可视化 WebGL
WebGL2系列之多采样渲染缓冲对象
多采样渲染缓冲对象 在WebGL2中，有了一个新的特性，叫做Multisampled Renderbuffer，恩，中文呢就叫做： 多采样渲染缓冲对象吧；通过多采样渲染缓冲对象，可以在帧缓冲区的渲染缓冲对象上实现 ，采样数是4。 多采样纹理附件 多采样纹理附件又是什么东西呢，好吧，其实在WebGL2中，没有这个多采样纹理附件，在OPENGL才有，为什么提到这个多采样纹理附件，大部分时间，我们的离屏渲染都需要渲染到一个纹理对象上面 在没有多采样纹理附件，只有多采样渲染缓冲对象的情况下，要实现MSAA，只能渲染到渲染缓冲对象上，但是渲染缓冲对象的内容不能直接传递给纹理对象。 那么应该怎么做呢？ _2D, gl.TEXTURE_MIN_FILTER, gl.NEAREST); gl.texImage2D(gl.TEXTURE_2D, 0, gl.RGBA, FRAMEBUFFER_SIZE.x,
1.2K20发布于 2019-07-15 - 来自专栏计算机图形学 前端可视化 WebGL
WebGL2系列之采样器对象
采样器对象 在WebGL2中，引入了采样器对象，使用采样器对象，可以把纹理的过滤方式封装到采样器对象上面，而原本的纹理对象可以不用在指定过滤方式，因此一张图片可以只用创建一个纹理对象，对于不同的过滤方式 纹理对象和采样方式被分开，一个纹理对象可以和多个采样器对象关联； 多个纹理对象也可以和一个采样器关联。 如果使用采样器对象，一些WebGL的引擎就会需要产生代码上的变动。 ); 比如如下代码片段： gl.activeTexture(gl.TEXTURE0); gl.bindTexture(gl.TEXTURE_2D, texture); gl.bindSampler(0, gl.activeTexture(gl.TEXTURE0); gl.bindTexture(gl.TEXTURE_2D, texture); gl.bindSampler(0, samplerA); gl.activeTexture(gl.TEXTURE1); gl.bindTexture(gl.TEXTURE_2D, texture); gl.bindSampler(1, samplerB);
86110发布于 2019-09-09 - 来自专栏自然语言处理
Word2Vec教程-Negative Sampling 负采样
这篇word2vec教程2中（教程1 Word2Vec教程-Skip-Gram模型），作者主要讲述了skip-gram 模型优化的策略-Negative Sampling，使得模型更加快速地训练。 Word2Vec作者在这篇论文解决列这些问题，主要提到3种措施： 在模型种将共同出现的单词对或者短语当做单个“词” 二次采样经常出现的单词，以减少训练数据的数量 改变优化目标函数-使用“Negative Word2Vec通过“二次采样”方案来解决上述问题。对于出现在训练文中的每个单词，都会有一个从文本删除的概率，这个概率取决于相应单词的词频。 这意味着当单词个数占总单词个数 的超过0.26%将会被二次采样。 P(wi)=0.5 (50% 的概率会保留) 当 z(wi)=0.00746. Negative Sampling · 负采样 在训练神经网络时，每当接受一个训练样本，然后调整所有神经单元权重参数，来使神经网络预测更加准确。
4.3K30发布于 2018-07-06 - 来自专栏计算机图形学 前端可视化 WebGL
WebGL2系列之多采样渲染缓冲对象
多采样渲染缓冲对象 在WebGL2中，有了一个新的特性，叫做Multisampled Renderbuffer，恩，中文呢就叫做： 多采样渲染缓冲对象吧；通过多采样渲染缓冲对象，可以在帧缓冲区的渲染缓冲对象上实现 ，采样数是4。 #多采样纹理附件 多采样纹理附件又是什么东西呢，好吧，其实在WebGL2中，没有这个多采样纹理附件，在OPENGL才有，为什么提到这个多采样纹理附件，大部分时间，我们的离屏渲染都需要渲染到一个纹理对象上面 在没有多采样纹理附件，只有多采样渲染缓冲对象的情况下，要实现MSAA，只能渲染到渲染缓冲对象上，但是渲染缓冲对象的内容不能直接传递给纹理对象。 那么应该怎么做呢？ _2D, gl.TEXTURE_MIN_FILTER, gl.NEAREST); gl.texImage2D(gl.TEXTURE_2D, 0, gl.RGBA, FRAMEBUFFER_SIZE.x,
1.4K30发布于 2019-07-18 - 来自专栏全栈程序员必看
过采样和欠采样_欠采样有几种情况
2、采样频率低于信号最高频率的两倍，这种采样被称为欠采样。 三、基带信号和频带信号的采样 1、对基带信号进行欠采样是无法从采样信号中恢复出原始信号的，因此基带信号的采样都是过采样。 2、对频带信号进行采样可以是过采样，也可以是欠采样。只要保证采样频率高于原始信号带宽的两倍，就可以从欠采样信号中恢复出原始信号。 这种情况下，原始信号带宽的2倍<采样频率<频带信号最高频率的2倍。 有带通采样定理的，采样频率=2fh/m,其中m是一个不超过fh/b的整数，fh是上频界，b是带宽。 “低通采样定理”可简称“采样定理”在进行模拟/数字信号的转换过程中，当采样频率fs.max大于信号中最高频率fmax的2倍时(fs.max>=2fmax)，采样之后的数字信号完整地保留了原始信号中的信息 “低通采样定理”可简称“采样定理”在进行模拟/数字信号的转换过程中，当采样频率fs.max大于信号中最高频率fmax的2倍时(fs.max>=2fmax)，采样之后的数字信号完整地保留了原始信号中的信息
5.1K50编辑于 2022-11-01 - 来自专栏Java架构师必看
python 下采样和上采样
前言 由于工作数据量较大，训练模型很少直接单机python，一般都采用SparkML，最近把SparkML的工作使用python简单的写了一下，先写个上下采样，最终目的是为了让正负样本达到均衡（有人问： df.groupby('字段名').size() 创建一个数据结构和之前一致，但空的dataframe 方法1： 此代码由Java架构师必看网-架构君整理 df = df.iloc[0:0].copy() 方法2： frac = int(len(f) / len(z)) # 创建一个数据结构和之前一致，但空的dataframe zcopy = z.iloc[0:0].copy() # 上采样就是复制少量的样本直到和多量的达到平衡 = frac: zcopy = zcopy.append(z) sample_data = pd.concat([zcopy,f]) 查看采样的结果： 下采样 下采样就是从多量的样本中抽取一部分数据直到和少量的样本达到平衡 ([f.sample(frac=frac),z]) 结果： 2.
1.7K10编辑于 2022-06-06 - 来自专栏我的博客
堆排序和TOP-K问题
建堆 升序：建大堆 降序：建小堆 2. 利用堆删除思想来进行排序 建堆和堆删除中都用到了向下调整，因此掌握了向下调整，就可以完成堆排序。 ） 这里就以降序建小堆为例： 首先我们要从第一个非叶子节点开始向下调整建堆，所以(n-1-1)/2是为了得到叶子节点的父亲节点的下标，然后再排序。 调试看一下： 2.TOP-K问题 TOP-K问题：即求数据结合中前K个最大的元素或者最小的元素，一般情况下数据量都比较大。 比如：专业前10名、世界500强、富豪榜、游戏中前100的活跃玩家等。 对于Top-K问题，能想到的最简单直接的方式就是排序，但是：如果数据量非常大，排序就不太可取了(可能数据都不能一下子全部加载到内存中)。最佳的方式就是用堆来解决，基本思路如下： 1. 用数据集合中前K个元素来建堆 前k个最大的元素，则建小堆 前k个最小的元素，则建大堆 2.
11410编辑于 2025-12-22 - 来自专栏谓之小一
MCMC采样和M-H采样
2.MCMC采样 由于一般情况下，目标平稳分布π(x)和某一马尔可夫链状态转移矩阵Q不满足细致平稳条件，即 ? 我们对上式进行一些变换，使细致平稳条件成立。 下面，我们来总结下MCMC的采样过程 ? 上述过程便是MCMC采样理论，但很难在实际应用，为什么呢? 因为α可能非常小，比如0.1，导致大部分采样值都被拒绝转移，采样效率很低。 可能我们采样可上百万次，马尔科夫链还没有收敛。实际应用中，我们可以通过M-H采样方法进行采样。 3.M-H采样 M-H采样解决了MCMC采样接受率过低的问题，我们首先回到MCMC采样的细致平稳条件 ? 采样效率过低的原因是α(i,j)太小，比如0.1，α(j,i)为0.2，即 ? 通过上述的转换，我们便可在实际应用中使用M-H算法进行采样，M-H采样算法过程如下所示 ?
1.3K20发布于 2019-08-14 - 来自专栏全栈程序员必看
图像降采样原理_降采样滤波
2、实现 其实在matlab中自带升采样函数(upsample)和降采样函数(downsample)，读者可以查找matlab的帮助文件详细了解这两个函数。 (I); figure(1); imagesc(I); title(‘原图像’); % 图像降采样 figure; for ii = 2:2:8 Idown = dsample(I,ii); subplot(2,2,ii/2); imagesc(Idown); str = [‘downsample at N = ‘ num2str( ii)]; title(str); end % 图像升采样 figure; for ii = 2:2:8 Iup =usample(I,ii); subplot (2,2,ii/2); imagesc(abs(Iup)); str = [‘upsample at N = ‘ num2str(ii)]; title(str); end
2.6K10编辑于 2022-09-20 - 来自专栏Spark学习技巧
如何解决TOP-K问题
最近在开发一个功能:动态展示的订单数量排名前10的城市,这是一个典型的Top-k问题，其中k=10,也就是说找到一个集合中的前10名。 实际生活中Top-K的问题非常广泛，比如：微博热搜的前100名、抖音直播的小时榜前50名、百度热搜的前10条、博客园点赞最多的blog前10名，等等如何解决这类问题呢？ <>(k, (o1, o2) -> o1-o2); //大顶堆的构建方法: PriorityQueue<Integer> queue = new PriorityQueue<>(k, new Comparator <Integer>() { @Override public int compare(Integer o1, Integer o2) { return o2-o1; 三：总结 在实际中遇见的TOP-K问题有哪些，以及优先级队列PriorityQueue的基本原理介绍，接着由易到难的讲解了如何通过优先级队列PriorityQueue来解决TOP-k问题，这两个问题都比较经典
70420编辑于 2022-01-12 - 来自专栏Pseudoyu
COMP7801 Topic 4 Top-k
Search Methods Rank aggregation Index-based methods Top-k Query Given a set of objects (e.g., relational retrieval Random and/or sorted accesses at ranked inputs Top-k Query Evaluation Most solutions assume Maintain top-k objects seen so far. is c, with score 2.0 T=sum(0.9,0.9,0.9)=2.7 T>top-1, we proceed to another round of accesses STEP 2 Example of NRA(k=1,f=sum) STEP 1 STEP 2 STEP 3 STEP 4 NRA Properties More generic than TA, since
52420编辑于 2023-04-11 - 来自专栏工程师看海
过采样系列一：采样定理与过采样率
采样速率是ADC重要参数之一，围绕采样速率，有一条著名的定理：奈奎斯特采样定理。 时域分析 在时域的角度下，当一个周期采集点数少于2个时，我们直连采样点重构信号，则频率就错了；而当一个周期采集两个采样点时，采用直连的重构方式，我们起码可以得到原始信号的频率信息。 频域解释 如下图所示，当fs<2fa时，周期性复现的带限信号，会有红色重叠的地方，这会导致我们失去原始带限信号的基本频率信息，俗称频谱混叠。 如上就可以提炼出采样定理的基本要义了。 采样定理与过采样率 上文中的fa是信号的带限（信号的最大频率范围），2*fa是采样定理的基本要求；M*2*fa中，M就是过采样率，过采样率是对‘采样定理的最低采样频率’而言的。 过采样率M每提高4倍，可以让ADC分辨率B提高1bit。举例如下： 过采样率分别为4、16、64，ADC分辨率B分别会提高1、2、3bit。这个后面会继续深入介绍。
3.2K30编辑于 2022-06-23 - 来自专栏谓之小一
Gibbs采样
在MCMC采样和M-H采样中，我们讲到M-H采样已经可以很好的解决蒙特卡罗方法需要的任意概率分布的样本集问题。 2.二维Gibbs采样 根据上面提到的状态转移矩阵，我们就可以得到二维Gibbs采样，这个采样需要两维度之间的条件概率，具体过程如下 ? 用下图可以直观的看出，采样是在两个坐标轴上不断变换的。 当然，坐标轴轮换不是必须的，也可以每次随意选择一个坐标轴进行采样。 ? 3.多维Gibbs采样 ? 4.Gibbs采样总结 由于Gibbs采样在高维特征时的优势，目前通常意义上的MCMC采样都是用Gibbs采样。 Gibbs采样要求数据至少有两个维度，一维概率分布的采样无法用Gibbs采样实现，这时可以用M-H方法采样。
93540发布于 2019-08-14 《数据结构初阶》【堆 + 堆排序 + TOP-K】
for (int i = 0; i < sizeof(arr) / sizeof(int); i++) { printf("%d ", arr[i]); } return 0; } 运行结果 TOP-K 问题 什么是TOP-K问题？ TOP-K 问题：是指从一个大规模数据集中快速找出前 K 个最大（或最小）的元素 解决TOP-K问题的思路和实现的步骤？ ）： 若当前元素 > 堆顶，替换堆顶并调整堆（下沉操作） 若当前元素 ≤ 堆顶，跳过该元素 遍历结束后，堆中元素即为最大的 K 个元素： 堆顶为第 K 大元素，整个堆按小顶堆有序 使用堆解决TOP-K 第三阶段： 资源释放--------------------*/ free(kminheap); //释放堆内存 fclose(fout); //关闭文件 return 0; } 运行结果 TOP-K
17910编辑于 2025-12-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号