- 综合排序
- 最热优先
- 最新优先
- 来自专栏Pseudoyu
COMP7801 Topic 4 Top-k
Search Methods Rank aggregation Index-based methods Top-k Query Given a set of objects (e.g., relational s WHERE h.location=s.location ORDER BY h.price + 10 ∗ s.tuition LIMIT 5 Probabilistic/approximate top-k retrieval Random and/or sorted accesses at ranked inputs Top-k Query Evaluation Most solutions assume Maintain top-k objects seen so far. Example of NRA(k=1,f=sum) STEP 1 STEP 2 STEP 3 STEP 4 NRA Properties More generic than TA, since
52420编辑于 2023-04-11 - 来自专栏人工智能
Top-K采样的智慧选择
什么是top-k采样？为什么只考虑最可能的几个选项就够了？一、为什么需要top-k采样想象一下你正在玩一个猜词游戏。每次轮到你时，系统会给你成千上万个可能的词汇选择，但其中大部分都是完全不相关的。 二、什么是top-k采样top-k采样是一种文本生成策略，其核心思想很简单：排序：对于当前要生成的下一个词，模型会为词汇表中的每个词计算一个概率筛选：只保留概率最高的前k个词（这就是"top-k"的含义 三、top-k采样如何工作工作原理详解top-k采样的工作流程可以分为以下几个步骤：第一步：获取完整概率分布模型首先会为词汇表中的每个词计算一个概率值，形成一个完整的概率分布。 ❌无法动态适应不同上下文的不确定性五、top-k采样的实际应用top-k采样在实际应用中非常广泛：聊天机器人：让对话更加自然多变，避免重复回答内容创作：生成多样化的文章、故事或诗歌代码生成：在保持语法正确的同时增加实现方式的多样性机器翻译 六、top-k采样的发展与演进虽然top-k采样解决了传统随机采样的很多问题，但它也有自身的局限性。最主要的挑战是固定的k值无法适应不同上下文的不确定性。
16310编辑于 2026-03-03 - 来自专栏工程师看海
过采样系列4：实例介绍（终篇）
过采样 对叠加噪声后的信号进行4次采样，理论上应该得到[9.8, 9.6, 10.4, 9.6]4个离散的样本点，而受到ADC分辨率的限制，实际只能得到[10, 10, 10, 10]4个编码样本，所有样本点都只能分布在 当采样频率为2B时，过采样率OSR1=F/(2B)=1; 当采样频率为8B时，过采样率OSR4=F/(2B)=4; OSR4/OSR1=4，即过采样率提高了4倍（注意：是提高了4倍），其分辨率应该会增加 当以采样频率F=4采样时，采集的结果是[10, 10,10, 10]4个序列。 下面对F=4的4个数据进行下抽处理（降采样），可以减少计算量增加分辨率。 过采样系列三：量化误差与过采样率 过采样率为4时，采样的4个数据序列[10, 10,10, 10]求和后是40，对应二进制(00 0010 1000)，右移1bit后变为20，对应二进制(0 0001 ，采集的数据是20(0 0001 0100)，即10.0(9.98)mV； 过采样率增加4倍的前提下，只提高了1bit分辨率，效果不是很明显，继续在9.6mV基础上添加随机噪声，这次过采样率再增加4倍，
69920编辑于 2022-06-23 - 来自专栏计算机视觉理论及其实现
Sampler类与4种采样方式
Sequential Sampler产生的索引是顺序索引：index: 0, data: 17index: 1, data: 22index: 2, data: 3index: 3, data: 41index: 4, sampler.RandomSampler(data_source=data)index: 0, data: 17index: 2, data: 3index: 3, data: 41index: 4, ran_sampler = sampler.RandomSampler(data_source=data, replacement=True)# 得到下面的输出index: 0, data: 17index: 4, data: 8index: 3, data: 41index: 4, data: 8index: 2, data: 3此时生成的随机索引是有重复的（4出现两次），也就是说第“4”条数据可能会被重复的采样 4、子集随机采样Subset Random Samplerclass SubsetRandomSampler(Sampler): r"""Samples elements randomly from
1.3K20编辑于 2022-09-02 - 来自专栏P_M_P学习笔记
Top-K问题
首先创建一个小根堆，堆顶元素最小 2.然后依次将数组的前k个数入堆 3.再从第k+1个数开始，依次与堆顶元素进行比较，如果大于堆顶元素，则堆顶元素出堆，此元素入堆（实现时，是直接将此元素的值赋值给堆顶元素） 4.
23210编辑于 2024-01-18 - 来自专栏LeetCode
BFPRT算法&&TOP-K问题
一、BFPRT算法 在一大堆数中求其前k大或前k小的问题，简称TOP-K问题。 而目前解决TOP-K问题最有效的算法即是BFPRT算法，其又称为中位数的中位数算法，该算法由Blum、Floyd、Pratt、Rivest、Tarjan提出，最坏时间复杂度为O(n)O(n)。 在首次接触TOP-K问题时，我们的第一反应就是可以先对所有数据进行一次排序，然后取其前k即可，但是这么做有两个问题： （1）：快速排序的平均复杂度为O(nlogn)O(nlogn)，但最坏时间复杂度为
1.1K01发布于 2019-02-24 - 来自专栏全栈程序员必看
负采样_欠采样
这个时候我们就需要用到负采样（negative sampling）的技术。 下面通过Skip-Gram来讲解负采样技术。 我们重点关注隐层 – 输出层这里的权重，这里总共有400*10000=4,000,000个权重。也就是说，如果我们不做任何改进的话，每一次的训练都需要更新4,000,000个权重。 为了提升训练的速度，减少更新权重的数量，我们就需要对节点进行负采样。首先来了解两个概念 postive word 和 negative word。 负采样的目的就是在 negative word 中，找出一部分节点进行权重的更新，而不需要全部都更新。 在这种情况下，需要更新的权重数量是6*400=2400，相比起前面计算的4,000,000，是不是少了很多！
74120编辑于 2022-08-03 采样
采样的作用： 采样的本质是对随机现象的模拟，根据给定的概率分布，来模拟产生一个对应的随机事件。采样因此可以让人们对随机事件及其产生过程有更直观的认识。 比如，通过二项分布采样，可以模拟抛硬币出现正面还是反面，这个随机事件，进而模拟产生一个多次抛硬币出现的结果序列，或者计算多次抛硬币后出现正面的频率。 采样所得到的样本集本身也可以看作是一种非参数模拟，即用较少量的样本点来近似总体分布，并刻画总体中的不确定性。从这个角度来说，采样也是一种信息降维，可以用于模型训练，在总体分布有无穷多个点的情况下。 对当前数据进行重采样，如自助法和刀切法，可以充分利用已有数据，挖掘更多信息，可以通过多次重采样来估计统计量的偏差，方差等。 而且还可以通过重采样，可以保持特定的信息下，有意识地改变样本分布，以更适应后续模型训练和学习。例如用重样本来处理分类模型的训练样本不均衡问题。
39110编辑于 2024-09-10- 来自专栏全栈程序员必看
过采样和欠采样_欠采样有几种情况
一、采样定理 只要采样频率高于信号最高频率的两倍，就可以从采样信号中恢复出原始信号。 二、过采样和欠采样 1、采样频率高于信号最高频率的两倍，这种采样被称为过采样。 2、采样频率低于信号最高频率的两倍，这种采样被称为欠采样。 三、基带信号和频带信号的采样 1、对基带信号进行欠采样是无法从采样信号中恢复出原始信号的，因此基带信号的采样都是过采样。 2、对频带信号进行采样可以是过采样，也可以是欠采样。只要保证采样频率高于原始信号带宽的两倍，就可以从欠采样信号中恢复出原始信号。 G(f)=5[δ(f+60)+δ(f-60)]+[δ(f+100)+δ(f-100)] （2）滤波器的截止频率=信号最高频率fH=100hz （3）由奈奎斯特低通抽样定理，fs=2fH=200hz （4） G(f)=5[δ(f+60)+δ(f-60)]+[δ(f+100)+δ(f-100)] （2）滤波器的截止频率=信号最高频率fH=100hz （3）由奈奎斯特低通抽样定理，fs=2fH=200hz （4）
5.1K50编辑于 2022-11-01 - 来自专栏Java架构师必看
python 下采样和上采样
前言 由于工作数据量较大，训练模型很少直接单机python，一般都采用SparkML，最近把SparkML的工作使用python简单的写了一下，先写个上下采样，最终目的是为了让正负样本达到均衡（有人问： /test.csv') # 获取正样本的数量 z = data[data['label'] == 1] # 获取负样本的数量 f = data[data['label'] == 0] 上采样 就是不断复制样本少的数据达到和样本多的数据平衡 frac = int(len(f) / len(z)) # 创建一个数据结构和之前一致，但空的dataframe zcopy = z.iloc[0:0].copy() # 上采样就是复制少量的样本直到和多量的达到平衡 = frac: zcopy = zcopy.append(z) sample_data = pd.concat([zcopy,f]) 查看采样的结果： 下采样 下采样就是从多量的样本中抽取一部分数据直到和少量的样本达到平衡 利用dataframe的sample方法 frac = float(len(z) / len(f)) # 下采样就是从多量的样本中抽取一部分数据直到和少量的样本达到平衡 sample_data = pd.concat
1.7K10编辑于 2022-06-06 - 来自专栏韩曙亮的移动开发专栏
【音视频原理】图像相关概念 ④ ( YUV 排列格式 | 打包格式 | 平面格式 | YUV 表示法 | YUV 采样格式表示方法 | YUV 4:2:2 采样 | 上采样与下采样概念 )
实心 + 空心 重叠在一起的 同心圆 表示 YUV 分量 都存在的值 ; 1、YUV 4:4:4 采样 YUV 4:4:4 采样 , 表示 Y 分量 , U 分量 , V 分量 都是 1:1:1 的关系 分量 ; 3、YUV 4:2:0 采样 4 个 Y 灰度值 分量 , 才会有一个 UV 色度值 分量 对应 ; 也就是说 四个 Y 灰度值 使用 相同的 UV 色度值 进行编码显示 ; 下图展示的是 YUV 4:2:0 采样的示意图 , 四个 Y 灰度值 分量 , 对应这 一个 UV 色度值 分量 ; YUV420 采样 , 存储时 , 水平方向进行下采样 , 垂直方向也进行了下采样 , 数据进行了压缩 , YUV 的比例是 4:1:1 , 即 4 和 Y 分量 对应 1 个 UV 分量 ; 三、上采样与下采样概念 在 YUV 色彩编码时 , 经常使用 上采样 和 下采样 这两项技术 , ; YUV 4:2:0采样格式中 , 色度分量 的 水平方向 和 垂直方向 都进行了 2:1 的下采样 , 即每两个 水平方向 和 垂直方向的 像素共享一个色度样本 ; 2、上采样 Upsampling
63710编辑于 2024-01-21 - 来自专栏我的博客
堆排序和TOP-K问题
调试看一下： 2.TOP-K问题 TOP-K问题：即求数据结合中前K个最大的元素或者最小的元素，一般情况下数据量都比较大。 比如：专业前10名、世界500强、富豪榜、游戏中前100的活跃玩家等。 对于Top-K问题，能想到的最简单直接的方式就是排序，但是：如果数据量非常大，排序就不太可取了(可能数据都不能一下子全部加载到内存中)。最佳的方式就是用堆来解决，基本思路如下： 1.
11410编辑于 2025-12-22 - 来自专栏全栈程序员必看
图像降采样原理_降采样滤波
from=search&permalink=1cb3111d_6ee9587 1、先说说这两个词的概念： 降采样，即是采样点数减少。 对于一幅N*M的图像来说，如果降采样系数为k,则即是在原图中 每行每列每隔k个点取一个点组成一幅图像。降采样很容易实现. 升采样，也即插值。对于图像来说即是二维插值。 2、实现 其实在matlab中自带升采样函数(upsample)和降采样函数(downsample)，读者可以查找matlab的帮助文件详细了解这两个函数。 % 输入：采样图片 I, 升采样系数N % 输出：采样后的图片Idown % author:gengjiwen date:2015/5/10 %======= % 输入：采样图片 I, 降采样系数N % 输出：采样后的图片Idown % author:gengjiwen date:2015/5/10 %=======
2.6K10编辑于 2022-09-20 - 来自专栏谓之小一
MCMC采样和M-H采样
下面，我们来总结下MCMC的采样过程 ? 上述过程便是MCMC采样理论，但很难在实际应用，为什么呢? 因为α可能非常小，比如0.1，导致大部分采样值都被拒绝转移，采样效率很低。 可能我们采样可上百万次，马尔科夫链还没有收敛。实际应用中，我们可以通过M-H采样方法进行采样。 3.M-H采样 M-H采样解决了MCMC采样接受率过低的问题，我们首先回到MCMC采样的细致平稳条件 ? 采样效率过低的原因是α(i,j)太小，比如0.1，α(j,i)为0.2，即 ? 通过上述的转换，我们便可在实际应用中使用M-H算法进行采样，M-H采样算法过程如下所示 ? 4.M-H采样总结 M-H采样解决了使用蒙特卡罗方法需要的任意概率分布样本集的问题，因此在实际生产环境中得到广泛应用。
1.3K20发布于 2019-08-14 - 来自专栏工程师看海
过采样系列一：采样定理与过采样率
采样速率是ADC重要参数之一，围绕采样速率，有一条著名的定理：奈奎斯特采样定理。 采样定理： 只要采样频率大于或等于有效信号最高频率的两倍，采样值就可以包含原始信号的所有信息，被采样的信号就可以不失真地还原成原始信号。 为方便介绍，我们统称之为采样定理。 在详细介绍采样定理之前，我们一定要知道一个非常有趣的频率现象：‘任何模拟信号，在离散化后，在频率上都会按照采样率周期性延拓。’ 采样定理与过采样率 上文中的fa是信号的带限（信号的最大频率范围），2*fa是采样定理的基本要求；M*2*fa中，M就是过采样率，过采样率是对‘采样定理的最低采样频率’而言的。 过采样率M每提高4倍，可以让ADC分辨率B提高1bit。举例如下： 过采样率分别为4、16、64，ADC分辨率B分别会提高1、2、3bit。这个后面会继续深入介绍。
3.2K30编辑于 2022-06-23 - 来自专栏谓之小一
Gibbs采样
在MCMC采样和M-H采样中，我们讲到M-H采样已经可以很好的解决蒙特卡罗方法需要的任意概率分布的样本集问题。 2.二维Gibbs采样 根据上面提到的状态转移矩阵，我们就可以得到二维Gibbs采样，这个采样需要两维度之间的条件概率，具体过程如下 ? 用下图可以直观的看出，采样是在两个坐标轴上不断变换的。 当然，坐标轴轮换不是必须的，也可以每次随意选择一个坐标轴进行采样。 ? 3.多维Gibbs采样 ? 4.Gibbs采样总结 由于Gibbs采样在高维特征时的优势，目前通常意义上的MCMC采样都是用Gibbs采样。 Gibbs采样要求数据至少有两个维度，一维概率分布的采样无法用Gibbs采样实现，这时可以用M-H方法采样。
93540发布于 2019-08-14 - 来自专栏Spark学习技巧
如何解决TOP-K问题
最近在开发一个功能:动态展示的订单数量排名前10的城市,这是一个典型的Top-k问题，其中k=10,也就是说找到一个集合中的前10名。 实际生活中Top-K的问题非常广泛，比如：微博热搜的前100名、抖音直播的小时榜前50名、百度热搜的前10条、博客园点赞最多的blog前10名，等等如何解决这类问题呢？ result; } } 测试： public static void main(String[] args) { int[] arr = new int[]{1, 6, 2, 3, 5, 4, 按照测试用例给出的例子,{1, 6, 2, 3, 5, 4, 8, 7, 9} 优先级队列将会是这样转变的：(注意：本质上优先级队列的实现方式是数组,这里只是用二叉树的方式表现出来) 假如该题换个角度 三：总结 在实际中遇见的TOP-K问题有哪些，以及优先级队列PriorityQueue的基本原理介绍，接着由易到难的讲解了如何通过优先级队列PriorityQueue来解决TOP-k问题，这两个问题都比较经典
70420编辑于 2022-01-12 - 来自专栏图像处理与模式识别研究所
均值采样
import numpy as np image=data.coffee() print(image.shape)#显示图像原始大小 print(type(image))#显示图像类型 ratio=20#设置采样比率 k in range(image1.shape[2]): delta=image[i*ratio:(i+1)*ratio,j*ratio:(j+1)*ratio,k]#获取需要采样的图像块 image1[i,j,k]=np.mean(delta)#计算均值，并存入结果图像 plt.imshow(image1)#打印采样后的图像 plt.show() 算法：均匀采样是对图像空间位置的数字化 根据所需分辨率MxN，将图像均匀分为MxN块，然后对每个图像块，使用采样函数S，求得其采样结果值。常用的采样函数是求区域平均值。 然后再对一维扫描线信号按一定间隔采样得到离散信号，即按先沿垂直方向采样，再沿水平方向采样这两个步骤完成采样操作。
63110编辑于 2022-05-28 - 来自专栏技术圈
Gibbs采样
版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。
86110发布于 2019-08-21 - 来自专栏图像处理与模式识别研究所
上下采样
import cv2 o=cv2.imread('C:/Users/xpp/Desktop/Lena.png')#原始图像 down=cv2.pyrDown(o)#图像进行向下采样 up=cv2.pyrUp (down)#图像进行向上采样 diff=up-o#构造diff图像，查看up与o的区别 print("o.shape",o.shape) print("up.shape",up.shape) cv2. ，尺寸变为原来的4倍；向下采样后，尺寸变为原来的1/4，一幅图像在先后经过向下采样和向上采样或者先后经过向上采样和向下采样，所得到的图像尺寸大小和原始图像一致。 =None, dstsize=None, borderType=None) src表示输入图像 dst表示输出图像 dsize表示输出图像的大小 borderType表示图像边界的处理方式 注意：向上采样和向下采样不是互逆运算 在经过两次采样后，得到的结果图像与原始图像的大小一样，但是二者的像素值不一样，无法恢复到原始状态。
1K10编辑于 2022-05-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号