- 综合排序
- 最热优先
- 最新优先
- 来自专栏Java架构师必看
python 下采样和上采样
前言 由于工作数据量较大，训练模型很少直接单机python，一般都采用SparkML，最近把SparkML的工作使用python简单的写了一下，先写个上下采样，最终目的是为了让正负样本达到均衡（有人问： = frac: zcopy = zcopy.append(z) sample_data = pd.concat([zcopy,f]) 查看采样的结果： 下采样 下采样就是从多量的样本中抽取一部分数据直到和少量的样本达到平衡 利用dataframe的sample方法 frac = float(len(z) / len(f)) # 下采样就是从多量的样本中抽取一部分数据直到和少量的样本达到平衡 sample_data = pd.concat 利用np.random.choice() （个人感觉有点繁琐，不推荐） import numpy as np # 得到所有正样本的索引 z_index = np.array(z.index) # 下采样就是从多量的样本中抽取一部分数据直到和少量的样本达到平衡 random_f_index) # 有了正样本负样本后把它们的索引都拿到手 under_sample_indices = np.concatenate([z_index,random_f_index]) # 根据索引得到下采样所有样本点
1.7K10编辑于 2022-06-06 - 来自专栏ISP图像处理相关
图像处理-下采样
图像处理之下采样 下采样 下采样（subsampled）或降采样（downsampled））的目的有： 1、使得图像符合显示区域的大小； 2、生成对应图像的缩略图； 3、处理大型图像减少运算量。 下采样实现 两种方式： 方法一，for循环隔行隔列循环遍历每一个像素点 %读入图像进行下采样 %两种方法用时只需将对应方法注释掉其中一个即可 clear all; close all; clc; img 可见在大型图片下采样时还是尽量避免for嵌套循环，转而用矩阵向量的计算方式，这样会省不少时间 。 DCT域下采样算法 在传统的图像，视频的后处理阶段，一般会涉及到图像大小的缩放问题。 通过在视频解码中使用频域下采样技术，我们在400M主频的手机上实现了720p的流畅解码，在400M主频的CPU上实现了1080p的视频解码，但不是很流畅。 % dct频率域下采样算法，根据下面论文提到的算法实现 % 一种高效的DCT域图像下采样方法 中国图像图形学报 2005年4月 %程序作者： celery.chen@yahoo.com.cn ，2010
1.2K20编辑于 2022-01-14 - 来自专栏AI智韵
YoloV8改进策略：下采样与上采样改进|下采样模块和DUpsampling上采样模块|即插即用
然而，为了不断追求更高的精度与更快的推理速度，我们在YoloV8的基础上进行了创新性改进，重点引入了先进的下采样模块和DUpsampling上采样模块。 最大池化层：使用的池化窗口和步长为2进行下采样，以减少特征图的尺寸和计算量。当需要时，其输出通道数量与输入通道数量相同（）。 优点总结 精度提升：下采样模块和DUpsampling上采样模块的引入，使得YoloV8在特征提取和分割精度上实现了质的飞跃。 灵活性与可扩展性：下采样模块和DUpsampling上采样模块作为独立的模块，可以方便地与其他网络架构进行集成和扩展。这为YoloV8的后续研究和应用提供了更多的可能性。 综上所述，通过对YoloV8的下采样和上采样模块进行创新性改进，我们成功打造了一个既高效又精准的实时目标检测模型。
1.5K10编辑于 2024-10-22 - 来自专栏C++开发学习交流
【PCL】VoxelGrid滤波器下采样
VoxelGrid滤波器是用体素化网格方法实现下采样的一种常用滤波方法，这里重点学习。 下采样是在保持点云形状的同时减少点云中点的数量；VoxelGrid是通过创建三维体素栅格，用每个体素中所有点的重心来近似表示体素中的其他点，来实现下采样。
67210编辑于 2024-07-24 - 来自专栏全栈程序员必看
负采样_欠采样
这个时候我们就需要用到负采样（negative sampling）的技术。 下面通过Skip-Gram来讲解负采样技术。 为了提升训练的速度，减少更新权重的数量，我们就需要对节点进行负采样。首先来了解两个概念 postive word 和 negative word。 负采样的目的就是在 negative word 中，找出一部分节点进行权重的更新，而不需要全部都更新。 在这种情况下，需要更新的权重数量是6*400=2400，相比起前面计算的4,000,000，是不是少了很多！ 负采样的本质：每次让一个训练样本只更新部分权重，其他权重全部固定；减少计算量；（一定程度上还可以增加随机性） 参考1 参考2 参考3 发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn
74120编辑于 2022-08-03 - 来自专栏全栈程序员必看
机器学习——下采样(under-sampling)「建议收藏」
下采样(under-sampling) 什么是下采样？ 当原始数据的分类极不均衡时，如下图 我们要想用这样的数据去建模显然是存在问题的。 在这样的数据分布的情况下，运用机器学习算法的预测模型可能会无法做出准确的预测，最后的模型显然是趋向于预测多数集的，少数集可能会被当做噪点或被忽视，相比多数集，少数集被错分的可能性很大。 常用的下采样方法 解决数据分布不均衡的下采样的目的就从多数集中选出一部分数据与少数集重新组合成一个新的数据集。那么如何在多数集中选出这样的数据呢？ 1. 随机下采样 随机欠采样的思想同样比较简单，就是从多数类样本中随机选取一些剔除掉。这种方法的缺点是被剔除的样本可能包含着一些重要信息，致使学习出来的模型效果不好。 2. EasyEnsemble将多数类样本随机划分成n个子集，每个子集的数量等于少数类样本的数量，这相当于欠采样。
2K20编辑于 2022-07-21 采样
采样的作用： 采样的本质是对随机现象的模拟，根据给定的概率分布，来模拟产生一个对应的随机事件。采样因此可以让人们对随机事件及其产生过程有更直观的认识。 采样所得到的样本集本身也可以看作是一种非参数模拟，即用较少量的样本点来近似总体分布，并刻画总体中的不确定性。从这个角度来说，采样也是一种信息降维，可以用于模型训练，在总体分布有无穷多个点的情况下。 而且还可以通过重采样，可以保持特定的信息下，有意识地改变样本分布，以更适应后续模型训练和学习。例如用重样本来处理分类模型的训练样本不均衡问题。 此外，很多模型由于结构复杂，含有隐变量等情况下，导致对应求解公式比较复杂，没有显式解析解，难以进行精确的求解或推理，这种情况下，可以利用采样进行随机模拟，从而对这些复杂模型进行近似求解或推理。 这一般会转换为某些函数在特定分布下的积分或是期望，或是求某些随机变量或参数在给定数据下的后验分布。 均匀分布随机数 均匀分布含义：均匀分布是指整个样本空间中的每一个样本对应的概率都是相等的。
39110编辑于 2024-09-10- 来自专栏全栈测试
视频码率帧率采样率，了解一下？
1、视频码率：数据传输时单位时间传送的数据位数，也就是 是指视频文件在单位时间内使用的数据流量，一般用kbps单位，及千位每秒； 也就是取样率（并不等同与采样率，采样率的单位是Hz，表示每秒采样的次数） 3、采样率：采样率（也称为采样速度或者采样频率）定义了每秒从连续信号中提取并组成离散信号的采样个数，它用赫兹（Hz）来表示。采样率是指将模拟信号转换成数字信号时的采样频率，也就是单位时间内采样多少点。 一个采样点数据有多少个比特。比特率是指每秒传送的比特(bit)数。单位为 bps(Bit Per Second)，比特率越高，传送的数据越大，音质越好.比特率 =采样率 x 采用位数 x声道数。
6.6K10发布于 2019-10-17 - 来自专栏YOLO大作战
YOLOv8改进：下采样系列 | 一种新颖的基于 Haar 小波的下采样HWD，有效涨点系列
本文独家改进：HWD的核心思想是应用Haar小波变换来降低特征图的空间分辨率，同时保留尽可能多的信息，与传统的下采样方法相比，有效降低信息不确定性。 使用方法：代替原始网络的conv，下采样过程中尽可能包括更多信息，从而提升检测精度。 为了解决这个问题，我们引入了一种简单而有效的池化操作，称为基于 Haar 小波的下采样（HWD）模块。该模块可以轻松集成到 CNN 中，以增强语义分割模型的性能。 此外，为了研究 HWD 的好处，我们提出了一种新的指标，称为特征熵指数（FEI），它衡量 CNN 中下采样后的信息不确定性程度。具体来说，FEI 可用于指示下采样方法在语义分割中保留基本信息的能力。 DeepLabv3+中平均池化、最大池化、跨行卷积和HWD的下采样示例[13]。
2.6K10编辑于 2024-02-02 - 来自专栏纸飞机与软件技术
高效细分：学习语义边界附近的下采样
为了加快性能，通常对输入帧进行下采样。 然而，这是以丢失小对象和降低语义边界精度为代价的。 为了解决这个问题，我们提出了一种新的内容自适应下采样技术，该技术有助于在目标类的语义边界附近采样位置。 成本 - 性能分析表明，我们的方法始终优于统一采样，提高了准确性和计算效率之间的平衡。 我们的自适应采样为分割提供了更好的边界质量，并为更小尺寸的对象提供更可靠的支持。
81540发布于 2019-07-17 - 来自专栏全栈程序员必看
过采样和欠采样_欠采样有几种情况
一、采样定理 只要采样频率高于信号最高频率的两倍，就可以从采样信号中恢复出原始信号。 二、过采样和欠采样 1、采样频率高于信号最高频率的两倍，这种采样被称为过采样。 2、采样频率低于信号最高频率的两倍，这种采样被称为欠采样。 三、基带信号和频带信号的采样 1、对基带信号进行欠采样是无法从采样信号中恢复出原始信号的，因此基带信号的采样都是过采样。 2、对频带信号进行采样可以是过采样，也可以是欠采样。只要保证采样频率高于原始信号带宽的两倍，就可以从欠采样信号中恢复出原始信号。 这种情况下，原始信号带宽的2倍<采样频率<频带信号最高频率的2倍。 有带通采样定理的，采样频率=2fh/m,其中m是一个不超过fh/b的整数，fh是上频界，b是带宽。 “低通采样定理”可简称“采样定理”在进行模拟/数字信号的转换过程中，当采样频率fs.max大于信号中最高频率fmax的2倍时(fs.max>=2fmax)，采样之后的数字信号完整地保留了原始信号中的信息
5.1K50编辑于 2022-11-01 - 来自专栏具身小站
深度学习中的下采样（步长卷积）详解
而步长卷积设置stride=2或更大，让卷积核每次跳跃多个像素，从而实现 下采样 ——即主动减小特征图的空间尺寸。 与池化的对比 步长卷积可以看作是将 特征提取 和 下采样 两个步骤合二为一： 传统方式 现代方式 Conv (stride=1) → 提取特征 Conv (stride=2) → 同时完成提取和下采样 Pooling → 下采样 3 步长卷积的核心作用 1. 4 步长卷积的特点 优点 特点 说明 意义 可学习下采样 下采样的方式由数据驱动学习得到 比固定规则的池化更灵活、更适应任务 端到端统一 整个网络只有卷积一种操作 简化架构设计，便于优化 避免信息丢失 可变形卷积中的步长 可变形卷积也可以设置步长，在采样点学习偏移的同时进行下采样。 3. 步长与空洞卷积结合 可以通过设置步长>1的同时使用空洞卷积，实现快速下采样并扩大感受野。
12510编辑于 2026-03-31 - 来自专栏韩曙亮的移动开发专栏
【音视频原理】图像相关概念 ④ ( YUV 排列格式 | 打包格式 | 平面格式 | YUV 表示法 | YUV 采样格式表示方法 | YUV 4:2:2 采样 | 上采样与下采样概念 )
YUV 4:2:0 采样的示意图 , 四个 Y 灰度值 分量 , 对应这 一个 UV 色度值 分量 ; YUV420 采样 , 存储时 , 水平方向进行下采样 , 垂直方向也进行了下采样 , 数据进行了压缩 , YUV 的比例是 4:1:1 , 即 4 和 Y 分量 对应 1 个 UV 分量 ; 三、上采样与下采样概念 在 YUV 色彩编码时 , 经常使用 上采样 和 下采样 这两项技术 , 这是数字信号处理中常用的技术 , 它们涉及到对图像的重新采样 , 以改变图像的分辨率或数据量 ; 上采样 和 下采样 都会对图像的质量产生一定的影响 , 下采样可能导致色彩信息的丢失或模糊 , 而上采样可能会引入插值误差或伪像 ; 在应用 上采样 和 下采样 技术时 , 需要权衡图像 质量 / 数据量 / 处理性能 之间的需求 , 并选择适当的采样方法和参数 ; 1、下采样 Downsampling 下采样 ( Downsampling ) 是降低 图像分辨率 或 数据量 的过程 ; 在 YUV 色彩编码时 , 下采样 通常应用于 UV 色度分量 , 因为 人眼对 Y 亮度信息 比对 UV 色彩信息更敏感 , 下采样 通过减少 色度分量
63710编辑于 2024-01-21 - 来自专栏全栈程序员必看
图像降采样原理_降采样滤波
from=search&permalink=1cb3111d_6ee9587 1、先说说这两个词的概念： 降采样，即是采样点数减少。 对于一幅N*M的图像来说，如果降采样系数为k,则即是在原图中 每行每列每隔k个点取一个点组成一幅图像。降采样很容易实现. 升采样，也即插值。对于图像来说即是二维插值。 2、实现 其实在matlab中自带升采样函数(upsample)和降采样函数(downsample)，读者可以查找matlab的帮助文件详细了解这两个函数。 % 输入：采样图片 I, 升采样系数N % 输出：采样后的图片Idown % author:gengjiwen date:2015/5/10 %======= % 输入：采样图片 I, 降采样系数N % 输出：采样后的图片Idown % author:gengjiwen date:2015/5/10 %=======
2.6K10编辑于 2022-09-20 - 来自专栏谓之小一
MCMC采样和M-H采样
1.马尔可夫链细致平稳条件 解决平稳分布π所对应的马尔可夫链状态转移矩阵P之前，我们先看一下马尔可夫链的细致平稳条件。 2.MCMC采样 由于一般情况下，目标平稳分布π(x)和某一马尔可夫链状态转移矩阵Q不满足细致平稳条件，即 ? 我们对上式进行一些变换，使细致平稳条件成立。 可能我们采样可上百万次，马尔科夫链还没有收敛。实际应用中，我们可以通过M-H采样方法进行采样。 3.M-H采样 M-H采样解决了MCMC采样接受率过低的问题，我们首先回到MCMC采样的细致平稳条件 ? 采样效率过低的原因是α(i,j)太小，比如0.1，α(j,i)为0.2，即 ? 但在大数据情况下，M-H面临如下问题 数据特征非常多：因为M-H采样由于接受率的存在，在高维计算时需要很长的计算时间，算法效率很低。
1.3K20发布于 2019-08-14 - 来自专栏工程师看海
过采样系列一：采样定理与过采样率
采样速率是ADC重要参数之一，围绕采样速率，有一条著名的定理：奈奎斯特采样定理。 采样定理： 只要采样频率大于或等于有效信号最高频率的两倍，采样值就可以包含原始信号的所有信息，被采样的信号就可以不失真地还原成原始信号。 时域解释 下图蓝色点是采集后的一段离散序列，我们无法知道采样的原始信号是红色曲线还是蓝色点直连重构的曲线。 通常情况下，我们重构采集后的离散点方法是直接连接相邻采样点。 时域分析 在时域的角度下，当一个周期采集点数少于2个时，我们直连采样点重构信号，则频率就错了；而当一个周期采集两个采样点时，采用直连的重构方式，我们起码可以得到原始信号的频率信息。 采样定理与过采样率 上文中的fa是信号的带限（信号的最大频率范围），2*fa是采样定理的基本要求；M*2*fa中，M就是过采样率，过采样率是对‘采样定理的最低采样频率’而言的。
3.2K30编辑于 2022-06-23 - 来自专栏计算机图形学 前端可视化 WebGL
webgl智慧楼宇发光系列之线性采样下高斯模糊
webgl智慧楼宇发光系列之线性采样下高斯模糊 前面一篇文章 [webgl智慧楼宇发光效果算法系列之高斯模糊](https://mp.weixin.qq.com/s/LZ_M51nDHfAPlcmwWglp_A 在使用片段着色器的情况下，我们可以将高斯滤镜分为水平模糊滤镜和垂直模糊滤镜，在渲染后仍可获得准确的结果。 因为我们做高斯模糊的时候，本身就是获取周边相邻元素的加权平均值，因此利用线性采样的这个特性，可以把原本2个像素的采样，减少为一次采样。 如果原本33次采样，则可以减少到17次。 uniform变量，该变量表示是否启用线性采样的方法： uniform bool uUseLinear; 然后如果使用线性采样，就把原本的采样次数减少一半： if(uUseLinear){ radius ，而右边的使用了线性采样，可以看出右边再减少了一半的采样的情况下，效果和左边的基本没有差别。
67720发布于 2020-12-28 - 来自专栏谓之小一
Gibbs采样
在MCMC采样和M-H采样中，我们讲到M-H采样已经可以很好的解决蒙特卡罗方法需要的任意概率分布的样本集问题。 但是M-H采样有两个缺点：一是需要计算接受率，在高维情况下计算量非常大，同时由于接受率的原因导致算法收敛时间变长。二是有些高维数据，特征的条件概率分布方便求解，但特征的联合分布很难求解。 2.二维Gibbs采样 根据上面提到的状态转移矩阵，我们就可以得到二维Gibbs采样，这个采样需要两维度之间的条件概率，具体过程如下 ? 用下图可以直观的看出，采样是在两个坐标轴上不断变换的。 4.Gibbs采样总结 由于Gibbs采样在高维特征时的优势，目前通常意义上的MCMC采样都是用Gibbs采样。 Gibbs采样要求数据至少有两个维度，一维概率分布的采样无法用Gibbs采样实现，这时可以用M-H方法采样。
93540发布于 2019-08-14 - 来自专栏计算机图形学 前端可视化 WebGL
webgl智慧楼宇发光系列之线性采样下高斯模糊
[toc] webgl智慧楼宇发光系列之线性采样下高斯模糊 前面一篇文章 <webgl智慧楼宇发光效果算法系列之高斯模糊>, 我们知道了 高斯模糊的本质原理，就是对每个像素，按照正态分布的权重去获取周边像素的值进行平均 在使用片段着色器的情况下，我们可以将高斯滤镜分为水平模糊滤镜和垂直模糊滤镜，在渲染后仍可获得准确的结果。 因为我们做高斯模糊的时候，本身就是获取周边相邻元素的加权平均值，因此利用线性采样的这个特性，可以把原本2个像素的采样，减少为一次采样。 如果原本33次采样，则可以减少到17次。 ; 然后如果使用线性采样，就把原本的采样次数减少一半： if(uUseLinear){ radius = uRadius / 2.0; } 再然后，如果使用线性采样，就使用上述的公式进行像素提取 ，而右边的使用了线性采样，可以看出右边再减少了一半的采样的情况下，效果和左边的基本没有差别。
62420发布于 2020-12-31 - 来自专栏AIWalker
HPUN | 特征下采样真的不适合超分吗？
尽管通过特征下采样获取多尺度特征融合是一种有效改善视觉识别性能的方案，但是特征下采样对于图像超分一种是反直觉的行为，这是因为超分需要将低分辨率输入映射到高分辨率输出。 因此，鲜少在图像超分中看到下采样操作，就算是有，下采样操作也是打“辅助”。前段时间，有一篇paper对此进行了探索并设计了一种新的架构HPUN，用上了下采样，性能还有所提升！ paper: https://arxiv.org/abs/2203.08921 本文对此进行了探索，提出了一种包含pixel-unshuffle下采样与Self-Residual Depthwise Separable 所提方案包含三部分：标准卷积、pixel-unshuffled 下采样以及所提PUB模块。 具体来说，PUB包含pixel-unshuffled下采样与Self-Residual DSC(Depthwise Separable Convolution, DSC)两个模块。
2.5K20编辑于 2022-04-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号