- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据科学（冷冻工厂）
Scanpy 分析 3k PBMCs：数据预处理
数据集 本次使用的数据集包含一位健康供体的3k PBMCs，这些数据可以从10x Genomics的官方网站免费获取。 curl https://cf.10xgenomics.com/samples/cell-exp/1.1.0/pbmc3k/pbmc3k_filtered_gene_bc_matrices.tar.gz -o data/pbmc3k_filtered_gene_bc_matrices.tar.gz # ! cd data; tar -xzf pbmc3k_filtered_gene_bc_matrices.tar.gz # ! adata.var_names_make_unique() # this is unnecessary if using `var_names='gene_ids'` in `sc.read_10x_mtx` 预处理
39100编辑于 2025-06-08 - 来自专栏毛利学Python
预处理数据
预处理数据 数据预处理（data preprocessing）是指在主要的处理以前对数据进行的一些处理。 预处理数据包括 数据的标准化 映射到01均匀分布 数据的归一化 数据的二值化 非线性转换 数据特征编码 处理缺失值等 该sklearn.preprocessing软件包提供了几个常用的实用程序函数和变换器类 a 是一个4X3列表，从列看，第一列有0，1 两个特征，第二列有0，1，2 三个特征，第三列有0，1，2，3 四个特征，一共9个，所以输出的第一行[1,0] 代表 向量的第一个数字 0 即第一个特征 0 有 ，第二个特征 1 没有，[1,0,0] 代表 0 [0,0,0,1] 代表3， ([[1., 0., 1., 0., 0., 0., 0., 0., 1.], 就是 [0, 0, 3] from 这在PolynomialFeatures中实现: >>> X = np.arange(6).reshape(3, 2) >>> X array([[0, 1], [2, 3],
1.8K50发布于 2019-08-29 - 来自专栏数据科学与人工智能
【数据】数据预处理
小编邀请您，先思考： 1 数据预处理包括哪些内容？ 2 如何有效完成数据预处理？ 数据的质量和包含的有用信息量是决定一个机器学习算法能够学多好的关键因素。 数据预处理没有统一的标准，只能说是根据不同类型的分析数据和业务需求，在对数据特性做了充分的理解之后，再选择相关的数据预处理技术，一般会用到多种预处理技术，而且对每种处理之后的效果做些分析对比，这里面经验的成分比较大 为什么要预处理数据 现实世界的数据总是或多或少存在各种各样的问题，比如： 1）不完整的：有些感兴趣的属性缺少属性值，或仅包含聚集数据 2）含噪声的：包含错误或者“孤立点” 3）不一致的：在编码或者命名上存在差异 数据预处理的主要任务 1）数据清理 填写空缺的值，平滑噪声数据，识别、删除孤立点，解决不一致性 2）数据集成 集成多个数据库、数据立方体或文件 3）数据变换 规范化和聚集 4）数据归约 得到数据集的压缩表示 3）数据压缩 其中包含有损压缩和无损压缩。主要有字符串压缩和音视频压缩。 4）数值归约 通过选择替代的、较小的数据表示形式来减少数据量。包含有参方法和无参方法。
2K80发布于 2018-03-27 - 来自专栏iOSDevLog
数据预处理
数据预处理(也称为数据准备，但 “预处理” 听起来更像是魔术) 是 迭代过程 的收集，组合，结构化和组织数据，以便将其作为数据可视化，分析和机器学习应用程序的一部分进行分析。 真实世界数据 通常不完整，不一致，缺乏某些行为或趋势，以及很可能包含很多错误。数据预处理是解决此类问题的可靠方法。 最佳实践和练习： 1, 2, 3 - 特征缩放 特征缩放是一种用于标准化独立变量或数据特征范围的方法。在数据处理中，它也被称为数据标准化，并且通常在数据预处理步骤期间执行。 最佳实践和练习： 1, 2, 3, 4, 5 - 完整性检查 你总是希望确保你的数据刚好是你希望的，并且因为这是一个很好的经验法则，在数据预处理管道的每次完整迭代之后应用完整性检查(即我们已经看到的每个步骤 最佳实践和练习： 1, 2, 3 - 自动化这些无聊的东西！ 正如我在一开始就告诉你的那样，数据预处理过程可能需要很长时间并且非常繁琐。因此，你希望尽可能 自动化 。
1.9K00发布于 2019-04-18 - 来自专栏Python数据科学
经验 | 3行代码数据预处理提速6倍！
在考虑机器学习系统的效率时，经常被忽视的一个关键步骤就是预处理阶段，我们必须对所有数据点进行某种预处理操作。 默认情况下，Python程序使用单个CPU作为单个进程执行。 这意味着，对于2个CPU内核的示例，在运行预处理时，50％或更多的计算机处理能力在默认情况下不会做任何事情！当你使用4核（ Intel i5）或6核（ Intel i7）时，就更浪费了。 感谢Python的concurrent.futures模块，只需3行代码就可以将一个普通程序转换为一个可以跨CPU核心并行处理数据的程序。 ? 这个程序遵循在数据处理脚本中经常看到的简单模式： 首先是要处理的文件（或其他数据）列表； 你可以使用for循环逐个处理每个数据片段，然后在每个循环迭代上运行预处理 让我们在一个包含1000个jpeg文件的文件夹上测试这个程序 我们只需修改3行代码。 ? 上面的代码中的： ? 你有多少CPU核心就启动多少Python进程，在我的例子中是6个。实际的处理代码是这样的： ?
69550发布于 2018-12-25 - 来自专栏CV学习史
NiftyNet 数据预处理
NiftyNet项目介绍 使用NiftyNet时，我们需要先将图像数据和标签进行一次简单的处理，得到对应的.csv文件。
60620发布于 2019-09-10 - 来自专栏机器学习算法与Python学习
经验 | 3行代码数据预处理提速6倍！
在考虑机器学习系统的效率时，经常被忽视的一个关键步骤就是预处理阶段，我们必须对所有数据点进行某种预处理操作。 默认情况下，Python程序使用单个CPU作为单个进程执行。 这意味着，对于2个CPU内核的示例，在运行预处理时，50％或更多的计算机处理能力在默认情况下不会做任何事情！当你使用4核（ Intel i5）或6核（ Intel i7）时，就更浪费了。 感谢Python的concurrent.futures模块，只需3行代码就可以将一个普通程序转换为一个可以跨CPU核心并行处理数据的程序。 ? 这个程序遵循在数据处理脚本中经常看到的简单模式： 首先是要处理的文件（或其他数据）列表； 你可以使用for循环逐个处理每个数据片段，然后在每个循环迭代上运行预处理 让我们在一个包含1000个jpeg文件的文件夹上测试这个程序 我们只需修改3行代码。 ? 上面的代码中的： ? 你有多少CPU核心就启动多少Python进程，在我的例子中是6个。实际的处理代码是这样的： ?
57630发布于 2018-12-25 - 来自专栏张俊红
python数据科学-数据预处理
总第88篇 数据预处理是我们在做机器学习之前必经的一个过程，在机器学习中常见的数据预处理包括缺失值处理，缩放数据以及对数据进行标准化处理这三个过程。 01|缺失值处理： 缺失值处理是我们在做数据分析/机器学习过程中经常会遇到的问题，我们需要一种处理不完整数据的策略/方法。 我们先看如何在没有类别标签的情形下修补数据。比较简单粗暴的方法就是直接忽略，也就是删除缺失值，这种策略适用于数据集中缺失值占比很小，去掉其以后对整体影响不大的情况。 fillna()一般情况下会给定一个常数，会把数据集中的所有缺失值替换成该常数，比如fillna(0)；也可以实现对不同列中的缺失值进行不同的替换，比如df.fillna({1:0.5,3:1})表示将第一列 上面那个在生活中的例子，而在机器学习的学习过程中，也会有很多特征之间出现上面大数吃小数的问题，所以我们在进行学习之前，需要先对数据进行预处理以后再进行学习。
1.8K60发布于 2018-04-11 - 来自专栏嵌入式视觉
数据扩充与数据预处理
Contents 1 数据扩充 1.1 一般的数据扩充 1.2 特殊的数据扩充方式 1.2.1 Fancy PCA 1.2.2 监督式数据扩充 1.3 总结 2 数据预处理 2.1 参考资料 数据扩充 总结 数据扩充是深度学习模型训练前的必须一步，此操作可扩充训练数据集，增强数据多样性，防止模型过拟合 一些简单的数据扩充方法为：图像水平翻转、随即扣取、尺度变换、旋转变换、色彩抖动等 数据预处理 在计算机视觉和数据挖掘领域 在上一步的数据扩充后，进行数据预处理是模型训练前必不可少的一步。 卷积神经网络中的数据预处理通常是计算训练集图像像素均值，之后在处理训练集、验证集和测试集图像时需要分别减去该均值。 代码如下： import cv2 import numpy as np target_size = (512,512,3) img = cv.imread('xxx.png') img = cv2.cvtColor
89920编辑于 2022-09-05 - 来自专栏程序员的知识天地
数据预处理速度高倍提升，3行python代码简单搞定！
但当我们面临大量数据时，一些问题就会显现…… 目前，大数据（Big Data）这个术语通常用于表示包含数十万数据点的数据集。在这样的尺度上，工作进程中加入任何额外的计算都需要时刻注意保持效率。 在设计机器学习系统时，数据预处理非常重要——在这里，我们必须对所有数据点使用某种操作。 在默认情况下，Python 程序是单个进程，使用单 CPU 核心执行。 这意味着如果没有进行优化，在数据预处理的时候会出现「一核有难九核围观」的情况——超过 50% 的算力都会被浪费。 通过使用 Python 的 concurrent.futures 模块，我们只需要 3 行代码就可以让一个普通的程序转换成适用于多核处理器并行处理的程序。 ? 使用 for 循环逐个处理每个数据，然后在每个循环迭代上运行预处理。
67820发布于 2018-12-24 - 来自专栏相约机器人
技巧 | 3 行代码让 Python 数据预处理提速 6 倍！
在考虑机器学习系统的效率时，经常被忽视的一个关键步骤就是预处理阶段，我们必须对所有数据点进行某种预处理操作。 默认情况下，Python程序使用单个CPU作为单个进程执行。 这意味着，对于2个CPU内核的示例，在运行预处理时，50％或更多的计算机处理能力在默认情况下不会做任何事情！当你使用4核（ Intel i5）或6核（ Intel i7）时，就更浪费了。 感谢Python的concurrent.futures模块，只需3行代码就可以将一个普通程序转换为一个可以跨CPU核心并行处理数据的程序。 ? 这个程序遵循在数据处理脚本中经常看到的简单模式： 首先是要处理的文件（或其他数据）列表； 你可以使用for循环逐个处理每个数据片段，然后在每个循环迭代上运行预处理 让我们在一个包含1000个jpeg文件的文件夹上测试这个程序 我们只需修改3行代码。 ? 上面的代码中的： ? 你有多少CPU核心就启动多少Python进程，在我的例子中是6个。实际的处理代码是这样的： ?
1.2K40发布于 2019-06-21 - 来自专栏JNing的专栏
深度学习: 数据预处理
Introduction 数据预处理 主要分为 数据归一化 和 PCA/ZCA白化 两种方法。 数据预处理 的 时序位置 在数据扩充之后，模型训练之前： 数据采集 –> 数据标记 –> 数据扩充 –> 数据预处理 –> 模型训练 数据归一化 包括 简单缩放 和 规范化 。 简单缩放 为了使得最终的数据向量落在 [0，1] 或 [ -1，1] 的区间内（根据数据情况而定）。 Code 数据归一化 的 具体实现代码 参见我的另一篇文章：图像预处理: 规范化 。 ---- [1] 图像预处理: 规范化 [2] 数据预处理-UFLDL
1.6K40发布于 2018-09-27 - 来自专栏韩曙亮的移动开发专栏
【商务智能】数据预处理
商务智能系列文章目录 【商务智能】数据预处理 ---- 文章目录 商务智能系列文章目录 前言 一、数据预处理主要任务 二、数据规范方法 1、z-score 规范化 2、最小-最大规范化 三、数据离散方法 1、分箱离散化 2、基于熵的离散化 总结 ---- 前言 在进行数据分析之前 , 先要对数据进行预处理操作 , 本篇博客简要介绍常用的数据预处理方法 ; 一、数据预处理主要任务 数据预处理主要任务 : ① 数据离散化 : 分箱离散化 , 基于熵的离散化 , ChiMerge 离散化 ; ② 数据规范化 : 又称数据标准化 , 统一 样本数据的 取值范围 , 避免在数据分析过程中 , 因为属性取值范围不同 , 在数据分析过程中导致分析结果出现误差 ; 如 : 时间属性的数值 , 有用秒作为单位的 , 有用小时作为单位的 , 必须统一成同一个时间单位 ; ③ 数据清洗 : 识别 和 处理 数据缺失 , 噪音数据 ( 信息与熵 | 总熵计算公式 | 每个属性的熵计算公式 | 信息增益计算公式 | 划分属性确定 ) 博客 ; ---- 总结 本博客主要讲解数据预处理需要进行的操作 , 数据规范化 , 数据离散化
4.6K30编辑于 2023-03-29 - 来自专栏数据分析与挖掘
【colab pytorch】数据预处理
1、计算数据集的均值和方差 import os import cv2 import numpy as np from torch.utils.data import Dataset from PIL import std = (std_b.item() / 255.0, std_g.item() / 255.0, std_r.item() / 255.0) return mean, std 2、得到视频数据的基本信息 num_frames = int(video.get(cv2.CAP_PROP_FRAME_COUNT)) fps = int(video.get(cv2.CAP_PROP_FPS)) video.release() 3、 num_frames))))[0] assert frame_indices.size() == (K,) return [frame_indices[i] for i in range(K)] 4、常用训练和验证数据预处理
42930发布于 2020-08-26 - 来自专栏机器学习与统计学
Python数据预处理概述
Python数据预处理概述 对于数据分析而言，数据是显而易见的核心。 但是并不是所有的数据都是有用的，大多数数据参差不齐，层次概念不清淅，数量级不同，这会给后期的数据分析和数据挖掘带来很大的麻烦，所以有必要进行数据预处理。 通常数据预处理包括：数据清洗、数据集成、数据变换、数据规约。 射频识别领域的数据清洗研究 3.数据清洗的原理 通过分析脏数据的产生原因及存在形式，对数据的过程进行考察、分析，并总结出一些方法(数理统计、数据挖掘或预定义规则)，将脏数据转化为满足数据质量要求的数据 异常数据处理：异常数据的探测主要有基于统计学、基于距离和基于偏离3类方法。 逻辑错误检测：主要有统计法、聚类方法和关联规则方法。
1.3K20发布于 2019-04-10 - 来自专栏深度学习之tensorflow实战篇
keras之数据预处理
数据填充pad_sequences from keras.preprocessing.sequence import pad_sequences keras.preprocessing.sequence.pad_sequences 大于此长度的序列将被截短，小于此长度的序列将在后部填0. dtype：返回的numpy array的数据类型 padding：‘pre’或‘post’，确定当需要补0时，在序列的起始还是结尾补 truncating tf import numpy as np pad_sequence = tf.contrib.keras.preprocessing.sequence.pad_sequences a=[[1,2,3] = pad_sequence(a,maxlen=4,padding='pre',truncating='pre',value = 0) print(bs_packed) 输出： [[0 1 2 3]
2.1K70发布于 2019-01-25 - 来自专栏医学和生信笔记
tidymodels菜谱：数据预处理
在前面的推文中我们介绍了数据预处理的重要性以及演示了caret包中的数据预处理方法： 预测建模常用的数据预处理方法 R语言机器学习caret-02：数据预处理 一定要先看上两篇推文，因为一些方法解释和原理都在前面解释过 今天列举常见的数据预处理方法，使用recipes包。 这个包是tidymodels的一部分，专门用于数据预处理，是非常重要的一个部分，并且也包含部分特征选择的函数。 本文将会介绍recipes的基本用法以及一些常用的数据预处理方法实现。 ()结尾，接着使用bake()函数，执行这些数据预处理步骤。 后面会继续为大家介绍mlr3中的数据预处理方法。
57520编辑于 2023-08-30 - 来自专栏Python与算法之美
5，数据的预处理
预处理数据包括：特征的标准化，数据的正则化，特征的二值化，非线性转换，数据特征编码，缺失值插补,生成多项式特征等。 数据预处理的api有两种接口，一种是类接口，需要先fit再transform，或者使用fit_transform。 第二种是函数接口，可以直接转换。 通常使用"one-hot"方式编码后会增加数据的维度和稀疏性。 ? 五，处理缺失值 因为各种各样的原因，真实世界中的许多数据集都包含缺失数据，这类数据经常被编码成空格、NaN，或者是其他的占位符。 但是这样的数据集并不能和scikit-learn学习算法兼容。 使用不完整的数据集的一个基本策略就是舍弃掉整行或整列包含缺失值的数据。但是这样就付出了舍弃可能有价值数据（即使是不完整的 ）的代价。 处理缺失数值的一个更好的策略就是从已有的数据推断出缺失的数值。 ? 六，生成多项式特征 在机器学习中，通过增加一些输入数据的非线性特征来增加模型的复杂度通常是有效的。
73932发布于 2020-07-17 - 来自专栏全栈程序员必看
MODIS 数据产品预处理
MODIS 数据产品预处理 1 MCTK重投影 第一步：安装ENVI的MCTK扩展工具 解压压缩包，将其中的mctk.sav与modis_products.scsv文件复制到如图所示，相应的ENVI 在MODIS Conversion Toolkit(MCTK)工具栏中，点击Input HDF按钮加载将要进行处理的MODIS数据文件（后缀名为 .hdf ）。加载数据后如图所示。 （不同的数据产品中有很多个子集，具体选什么，根据自身需要选择）。 2 数据重采样 首先将要进行重采样的数据打开，然后在ENVI中右边的工具栏处，打开Raster Management工具包。选择其中的Resize Data工具如图所示。 3 研究区提取 打开要提取的文件与研究区的面矢量图。 在ENVI中右边的工具栏处，打开Regions of Interest工具包。
2.9K31编辑于 2022-09-02 - 来自专栏智能大数据分析
【机器学习数据预处理】数据准备
假设数据服从正态分布，一组数据中若与平均值的偏差超过两倍标准差的数据成为异常值，称为四分位距准则（IQR）；与平均值的偏差超过3倍标准差的数据成为高度异常的异常值，称为3б原则。 默认为1 三、数据清洗 数据清洗是数据预处理中的过程，是发现并改正数据中可识别的错误的最后一道程序，目的是过滤或修改不符合要求的数据，主要包括删除原始数据中的无关数据、重复数据，平滑噪声数据，处理缺失值 无默认值 （二）缺失值处理 缺失值处理的方法可以分为3种，删除、数据插补和不处理。 1. 删除对象中的空值 Pandas DataFrame.dropna(how=‘any’, inplace=False) how参数为删除空值的方式，默认为any，表示删除全部空值 （三）异常值处理 在数据预处理时 无默认值 sort 根据连接键对合并后的数据进行排序，默认为True 3.
1.2K10编辑于 2025-01-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号