- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习与统计学
7步搞定数据清洗－Python数据清洗指南
数据清洗是整个数据分析过程的第一步，就像做一道菜之前需要先择菜洗菜一样。数据分析师经常需要花费大量的时间来清洗数据或者转换格式，这个工作甚至会占整个数据分析流程的80%左右的时间。 在这篇文章中，我尝试简单地归纳一下用Python来做数据清洗的7步过程，供大家参考。 # 可以让你更好地了解哪些列缺失的数据更多，从而确定怎么进行下一步的数据清洗和分析操作。 DataDF.isnull().sum().sort_values(ascending=False) ? 缺失值有3种： 1）Python内置的None值 2）在pandas中，将缺失值表示为NA，表示不可用not available。 后面出来数据，如果遇到错误：说什么float错误，那就是有缺失值，需要处理掉 所以，缺失值有3种：None，NA，NaN 那None和NaN有什么区别呢： None是Python的一种数据类型， NaN
5.6K20发布于 2019-07-22 - 来自专栏Python疯子
python数据清洗
数据的质量直接关乎最后数据分析出来的结果，如果数据有错误，在计算和统计后，结果也会有误。 所以在进行数据分析前，我们必须对数据进行清洗。 需要考虑数据是否需要修改、如何修改调整才能适用于之后的计算和分析等。 数据清洗也是一个迭代的过程，实际项目中可能需要不止一次地执行这些清洗操作。 如果数据不存在或不符合数值规则 用nan填充 delimiter 以什么符号进行分割 skiprows=12 跳过开头12行 数据是从第13行开始的 usecols 就是获取下标为6，7列 的内容 =',', usecols=(6,7), unpack=True) # 读取后的数据类型：numpy.ndarray 缺省数据处理 01 直接填充 适合格式 DataFrame， numpy.ndarray ，没有头标签的要加上header, header=None 否则数据显示有问题 数据被会names(列标签)占用，可以先读取，获取 行和列，如果没有头标签，再设置names标签 其他参数： 文件读取部分数据
3.2K20发布于 2018-09-06 - 来自专栏AI研习社
Python数据清洗实践
“数据科学家们80%的精力消耗在查找、数据清理、数据组织上，只剩于20%时间用于数据分析等。”——IBM数据分析 数据清洗是处理任何数据前的必备环节。 在你开始工作前，你应该有能力处理数据缺失、数据不一致或异常值等数据混乱情况。在开始做数据清洗前，需要对Numpy和Pandas库有基本的理解。 数据清洗 数据清洗名如其意，其过程为标识并修正数据集中不准确的记录，识别数据中不可靠或干扰部分，然后重建或移除这些数据。 数据清洗是数据科学中很少提及的一点，因为它没有训练神经网络或图像识别那么重要，但是数据清洗却扮演着非常重要的角色。没有它，机器学习预测模型将不及我们预期那样有效和精准。 请查看以下链接，以查找有助于您进行Python数据科学之旅的其他资源： Pandas文档 Numpy文档 Python数据科学简介。对于那些以前没有数据科学知识的初学者来说，这是一门很棒的课程。
2.3K30发布于 2019-05-13 - 来自专栏AI研习社
Python数据清洗实践
“数据科学家们80%的精力消耗在查找、数据清理、数据组织上，只剩于20%时间用于数据分析等。”——IBM数据分析 数据清洗是处理任何数据前的必备环节。 在你开始工作前，你应该有能力处理数据缺失、数据不一致或异常值等数据混乱情况。在开始做数据清洗前，需要对Numpy和Pandas库有基本的理解。 数据清洗 数据清洗名如其意，其过程为标识并修正数据集中不准确的记录，识别数据中不可靠或干扰部分，然后重建或移除这些数据。 数据清洗是数据科学中很少提及的一点，因为它没有训练神经网络或图像识别那么重要，但是数据清洗却扮演着非常重要的角色。没有它，机器学习预测模型将不及我们预期那样有效和精准。 请查看以下链接，以查找有助于您进行Python数据科学之旅的其他资源： Pandas文档 Numpy文档 Python数据科学简介。对于那些以前没有数据科学知识的初学者来说，这是一门很棒的课程。
2.8K20发布于 2019-03-14 - 来自专栏全栈程序员必看
python中数据清洗_dropon
实际应用中，在得到原始数据时，经常碰到数据缺失问题，对数据进行加工或清洗就非常有必要了 import numpy as np from numpy import nan import pandas as pritn(data.notnull()) ### 查看data是否有缺失值（空值），True无缺失值 输出结果： 0 1 2 3 a 3 4 5 6 b 7 根据索引(index)删除指定的行 print(data.drop(1,axis=1) ### axis=1,根据列名(columns)删除指定的列 0 1 2 3 b 7 8 9 10 c 11 12 13 14 d 15 16 17 18 0 2 3 a 3 5 6 b 7 9 10 c 11 13 14 8 9 10 d 15 16 17 18 0 2 a 3 5 b 7 9 c 11 13 d 15 17 data.iloc[0:2,0:3]=nan
75620编辑于 2022-09-30 数据清洗必看的7个要点
所以说数据清洗是件不可或缺的过程，把数据清洗做好了，数据质量就上来了，分析结果也就准确了。如果没有数据清洗，那么后续的分析就像在沙子上盖高楼，地基不稳极容易倒塌。 本文就从数据清洗的几个要点入手，来讲讲数据清洗到底需要洗什么。要点一：了解手头上的数据在动手清洗之前，最重要的一步是什么？是彻底地了解你手头的数据。 数据范围检查： 性别是否只有预设选项？这里可以编写简单的断言语句来自动化这些检查。如果没有通过检查，就说明你的清洗过程还有漏洞。 总结以上就是数据清洗的七个核心要点，相信你看了这篇文章，对数据清洗的过程有了一个整体的把握，或许你会问：数据清洗的步骤怎么多，要每一步都做吗？ 最主要的是，高质量的数据清洗直接决定了你的分析结论是否准确、可靠，并且还能为你后续的任务中节省出大把时间。
39300编辑于 2025-09-30- 来自专栏有趣的Python和你
Python数据分析之数据清洗
good data decides good analyse 数据清洗，是数据分析中不可缺少的一个环节，其处理的好坏在很大程度上影响着数据分析的结果。 而且以前听老师说过数据清洗占整个的数据分析的一半时间以上（汗。。。数据清洗也是一个大学问啊）。 我们通过isnull函数查看数据的空缺值： test.isnull() ? 通过下面命令计算每列数据的空缺值： test.isnull().sum() ? 对于不符合常理的数据也可进行设置为空缺值： test1 = pd.read_excel('C:/Users/luopan/Desktop/test.xlsx',sheetname='Sheet1',na_values
78430发布于 2018-08-28 - 来自专栏算法channel
清洗数据，我习惯用这 7 步！
数据清洗 (data cleaning) 是机器学习和深度学习进入算法步前的一项重要任务，我平时比较习惯使用的 7 个步骤，总结如下： Step1 : read csv Step2 : preview Step6: encode for categories columns Step 6.1: Sklearn LabelEncode Step 6.2: Pandas get_dummies Step 7: check for data cleaning 今天使用泰坦尼克数据集，完整介绍以上 7 步的具体操作过程。 1 读入数据 这不废话吗，第一步就是读入数据。 data_raw = pd.read_csv('.. Patrick male 32.0 0 0 370376 7.7500 NaN Q 891 rows × 12 columns 2 数据预览 data_raw.info() data_raw.describe
57950发布于 2020-04-01 - 来自专栏正则
python爬虫-- MongoDB和数据清洗
1 导入职位数据到MongoDB中 1.1 通过. /mongoimport命令导入数据（pwd是你的mongo安装路径） #开启数据库后台服务，指定数据库位置，以及打印日志位置 #注意是在超级用户权限下 sh-3.2# . 显示数据库中的集合（类似关系数据库中的表） db.dropDatabase() 删除当前使用的数据库 use <db name> 切换当前数据库 02 爬取岗位介绍和要求 2.1 获取岗位详情页面链接 /1b05e1c6159a5c641Xd53Nu7FFQ~.html https://www.zhipin.com/job_detail/31651720be45f7991Xd53dy5EFM~.html 爬取岗位详情成功~ 03 清洗数据 将salary拆分成low，high，avg 将发布时间统一成2018-07-xx格式 将工作经验统一成直聘格式，并且设置对应的level等级 以上完全按照原链接中的方法完成的
1.2K41发布于 2021-11-01 - 来自专栏【计网】Cisco
【Python】机器学习之数据清洗
1.2 数据清洗 数据清洗，曲调优美的数据魔法，是数据分析与机器学习的不可或缺篇章。 数据清洗，是数据分析的星光耀眼的序幕，因为原始数据集可能蕴含各种幽灵，而这些隐患将影响最终分析和建模的辉煌表演。通过巧妙的数据清洗，数据的可靠性得以提升，为分析和模型的绚丽演绎打下坚实基石。 数据清洗 2.1 研究目的 （1）了解数据清洗的重要性； （2）掌握数据清洗基本方法。 ; 图5 代码： data1.info() #整体查看数据类型,根据数量查看是否缺失 2.4.3 删除缺失率过高的变量; 图6 运行结果 图7 代码： # 定义查找缺失变量函数，返回缺失值率 在实验中，探索了数据清洗的精髓和关键步骤，明白了数据清洗的不可或缺。
1.4K10编辑于 2024-02-20 - 来自专栏学习成长指南
python数据处理和数据清洗
1.库的相关简介 python里面是通过模块体现库的，可以降低程序员的使用成本，提高程序的开发效率； 标准库：官方提供的； 第三方库：其他的大佬做出来的（数量庞大）; 2.数据处理之添加新列 import ，对于海量的数据，我们可能会根据这个已知的数据添加新的变量之类的，这个新的变量就是我们通过已知的数据得到的新的数据变量； 在上面这个案例里面，我们通过一个店铺的口味评分和人均消费凝练出来一个性价比评分作为新的数据变量 6.1背景介绍 脏数据包括异常值，缺失值和重复值，把脏数据筛选出来，进行修正，填补的工作的过程，就是数据的清洗； 我们想要去处理这些脏的数据，就要首先导入这个pandas模块，进行文件的读取，然后进行这个数据集的格式转换 ，把这个订单的两个时间全部转换为时间格式：使用to_datatime函数； 7.数据清洗 7.1快速浏览数据 我们上面已经完成了准备的工作，就是把这个相关的单位进行修正，和我们的这个时间序列的转换 下面我们使用这个 我们可以使用insull函数：找到一列里面每一行的数据是否缺失； 8.分类对于缺失的数据进行处理 数据缺失了怎么办，直接删除还是补全，针对于这个数据的多少和数据的重要程度，我们需要分情况进行处理； 如果是对于我们的研究很重要的数据
57310编辑于 2025-02-24 - 来自专栏数据处理与分析
数据清洗
数据清洗 一般义的清洗 特殊字符 在数据清洗中最常见的就是特殊字符，一般的特殊字符可以直接替换掉如地址码中最常见的’#’，像这种直接替换为号即可。 错/别字处理 错别字问题在数据清洗中是难度比较大的一部分工作，在这部分工作中，首先要找出错别字，并建立错别字对应的正确字符串的对应关系，然后使用程序批量的完成替换 空值检测 空值是要在数据清洗中过滤掉的 清洗中常用的工具与技术 如果要做地理数据的相关处理，那么FME是应该首选工具，当然，清洗也属于数据处理的范畴。 但是前面提到的一些清洗，用FME实现的话会比较困难，比如：全角半角的问题的处理，又或者，简体转繁体，又或者汉语转拼音。所以除了FME还需要一些其他的技术，比如说：Python。 但在进行数据处理的时候，要秉承一个原则，在有选择的时候，能少些代码就少些代码！ 综上，在数据清洗中，能够掌握FME与Python基本就够了，如果你还会点正则，那就基本上是完美了！
2.1K20发布于 2019-07-31 - 来自专栏网络技术联盟站
如何使用Python进行数据清洗？
在进行数据分析和建模之前，数据清洗是一个必要的步骤。数据清洗是通过处理和转换原始数据，使其变得更加规范、准确和可用于分析的过程。Python提供了丰富的库和工具，使数据清洗变得更加高效和便捷。 本文将详细介绍数据清洗的概念、常见的数据质量问题以及如何使用Python进行数据清洗。图片1. 数据清洗概述数据清洗是数据预处理的重要环节，它包括数据收集、数据整理、数据转换等步骤。 使用Python进行数据清洗Python提供了丰富的开源库和工具，便于进行数据清洗。以下是几个常用的Python库：Pandas：Pandas是一个强大的数据分析库，内置了许多数据清洗的功能。 使用这些Python库，可以进行数据清洗的各个方面的操作。 本文介绍了数据清洗的概念、常见的数据质量问题以及使用Python进行数据清洗的方法。通过合理运用Python的数据分析库，可以高效、方便地进行数据清洗工作。
1.3K30编辑于 2023-07-04 - 来自专栏数据开发笔记
python数据清洗中的时间转换
Python python数据清洗中的时间转换 最近在爬取微博和B站的数据作分析，爬取的过程中首先遇到的是时间转换问题 B站 b站的时间数据是是以时间戳的 我们可以直接转换成我们想要的格式 time.localtime 然后再time.strftime()格式化想要的格式 time.strftime("%Y-%m-%d",time.localtime(i.get('created'))) 看下效果 微博 微博抓取的数据时间戳 +0800 2021' a=time.strftime("%Y-%m-%d ",time.strptime(str,"%a %b %d %H:%M:%S +0800 %Y")) print(a) python
1.3K20编辑于 2022-01-17 【数据清洗】
数据清洗是数据预处理中非常重要的一部分，下面是一个简单的示例代码，展示了如何进行数据清洗： import pandas as pd # 读取数据 data = pd.read_csv('data.csv 最后将清洗后的数据保存到了一个新的文件中。 = df.reset_index(drop=True) # 显示清洗后的数据 print("\n清洗后的数据：") print(df) 这段代码首先创建了一个包含数据的 DataFrame，然后删除了包含空值的行和重复的行 ，最后重置了索引并输出清洗后的数据。 你可以根据实际需求修改和扩展这段代码来完成更复杂的数据清洗任务。
26510编辑于 2025-08-29- 来自专栏全栈程序员必看
python可以自动回收垃圾吗_python 数据清洗
python中也同java一样采用了垃圾回收机制，不过不一样的是：python采用的是引用计数机制为主，标记清除和分代回收两种机制为辅的策略 1.引用计数器 python里一切皆对象，它们的核心就是一个结构体 (700, 10, 10) (698, 4, 1) new object:born at 0x7fc5b8a153d0 new 0x7fc5b8896790被系统回收 0x7fc5b8a0a7d0被系统回收 0x7fc5b8a0a810被系统回收 0x7fc5b8a0a850被系统回收 ..... object:born at 0x7fc5b8896790 (700, 10, 10) (0, 5, 1) int类型，不是基于free_list，而是维护一个small_ints链表保存常见数据（小数据池），小数据池范围：-5 <= value < 257。 另外，small_ints中的数据引用计数器永远不会为0（初始化时就设置为1了），所以也不会被销毁。
99220编辑于 2022-09-19 - 来自专栏不温卜火
数据清洗 Chapter01 | 数据清洗概况
这篇文章讲述的是数据存储方式和数据类型等基本概念、数据清洗的必要性和质量评价的关键点。希望这篇数据清洗的文章对您有所帮助！ Python中布尔类型对应两个布尔值：True和False，分别对应1和0 ? 二、数据清洗 1、什么是数据清洗 脏数据 ? 数据记录的重复情况 6、易用性和可维护性 考察数据的使用与访问情况，以及数据的更新，维护状况 7、相关性和可信度 考察数据与相关业务的相关情况，参考数据的实用性 8、数据冗余 考察数据集特征之间的相关性 1、数据初步处理 使用Python的标准库或者第三方库读入数据，或者将数据读入数据库 使用数据可视化手段观察数据的取值分布情况 对数据进行整合或分组 2、缺失值处理 确定缺失值的范围，以及所站比例
2.1K31发布于 2020-10-28 机器学习：数据清洗与预处理 | Python
个人主页-爱因斯晨 文章专栏-Python学习 前言 我们不论在学习机器学习还是数据分析中，都会涉及很多数据。但原数据不可避免有很多杂志，为了确保结果的准确性，我们需要首先进行数据清洗和预处理。 了解数据清洗 数据清洗就像是一场数据的“大扫除”。它是从原始数据中找出并修正那些错误、不完整、重复或不一致的数据。 通过数据清洗，能显著提升数据质量，为后续数据分析、挖掘和建模等工作提供准确、可靠、干净的数据基础，从而让基于数据得出的结论更具可信度和价值。 数据清洗的步骤 1. 异常值处理策略：删除（适用于错误数据）、截断（替换为边界值）、转换（如对数转换）。 7. 最后以鸢尾花数据集为例实践，经各环节处理后保存清洗数据。整体内容系统全面，理论与实践结合，助读者掌握数据清洗与预处理的关键要点和操作。
72610编辑于 2025-07-20- 来自专栏全栈程序员必看
pandas数据清洗详细教程_excel数据清洗工具
Pandas 数据清洗常见方法 01 读取数据 df=pd.read_csv('文件名称') 02 查看数据特征 df.info() 03 查看数据量 df.shape 04 查看各数字类型的统计量 df.describe ('店名')['销售额'].sum().sort_values 12 遍历查看数据集所有列的数据类型 cols=df_tm.columns for col in cols: print(col+':' +str(df_tm[col].dtype)) 13 转换数据类型 df['列名']=df.列名.astype('int') 01 去掉温度列后的℃，并将数据转为int类型 df.loc[:,'bwendu ']=df['bwendu'].str.replace('℃','').astype('int32') 02 对某列数据转换类型 data['列名']=data['列名'].astype(int) 14 删除指定列中有空值的行 mydf.dropna(subset=['列名'],inplace=True) mysf=mydf.dropna(subset=['列名']) 15 过滤某列中不符合类型的数据
1.6K10编辑于 2022-10-04 - 来自专栏早起Python
python数据分析之清洗数据：缺失值处理
在使用python进行数据分析时，如果数据集中出现缺失值、空值、异常值，那么数据清洗就是尤为重要的一步，本文将重点讲解如何利用python处理缺失值 创建数据 为了方便理解，我们先创建一组带有缺失值的简单数据用于讲解 或者使用data.info()来检查所有数据 ? 可以看到一共有7行，但是有两列的非空值都不到7行 缺失值处理 一种常见的办法是用单词或符号填充缺少的值。例如，将丢失的数据替换为'*'。 真实数据实战 上面我们用自己创建的数据进行示例，那么在这一节我们看在真实的数据分析案例数据来进行缺失值处理。 使用的数据为之前文章使用过的NBA数据(可以查看早起python历史文章获取数据与更多分析)，我们先导入数据并检查缺失值 ? 可以看到只剩下5424条数据，但是这种形式的数据清洗对数据集没有意义的，因为notes只是记录了一些比赛的说明，缺少注释对分析NBA来说不会有太大影响。
2.5K20发布于 2020-04-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号