- 综合排序
- 最热优先
- 最新优先
数据清洗怎么做？一文总结8大数据清洗方法
数据清洗就是把原始数据里的错误改掉、把格式标准统一、补齐缺失的部分，最终让数据完整、统一、真实有效，能直接拿来分析、建模。 很多人花大量时间研究模型、算法，可真到了实际项目里，卡住他们的往往不是模型选的对不对，而是数据不干净、不能用。今天我给大家总结了最实用的8大数据清洗方法，能帮你解决绝大多数场景下的数据问题。 一、处理缺失值原始数据采集过程中，受采集设备故障、人工录入疏漏、数据源不完整等因素影响，必然会出现数据缺失的情况，这是数据清洗中最基础、最常见的问题。 八、处理文本数据如果你的数据里有文本字段，清洗的工作量会比结构化数据大不少。文本清洗的基本流程通常包括以下几步：去除噪声：删除HTML标签、特殊符号、多余的空格和换行符，统一全半角字符。 最后数据清洗不是一次性的工作，而是一个需要反复迭代的过程。在清洗数据的过程中，会不断发现新的问题，对数据的理解也会越来越深。数据清洗做扎实了，后面的分析和建模才有意义。
2.3K11编辑于 2026-03-19- 来自专栏机器学习与统计学
8个用于数据清洗的Python代码
数据清洗，是进行数据分析和使用数据训练模型的必经之路，也是最耗费数据科学家/程序员精力的地方。 这些用于数据清洗的代码有两个优点：一是由函数编写而成，不用改参数就可以直接使用。 涵盖8大场景的数据清洗代码 这些数据清洗代码，一共涵盖8个场景，分别是： 删除多列、更改数据类型、将分类变量转换为数字变量、检查缺失数据、删除列中的字符串、删除列中的空格、用字符串连接两列（带条件）、转换时间戳 当数据集变大时，需要转换数据类型来节省内存。 同时，你也可以保留分类变量，以便进行数据可视化。 可以让你更好地了解哪些列缺失的数据更多，从而确定怎么进行下一步的数据清洗和分析操作。
1.4K60发布于 2019-08-30 - 来自专栏Python小课堂
8个Python数据清洗代码，拿来即用
不管你承不承认，数据清洗着实不是一件简单的任务，大多数情况下这项工作是十分耗时而乏味的，但它又是十分重要的。 如果你经历过数据清洗的过程，你就会明白我的意思。 而这正是撰写这篇文章的目的——让读者更轻松地进行数据清洗工作。 事实上，我在不久前意识到，在进行数据清洗时，有一些数据具有相似的模式。 数据清洗小工具箱 在下面的代码片段中，数据清洗代码被封装在了一些函数中，代码的目的十分直观。你可以直接使用这些代码，无需将它们嵌入到需要进行少量参数修改的函数中。 1. 这种方法可以让你更清楚地知道哪些列有更多的缺失数据，帮助你决定接下来在数据清洗和数据分析工作中应该采取怎样的行动。 5. 例如，你希望当第一列以某些特定的字母结尾时，将第一列和第二列数据拼接在一起。根据你的需要，还可以在拼接工作完成后将结尾的字母删除掉。 8.
1.2K10编辑于 2022-01-12 - 来自专栏CDA数据分析师
分享 | 8条数据清洗经验，收藏备用！
数据给你了，那就要处理，但这些数据可能经常是： 1、不完整的（某些记录的某些字段缺失） 2、前后不一致（字段名和结构前后不一） 3、数据损坏（有些记录可能会因为种种原因被破坏） 因此，你必须经常维护你的清洗程序来清洗这些原始数据 断点清洗 如果你有大量的原始数据需要清洗，要一次清洗完可能需要很久，有可能是5分钟，10分钟，一小时，甚至是几天。实际当中，经常在洗到一半的时候突然崩溃了。 在一部分数据上进行测试 不要尝试一次性清洗所有数据。当你刚开始写清洗代码和debug的时候，在一个规模较小的子集上进行测试，然后扩大测试的这个子集再测试。 这样做能够让原始数据作为一个字段保存在清洗后的数据当中，在清洗完之后，如果你发现哪条记录不对劲了，就能够直接看到原始数据长什么样子，方便你debug。 最后一点，验证清洗后的数据 记得写一个验证程序来验证你清洗后得到的干净数据是否跟你预期的格式一致。你不能控制原始数据的格式，但是你能够控制干净数据的格式。
1.3K50发布于 2018-02-23 - 来自专栏数据处理与分析
数据清洗
数据清洗 一般义的清洗 特殊字符 在数据清洗中最常见的就是特殊字符，一般的特殊字符可以直接替换掉如地址码中最常见的’#’，像这种直接替换为号即可。 全角半角转换 数据由于来源或采集问题，可能会有全角的数字或字母，而一般的系统都不会允许有这种问题，所以需要将这些问题在清洗步骤中处理掉。 错/别字处理 错别字问题在数据清洗中是难度比较大的一部分工作，在这部分工作中，首先要找出错别字，并建立错别字对应的正确字符串的对应关系，然后使用程序批量的完成替换 空值检测 空值是要在数据清洗中过滤掉的 清洗中常用的工具与技术 如果要做地理数据的相关处理，那么FME是应该首选工具，当然，清洗也属于数据处理的范畴。 但在进行数据处理的时候，要秉承一个原则，在有选择的时候，能少些代码就少些代码！ 综上，在数据清洗中，能够掌握FME与Python基本就够了，如果你还会点正则，那就基本上是完美了！
2.3K20发布于 2019-07-31 【数据清洗】
数据清洗是数据预处理中非常重要的一部分，下面是一个简单的示例代码，展示了如何进行数据清洗： import pandas as pd # 读取数据 data = pd.read_csv('data.csv 最后将清洗后的数据保存到了一个新的文件中。 = df.reset_index(drop=True) # 显示清洗后的数据 print("\n清洗后的数据：") print(df) 这段代码首先创建了一个包含数据的 DataFrame，然后删除了包含空值的行和重复的行 ，最后重置了索引并输出清洗后的数据。 你可以根据实际需求修改和扩展这段代码来完成更复杂的数据清洗任务。
41610编辑于 2025-08-29- 来自专栏流川疯编写程序的艺术
大数据ETL实践探索（8）---- 数据清洗的目的，方法
、展示、分析 数据清洗的步骤 第0步：数据导入及元数据处理 第一步：缺失值清洗 第二步：格式内容清洗 第三步：逻辑错误清洗 第四步：非需求数据清洗 第五步：关联性验证 数据采集建议 一行代码探索性数据分析 文章链接：统一数据接入实践分享 ---- 数据清洗的目的 数据清洗， 是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。 在实际操作中，数据清洗通常会占据分析过程的50%—80%的时间。 数据清洗的目的从两个角度来讲： 一、是为了解决数据质量问题 二、是让数据更适合做挖掘、展示、分析 ? 让数据更适合做挖掘、展示、分析，有以下一些手段对数据进行清洗。 这个步骤对于批处理，文件交换的方式通常比较会引起问题是文件编码，推荐统一使用UTF-8编码。
5.9K11发布于 2019-10-22 - 来自专栏不温卜火
数据清洗 Chapter01 | 数据清洗概况
这篇文章讲述的是数据存储方式和数据类型等基本概念、数据清洗的必要性和质量评价的关键点。希望这篇数据清洗的文章对您有所帮助！ 二、数据清洗 1、什么是数据清洗 脏数据 ? 数据清洗在大数据分析流程中的位置 ? 2、为什么要进行数据清洗 从不同渠道获得的数据，集成在一起，组成新的数据集，需要进行数据清洗，来保证数据集的质量 数据分析算法对输入的数据集有要求 显示情况下的数据集质量不禁如人意，需要数据清洗 3、数据存在的问题 数据记录的重复情况 6、易用性和可维护性 考察数据的使用与访问情况，以及数据的更新，维护状况 7、相关性和可信度 考察数据与相关业务的相关情况，参考数据的实用性 8、数据冗余 考察数据集特征之间的相关性
2.3K31发布于 2020-10-28 - 来自专栏机器学习算法与Python学习
代码工具 | 数据清洗，试试这 8套Python代码
原作 Kin Lim Lee 乾明 编译整理 量子位 出品 | 公众号 QbitAI 数据清洗，是进行数据分析和使用数据训练模型的必经之路，也是最耗费数据科学家/程序员精力的地方。 这些用于数据清洗的代码有两个优点：一是由函数编写而成，不用改参数就可以直接使用。二是非常简单，加上注释最长的也不过11行。 在介绍每一段代码时，Lee都给出了用途，也在代码中也给出注释。 涵盖8大场景的数据清洗代码 这些数据清洗代码，一共涵盖8个场景，分别是： 删除多列、更改数据类型、将分类变量转换为数字变量、检查缺失数据、删除列中的字符串、删除列中的空格、用字符串连接两列（带条件）、转换时间戳 当数据集变大时，需要转换数据类型来节省内存。 可以让你更好地了解哪些列缺失的数据更多，从而确定怎么进行下一步的数据清洗和分析操作。
1.5K20发布于 2019-11-27 - 来自专栏Python疯子
python数据清洗
数据的质量直接关乎最后数据分析出来的结果，如果数据有错误，在计算和统计后，结果也会有误。 所以在进行数据分析前，我们必须对数据进行清洗。 需要考虑数据是否需要修改、如何修改调整才能适用于之后的计算和分析等。 数据清洗也是一个迭代的过程，实际项目中可能需要不止一次地执行这些清洗操作。 如果数据不存在或不符合数值规则 用nan填充 delimiter 以什么符号进行分割 skiprows=12 跳过开头12行 数据是从第13行开始的 usecols 就是获取下标为6，7列 的内容 ，没有头标签的要加上header, header=None 否则数据显示有问题 数据被会names(列标签)占用，可以先读取，获取 行和列，如果没有头标签，再设置names标签 其他参数： 文件读取部分数据 # data.to_csv("frame8.csv", index=False, header=False, float_format='%.2f') # 如果数据结构中有缺省值NaN时， 在写入文件时要添加设置缺省参数
3.6K20发布于 2018-09-06 - 来自专栏全栈程序员必看
pandas数据清洗详细教程_excel数据清洗工具
Pandas 数据清洗常见方法 01 读取数据 df=pd.read_csv('文件名称') 02 查看数据特征 df.info() 03 查看数据量 df.shape 04 查看各数字类型的统计量 df.describe ('店名')['销售额'].sum().sort_values 12 遍历查看数据集所有列的数据类型 cols=df_tm.columns for col in cols: print(col+':' +str(df_tm[col].dtype)) 13 转换数据类型 df['列名']=df.列名.astype('int') 01 去掉温度列后的℃，并将数据转为int类型 df.loc[:,'bwendu ']=df['bwendu'].str.replace('℃','').astype('int32') 02 对某列数据转换类型 data['列名']=data['列名'].astype(int) 14 删除指定列中有空值的行 mydf.dropna(subset=['列名'],inplace=True) mysf=mydf.dropna(subset=['列名']) 15 过滤某列中不符合类型的数据
1.8K10编辑于 2022-10-04 - 来自专栏机器学习与统计学
7步搞定数据清洗－Python数据清洗指南
数据清洗是整个数据分析过程的第一步，就像做一道菜之前需要先择菜洗菜一样。数据分析师经常需要花费大量的时间来清洗数据或者转换格式，这个工作甚至会占整个数据分析流程的80%左右的时间。 在这篇文章中，我尝试简单地归纳一下用Python来做数据清洗的7步过程，供大家参考。 DataDF = pd.read_csv(fileNameStr,encoding = "utf-8",dtype = str) 2. # 可以让你更好地了解哪些列缺失的数据更多，从而确定怎么进行下一步的数据清洗和分析操作。 DataDF.isnull().sum().sort_values(ascending=False) ? 修改后 四、选择部分子集 这是一个8列*541909行的数据集。 ? ? #选择子集，选择其中一列 subDataDF1=DataDF["InvoiceDate"] ?
6.2K20发布于 2019-07-22 - 来自专栏人工智能LeadAI
数据清洗经验
平时习惯了在某些特定的数据集合上做实验，简单的tokenization、预处理等步骤就足够了。但是在数据越来越大的年代，数据清洗越来越重要，也越来越复杂。 数据给你了，那就要处理，但这些数据可能经常是： 不完整的（某些记录的某些字段缺失） 前后不一致（字段名和结构前后不一） 数据损坏（有些记录可能会因为种种原因被破坏） 因此，你必须经常维护你的清洗程序来清洗这些原始数据 在一部分数据上进行测试 不要尝试一次性清洗所有数据。当你刚开始写清洗代码和debug的时候，在一个规模较小的子集上进行测试，然后扩大测试的这个子集再测试。 这样做能够让原始数据作为一个字段保存在清洗后的数据当中，在清洗完之后，如果你发现哪条记录不对劲了，就能够直接看到原始数据长什么样子，方便你debug。 不过，这样做的坏处就是需要消耗双倍的存储空间，并且让某些清洗操作变得更慢。所以这一条只适用于效率允许的情况下。 验证清洗后的数据 记得写一个验证程序来验证你清洗后得到的干净数据是否跟你预期的格式一致。
1.8K40发布于 2018-03-07 - 来自专栏Python数据科学
8个数据清洗Python代码，复制可用，最长11行
原作 Kin Lim Lee 乾明 编译整理 量子位 出品 | 公众号 QbitAI 最近，大数据工程师Kin Lim Lee在Medium上发表了一篇文章，介绍了8个用于数据清洗的Python代码。 数据清洗，是进行数据分析和使用数据训练模型的必经之路，也是最耗费数据科学家/程序员精力的地方。 这些用于数据清洗的代码有两个优点：一是由函数编写而成，不用改参数就可以直接使用。 涵盖8大场景的数据清洗代码 这些数据清洗代码，一共涵盖8个场景，分别是： 删除多列、更改数据类型、将分类变量转换为数字变量、检查缺失数据、删除列中的字符串、删除列中的空格、用字符串连接两列（带条件）、转换时间戳 当数据集变大时，需要转换数据类型来节省内存。 可以让你更好地了解哪些列缺失的数据更多，从而确定怎么进行下一步的数据清洗和分析操作。
1.1K21发布于 2019-10-31 【Java实现数据清洗】
使用Java实现数据清洗的功能，可以按照以下步骤进行： 读取原始数据文件：使用Java的文件读取功能，读取原始数据文件，并将其存储到内存中，可以使用BufferedReader来逐行读取文件中的数据。 = null) { // 处理每行数据 } reader.close(); 数据清洗：根据具体的清洗逻辑，对每行数据进行处理，可以使用正则表达式或字符串处理方法来解析和验证数据的有效性。 "; } cleanedData = cleanedData.substring(0, cleanedData.length() - 1); // 去除最后一个逗号 // 存储清洗后的数据 或 输出到文件 } 存储清洗后的数据：根据清洗后的数据存储方式，可以选择将数据存储到数据库、写入到新的文件或者输出到控制台。 ，根据具体的清洗需求，可以在第2步的处理循环中添加更多的数据清洗逻辑。
43910编辑于 2025-08-29R语言数据清洗
今天介绍一下数据分析前最重要的一份工作：数据清洗。 辛辛苦苦跑完一个混合模型，结果出来一堆显著，一顿汇报，领导一问： "这个品种的产量负值是怎么回事？" 今天这篇文章，就来聊聊做正式分析之前，那个最容易被忽视、却最容易坑人的环节——数据清洗。 数据清洗是什么？为什么重要？ 有一句话在数据圈广为流传： Garbage in, garbage out. 不清洗直接建模，等于用没洗的菜炒了一道大厨级别的菜，卖相再好，吃了也可能拉肚子。 今天以一份一年10地点、9个品种、4个区组、5个性状的农业试验数据为例，带你过一遍完整的清洗流程。 第五步：异常值检测——揪出混在数据里的捣蛋鬼 这是整个清洗流程的重头戏。 标准化（按需） scale(), Min-Max 9 导出清洗结果 fwrite() 数据清洗这件事，没有一劳永逸的方案，每份数据都有自己的"个性"。
35310编辑于 2026-04-02- # 交易数据来自专栏若尘的技术专栏
数据清洗之 数据筛选
数据常用筛选方法 在数据中，选择需要的行或者列 基础索引方式，就是直接引用 ioc行索引名称或者条件，列索引名称或者标签 iloc行索引位置，列索引位置 import pandas as pd import os import numpy as np os.getcwd() 'D:\\Jupyter\\notebook\\Python数据清洗实战\\数据清洗之数据表处理' os.chdir('D:\\Jupyter \\notebook\\Python数据清洗实战\\数据') df = pd.read_csv('baby_trade_history.csv', encoding='utf-8', dtype={'user_id
1 20121212 8 82830661 19948600790< 1 20121212 8 82830661 19948600790< 2.5K87发布于 2021-05-12来自专栏若尘的技术专栏数据清洗之 数据整理
数据整理 定义 在数据清洗过程中，很多时候需要将不同的数据整理在一起，方便后续的分析，这个过程也叫数据合并 合并方法 常见的合并方法有堆叠和按主键进行合并，堆叠又分为横向堆叠和纵向堆叠，按主键合并类似于 import xlrd import os import pandas as pd import numpy as np os.getcwd() 'D:\\Jupyter\\notebook\\Python数据清洗实战 \\数据清洗之数据表处理' os.chdir('D:\\Jupyter\\notebook\\Python数据清洗实战\\数据') workbook = xlrd.open_workbook('meal_order_detail.xlsx dtype={'user_id': str}) df1 = pd.read_csv('sam_tianchi_mum_baby.csv', dtype={'user_id': str}) # 基本信息数据 th>4
10642245 20130213 0 1.6K117发布于 2021-05-13
爬虫系列：数据清洗
数据清洗 到目前为止，我们都没有处理过那些样式不规范的数据，要么使用的是样式规范的数据源，要么就是放弃样式不符合我们预期的数据。但在网络数据采集中，你通常无法对采集的数据样式太挑剔。 下面我们就通过工具和技术，通过改变代码的编写方式，帮你从源头控制数据凌乱的问题，并且对已经入库的数据经行清洗。 编写代码清洗数据 和编写异常处理代码一样，你应该学会编写预防型代码来处理意外情况。 最后，把内容转换成 UTF-8 格式以消除转义字符。 我们可以定制一些规则让数据变得更规范： 剔除单字符的“单词”，除非这个单词是“a”或“i”； 剔除维基百科的引用标记（方括号包裹的数字，入1） 剔除标点符号 现在“清洗任务”列表变得越来越长，让我们把规则都移出来 本期关于数据清洗就是如上内容，在接下来的内容中我会讲解数据标准化，以及存储的数据如何清洗。
Python数据清洗实践
“数据科学家们80%的精力消耗在查找、数据清理、数据组织上，只剩于20%时间用于数据分析等。”——IBM数据分析 数据清洗是处理任何数据前的必备环节。 在你开始工作前，你应该有能力处理数据缺失、数据不一致或异常值等数据混乱情况。在开始做数据清洗前，需要对Numpy和Pandas库有基本的理解。 数据清洗 数据清洗名如其意，其过程为标识并修正数据集中不准确的记录，识别数据中不可靠或干扰部分，然后重建或移除这些数据。 数据清洗是数据科学中很少提及的一点，因为它没有训练神经网络或图像识别那么重要，但是数据清洗却扮演着非常重要的角色。没有它，机器学习预测模型将不及我们预期那样有效和精准。 data.dropna(thresh=int(data.shape[0] * .9), axis=1) #Returns a data with the shape of 117rows and 8
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号