- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据处理与分析
数据清洗
数据清洗 一般义的清洗 特殊字符 在数据清洗中最常见的就是特殊字符，一般的特殊字符可以直接替换掉如地址码中最常见的’#’，像这种直接替换为号即可。 全角半角转换 数据由于来源或采集问题，可能会有全角的数字或字母，而一般的系统都不会允许有这种问题，所以需要将这些问题在清洗步骤中处理掉。 错/别字处理 错别字问题在数据清洗中是难度比较大的一部分工作，在这部分工作中，首先要找出错别字，并建立错别字对应的正确字符串的对应关系，然后使用程序批量的完成替换 空值检测 空值是要在数据清洗中过滤掉的 清洗中常用的工具与技术 如果要做地理数据的相关处理，那么FME是应该首选工具，当然，清洗也属于数据处理的范畴。 但在进行数据处理的时候，要秉承一个原则，在有选择的时候，能少些代码就少些代码！ 综上，在数据清洗中，能够掌握FME与Python基本就够了，如果你还会点正则，那就基本上是完美了！
2.3K20发布于 2019-07-31 【数据清洗】
数据清洗是数据预处理中非常重要的一部分，下面是一个简单的示例代码，展示了如何进行数据清洗： import pandas as pd # 读取数据 data = pd.read_csv('data.csv 最后将清洗后的数据保存到了一个新的文件中。 = df.reset_index(drop=True) # 显示清洗后的数据 print("\n清洗后的数据：") print(df) 这段代码首先创建了一个包含数据的 DataFrame，然后删除了包含空值的行和重复的行 ，最后重置了索引并输出清洗后的数据。 你可以根据实际需求修改和扩展这段代码来完成更复杂的数据清洗任务。
44610编辑于 2025-08-29- 来自专栏Rust
Polars Rust 第 5 课：数据清洗与转换
开篇引入 欢迎来到 Polars Rust 系列的第 5 课！ 在真实的数据工程世界里，有一句广为流传的话："数据科学家 80% 的时间都在清洗数据"。 通过链式调用和惰性求值，你可以像搭积木一样组合各种清洗操作，既清晰又高效。今天，我们就来系统学习 Polars 中的数据清洗与转换技巧！ 如果你的数据值在 ±21 亿以内，优先使用 Int32。 二、空值处理 2.1 空值：数据中的"沉默杀手" 空值（Null）是数据清洗中最常见的问题之一。 ("重命名结果：\n{}", renamed); Ok(()) } 六、实战练习：清洗一份脏数据 ️ 现在，让我们把前面学到的所有知识综合起来，完成一个完整的数据清洗实战！ === 原始行数：6 清洗后行数：5 删除重复行数：1 恭喜！
33110编辑于 2026-04-23 - 来自专栏不温卜火
数据清洗 Chapter01 | 数据清洗概况
这篇文章讲述的是数据存储方式和数据类型等基本概念、数据清洗的必要性和质量评价的关键点。希望这篇数据清洗的文章对您有所帮助！ 二、数据清洗 1、什么是数据清洗 脏数据 ? 数据清洗在大数据分析流程中的位置 ? 2、为什么要进行数据清洗 从不同渠道获得的数据，集成在一起，组成新的数据集，需要进行数据清洗，来保证数据集的质量 数据分析算法对输入的数据集有要求 显示情况下的数据集质量不禁如人意，需要数据清洗 3、数据存在的问题 考虑到数据获取的时间成本 数据分析的周期不能过长，否则会导致分析的结论失去现实意义 4、完整性 考察数据信息是否存在缺失，包括数据集的字段以及数据记录 5、数据重复 考察数据特征，
2.4K31发布于 2020-10-28 - 来自专栏Python疯子
python数据清洗
数据的质量直接关乎最后数据分析出来的结果，如果数据有错误，在计算和统计后，结果也会有误。 所以在进行数据分析前，我们必须对数据进行清洗。 需要考虑数据是否需要修改、如何修改调整才能适用于之后的计算和分析等。 数据清洗也是一个迭代的过程，实际项目中可能需要不止一次地执行这些清洗操作。 如果数据不存在或不符合数值规则 用nan填充 delimiter 以什么符号进行分割 skiprows=12 跳过开头12行 数据是从第13行开始的 usecols 就是获取下标为6，7列 的内容 ，没有头标签的要加上header, header=None 否则数据显示有问题 数据被会names(列标签)占用，可以先读取，获取 行和列，如果没有头标签，再设置names标签 其他参数： 文件读取部分数据 DataFrame 类型 再进行其他缺省值处理 3、平均值替换 4、删除缺省参数 5、指定内容填充 额外补充： 文件写入时，注意点 # float_format='%.2f' #保留两位小数
3.6K20发布于 2018-09-06 - 来自专栏机器学习与统计学
7步搞定数据清洗－Python数据清洗指南
数据清洗是整个数据分析过程的第一步，就像做一道菜之前需要先择菜洗菜一样。数据分析师经常需要花费大量的时间来清洗数据或者转换格式，这个工作甚至会占整个数据分析流程的80%左右的时间。 在这篇文章中，我尝试简单地归纳一下用Python来做数据清洗的7步过程，供大家参考。 # 可以让你更好地了解哪些列缺失的数据更多，从而确定怎么进行下一步的数据清洗和分析操作。 DataDF.isnull().sum().sort_values(ascending=False) ? 2）修改列名：该数据的名称不易于理解，需要改列名 3）选择部分子集：因为有部分列在数据分析中不需要用到 4）可能存在逻辑问题需要筛选：比如Unit Price为负 5）格式一致化：Description 可能会存在有标点符号掺杂／大小写不一致／空格重复出现等问题 6）消灭空值：CustomerID、Description、Country和UnitPrice都出现了NaN值，需要去掉 于是下面就开始后续的数据清洗
6.2K20发布于 2019-07-22 - 来自专栏人工智能LeadAI
数据清洗经验
数据给你了，那就要处理，但这些数据可能经常是： 不完整的（某些记录的某些字段缺失） 前后不一致（字段名和结构前后不一） 数据损坏（有些记录可能会因为种种原因被破坏） 因此，你必须经常维护你的清洗程序来清洗这些原始数据 断点清洗 如果你有大量的原始数据需要清洗，要一次清洗完可能需要很久，有可能是5分钟，10分钟，一小时，甚至是几天。实际当中，经常在洗到一半的时候突然崩溃了。 在一部分数据上进行测试 不要尝试一次性清洗所有数据。当你刚开始写清洗代码和debug的时候，在一个规模较小的子集上进行测试，然后扩大测试的这个子集再测试。 这样做能够让原始数据作为一个字段保存在清洗后的数据当中，在清洗完之后，如果你发现哪条记录不对劲了，就能够直接看到原始数据长什么样子，方便你debug。 不过，这样做的坏处就是需要消耗双倍的存储空间，并且让某些清洗操作变得更慢。所以这一条只适用于效率允许的情况下。 验证清洗后的数据 记得写一个验证程序来验证你清洗后得到的干净数据是否跟你预期的格式一致。
1.8K40发布于 2018-03-07 【Java实现数据清洗】
使用Java实现数据清洗的功能，可以按照以下步骤进行： 读取原始数据文件：使用Java的文件读取功能，读取原始数据文件，并将其存储到内存中，可以使用BufferedReader来逐行读取文件中的数据。 = null) { // 处理每行数据 } reader.close(); 数据清洗：根据具体的清洗逻辑，对每行数据进行处理，可以使用正则表达式或字符串处理方法来解析和验证数据的有效性。 "; } cleanedData = cleanedData.substring(0, cleanedData.length() - 1); // 去除最后一个逗号 // 存储清洗后的数据 或 输出到文件 } 存储清洗后的数据：根据清洗后的数据存储方式，可以选择将数据存储到数据库、写入到新的文件或者输出到控制台。 ，根据具体的清洗需求，可以在第2步的处理循环中添加更多的数据清洗逻辑。
46010编辑于 2025-08-29R语言数据清洗
今天这篇文章，就来聊聊做正式分析之前，那个最容易被忽视、却最容易坑人的环节——数据清洗。 数据清洗是什么？为什么重要？ 有一句话在数据圈广为流传： Garbage in, garbage out. 不清洗直接建模，等于用没洗的菜炒了一道大厨级别的菜，卖相再好，吃了也可能拉肚子。 今天以一份一年10地点、9个品种、4个区组、5个性状的农业试验数据为例，带你过一遍完整的清洗流程。 今天这篇文章，就来聊聊做正式分析之前，那个最容易被忽视、却最容易坑人的环节——数据清洗。 五个性状，量纲差异极大——y1 在 1~3 之间，y5 能跑到 130+。 find_outliers_iqr(y5)) fwrite(dat_clean, "data_clean.csv") 总结：数据清洗的九步流程 步骤 内容 关键函数 1 读取数据，了解基本结构 fread () 8 标准化（按需） scale(), Min-Max 9 导出清洗结果 fwrite() 数据清洗这件事，没有一劳永逸的方案，每份数据都有自己的"个性"。
44110编辑于 2026-04-02- 来自专栏若尘的技术专栏
数据清洗之 数据筛选
数据常用筛选方法 在数据中，选择需要的行或者列 基础索引方式，就是直接引用 ioc行索引名称或者条件，列索引名称或者标签 iloc行索引位置，列索引位置 import pandas as pd import os import numpy as np os.getcwd() 'D:\\Jupyter\\notebook\\Python数据清洗实战\\数据清洗之数据表处理' os.chdir('D:\\Jupyter \\notebook\\Python数据清洗实战\\数据') df = pd.read_csv('baby_trade_history.csv', encoding='utf-8', dtype={'user_id
1 20141103 5 152298847 41840167463 1 20141103 5 152298847 41840167463 2.5K87发布于 2021-05-12来自专栏若尘的技术专栏数据清洗之 数据整理
数据整理 定义 在数据清洗过程中，很多时候需要将不同的数据整理在一起，方便后续的分析，这个过程也叫数据合并 合并方法 常见的合并方法有堆叠和按主键进行合并，堆叠又分为横向堆叠和纵向堆叠，按主键合并类似于 import xlrd import os import pandas as pd import numpy as np os.getcwd() 'D:\\Jupyter\\notebook\\Python数据清洗实战 \\数据清洗之数据表处理' os.chdir('D:\\Jupyter\\notebook\\Python数据清洗实战\\数据') workbook = xlrd.open_workbook('meal_order_detail.xlsx ignore_index=True, 表示重置索引 order = pd.concat([order1, order2, order3], axis=0, ignore_index=True) # 获取末5行 order.tail(5)
<style scoped> .dataframe tbody tr th:only-of-type { vertical-align: middle;1.6K117发布于 2021-05-13来自专栏生信技能树单细胞数据清洗的这5个步骤你会做吗？
而是它们并不能百分百清楚的告诉用户到底怎么处理了数据，处理到什么程度。因此，先自己处理数据，如果批次效应实在是很影响后续分析，再来使用所谓的批次矫正，因为并不是所有的批次效应都可以或者应该被矫正。 因此，对有批次效应的数据，可以做的事就是先去除已知的批次效应。 这里将重点介绍 10X 单细胞表达数据。 去除 swapped barcodes 如图所示，在新型号的 Illumina 测序机上，流动池中的连接和DNA扩增同时进行，各步骤之间不需要对流动池进行任何清洗。 library(DropletUtils) cleaned = swappedDrops('data/outs/molecule_info.h5') 大多数情况下，这一步并不能起到多大作用。 虽然没有任何确凿的证据，但作者认为如果提供的数据没有通过批次效应处理，那么标记查找方法将会做得和处理后的数据一样好，甚至更好。
4.6K20编辑于 2022-06-27来自专栏短信接收服务爬虫系列：数据清洗
在高级数据采集部分就是要帮你分析原始数据，获取隐藏在数据背后的故事——网站的真实故事其实都隐藏在 Javascript、登录表单和网站反爬措施背后。 数据清洗 到目前为止，我们都没有处理过那些样式不规范的数据，要么使用的是样式规范的数据源，要么就是放弃样式不符合我们预期的数据。但在网络数据采集中，你通常无法对采集的数据样式太挑剔。 下面我们就通过工具和技术，通过改变代码的编写方式，帮你从源头控制数据凌乱的问题，并且对已经入库的数据经行清洗。 编写代码清洗数据 和编写异常处理代码一样，你应该学会编写预防型代码来处理意外情况。 我们可以定制一些规则让数据变得更规范： 剔除单字符的“单词”，除非这个单词是“a”或“i”； 剔除维基百科的引用标记（方括号包裹的数字，入1） 剔除标点符号 现在“清洗任务”列表变得越来越长，让我们把规则都移出来 本期关于数据清洗就是如上内容，在接下来的内容中我会讲解数据标准化，以及存储的数据如何清洗。
2.4K10编辑于 2022-01-12来自专栏AI研习社Python数据清洗实践
“数据科学家们80%的精力消耗在查找、数据清理、数据组织上，只剩于20%时间用于数据分析等。”——IBM数据分析 数据清洗是处理任何数据前的必备环节。 在你开始工作前，你应该有能力处理数据缺失、数据不一致或异常值等数据混乱情况。在开始做数据清洗前，需要对Numpy和Pandas库有基本的理解。 数据清洗 数据清洗名如其意，其过程为标识并修正数据集中不准确的记录，识别数据中不可靠或干扰部分，然后重建或移除这些数据。 数据清洗是数据科学中很少提及的一点，因为它没有训练神经网络或图像识别那么重要，但是数据清洗却扮演着非常重要的角色。没有它，机器学习预测模型将不及我们预期那样有效和精准。 下面我将讨论这些不一致的数据： 数据缺失 列值统一处理 删除数据中不需要的字符串 数据缺失 数据缺失原因？ 在填写问卷时，人们往往未填全所有必填信息，或用错数据类型。
2.5K30发布于 2019-05-13来自专栏AI研习社Python数据清洗实践
“数据科学家们80%的精力消耗在查找、数据清理、数据组织上，只剩于20%时间用于数据分析等。”——IBM数据分析 数据清洗是处理任何数据前的必备环节。 在你开始工作前，你应该有能力处理数据缺失、数据不一致或异常值等数据混乱情况。在开始做数据清洗前，需要对Numpy和Pandas库有基本的理解。 数据清洗 数据清洗名如其意，其过程为标识并修正数据集中不准确的记录，识别数据中不可靠或干扰部分，然后重建或移除这些数据。 数据清洗是数据科学中很少提及的一点，因为它没有训练神经网络或图像识别那么重要，但是数据清洗却扮演着非常重要的角色。没有它，机器学习预测模型将不及我们预期那样有效和精准。 下面我将讨论这些不一致的数据： 数据缺失 列值统一处理 删除数据中不需要的字符串 数据缺失 数据缺失原因？ 在填写问卷时，人们往往未填全所有必填信息，或用错数据类型。
3.1K20发布于 2019-03-14来自专栏天意生信俱乐部R语言|数据清洗
数据清洗是数据分析流程中必不可少的一步。清洗得当的数据是可靠分析的基础，而在R语言中，有许多强大而灵活的工具可以帮助我们高效完成数据清洗。 本文将全面介绍R语言数据清洗的常见技巧，并配以具体的代码示例。 数据清洗常见的任务包括：处理缺失值、数据格式转换、去除重复数据、修正异常值、数据标准化、数据分组与聚合、文本数据清理。 3. tidyr tidyr专注于整理数据，提供了诸如pivot_longer()、pivot_wider()等功能。 4. stringr stringr专注于字符串处理，适合清理文本数据。 5. # 创建示例数据 library(dplyr) data <- data.frame( ID = 1:5, Age = c(25, NA, 30, 35, NA), Salary = c(50000 ，清洗这个数据集。
2.8K10编辑于 2025-01-22来自专栏Python爬虫与数据分析简单使用 ：pandas 数据清洗
读取数据 使用 pd 的 read_sql 读取数据 import pymysql import pandas as pd self.conn = pymysql.connect(host=host, product_name'], inplace=True) 异常值处理 处理异常值使用 pd 的 replace 方法 df.replace(' ', np.nan, inplace=True) 数据重新写入到 MySQL 数据重新写入 MySQL 使用 pd 的 to_sql 方法 df.to_sql(name=table_name, con=self.conn, if_exists='append', index create_engine engine = create_engine("mysql+pymysql://user:pass@host:port/db") 2、空值处理的问题 保存在 mysql 中的数据中有空值 True, inplace=True) # 将乱码替换替换为空字符串（正则为匹配不是中文、字母、数字组成的字符串） df['product_name'].replace(r'[^\u4e00-\u9fa5_
2.4K20发布于 2021-04-26来自专栏python数据分析实践数据清洗与准备（3）
----- data: Price Rest Sell Weight Apple 0 1 2 3 Orange 4 5 10 11 rename: PRICE REST SELL WEIGHT APPLE 0 1 2 3 ORANGE 4 5 （5）离散化和分箱 连续值经常需要离散化，或者分成若干组进行分析。 取四次样，每次1000个数 df.describe() #输出描述性信息 假如要找出有值大于3或小于-3的行，可以使用any方法： df[(np.abs(df) > 3).any(1)] 以上就是数据清洗和准备的大致内容 ，高效的数据准备工作可以使我们将更多的时间用于数据分析而不是准备数据，从而提升工作效率。
1K20编辑于 2023-02-23来自专栏数据分析-Pandas 清洗“脏”数据（一）
庆幸的是，Pandas 提供功能强大的类库，不管数据处于什么状态，他可以帮助我们通过清洗数据，排序数据，最后得到清晰明了的数据。 对于案例的数据，准备使用 movie_metadata.csv(链接：https://pan.baidu.com/s/1i5zUvOD 密码：a4t9)。 下面我们通过使用 Pandas 提供的功能来清洗“脏”数据。 准备工作 首先，第一次使用 Pandas 之前，我们需要安装 Pandas。 （在下面的例子中，行数据中至少要有 5 个非空值） data.drop(thresh=5) 比如说，我们不想要不知道电影上映时间的数据： data.dropna(subset=['title_year' 更多关于数据清洗的内容可以关注知乎上的专栏“数据清洗” 知乎数据清洗- Pandas 清洗“脏”数据（一）
4.9K70发布于 2018-03-01来自专栏育种数据分析之放飞自我GWAS的表型数据清洗
GWAS的表型数据清洗 1. 表型数据的选择 动物数据中，对于大部分性状，一个个体只有一个观测值，直接用表型值进行后续的分析即可。 现在也有软件可以分析纵向数据的GWAS，比如宁超老师开发的软件（http://www.chaoning.org/Softwares/） 对于植物数据，特别是随机区组的数据，一年多点的数据，一个基因型ID 另外，就是进行汇总统计，看一下最大值，最小值，平均值，中位数，看一下数据的分布是否正常。 对于小数点标错，可以更正的更正一下。对于数据异常，可以找一下原始的数据记录，确认一下数据是否录入错误。 数据的是否转换为正态 对于数量性状，稍微偏态的数据也是可以接受的。 一般不进行公式转换，因为结果不好解释。 5. 表型数据整理应该下大功夫 从调查数据开始，要严格要求，怎么强调都不为过，尽量亲身参与。 质控数据要谨慎，删除数据要谨慎。 多做几次分析，根据结果，权衡一下不同的方案！
59910编辑于 2025-07-30腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059
粤公网安备44030502008569号腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号