- 综合排序
- 最热优先
- 最新优先
- 来自专栏python数据分析实践
数据清洗与准备（2）
1 处理缺失值 （1） 过滤缺失值（见上一篇文章） （2） 补全缺失值 有时候我们并不是想要过滤缺失值，而是需要补全数据。 df.iloc[:2, 2] = np.nan print(round(df, 2)) #保留两位数字 round(df.fillna(0), 2) #缺失值赋值为0，保留两位数字 -----结果-- 0.20 0.55 为不同列赋不同的填充值： round(df.fillna({1: 0.5, 2: 2.0}), 2) #为第二列缺失值赋0.5，第三列赋值为2 -----结果----- 数据转换 （1）删除重复值 删除重复值用到了drop_duplicates方法： df = pd.DataFrame({'k1':['one', 'two']*3+['two'], 'k2':[1, 4 one 3 6 two 4 （2）使用函数或映射进行数据转换 对于许多数据集，可能希望基于DataFrame中的数组、列或列中的数值进行一些转换，测试数据(data)如下，包含九类肉的名称和价格
1.1K10编辑于 2023-02-23 - 来自专栏简书专栏
房价数据转换和清洗2
1.下载厦门房价信息源文件 下载链接：https://pan.baidu.com/s/16D5hw-XBEQnwtsf4fDJ8xw 密码：e1fg 2.编写代码 1.原来的数据总共有15列：分别为：标题 floor、装修decoration、社区community、区域region、学校school、房屋详情houseDetail、核心卖点keySellingPoint、配套设施equipment 2. df1.iloc[i] = heightType[1] elif allFloor < 17: df1.iloc[i] = heightType[2] 2.xlsx",columns = df_new.iloc[0].keys()) print("数据处理共花费%.2f秒" %(time.time()-startTime)) 3.数据处理结果截图 123列中有1列为房价，为需要预测的数据，有122列为输入变量。
94110发布于 2018-09-10 - 来自专栏算法channel
数据清洗常用的 2 个小 trick
df = pd.DataFrame({'names':["Geordi La Forge", "Deanna Troi", "Jack"],'IDs':[1,2,3]}) df [jpsby6519j.png 列合并方法 2 还有别的合并方法吗，直接使用 + 连接字符串： df["names_copy2"] = df["first_name"] + " "+ df["last_name"] df 效果是一样的 更好可读性的写法 cr1 = df["continent"] == "Europe" cr2 = df["beer_servings"] > 150 cr3 = df["wine_servings"] > 50 cr4 = df["spirit_servings"] < 60 df[cr1 & cr2 & cr3 & cr4] 个人更喜欢后者，虽然代码多几行，但是可读性更好一些，拆开多个过滤条件并分别赋值给对象
55030发布于 2020-05-08 - 来自专栏数据处理与分析
数据清洗
数据清洗 一般义的清洗 特殊字符 在数据清洗中最常见的就是特殊字符，一般的特殊字符可以直接替换掉如地址码中最常见的’#’，像这种直接替换为号即可。 全角半角转换 数据由于来源或采集问题，可能会有全角的数字或字母，而一般的系统都不会允许有这种问题，所以需要将这些问题在清洗步骤中处理掉。 错/别字处理 错别字问题在数据清洗中是难度比较大的一部分工作，在这部分工作中，首先要找出错别字，并建立错别字对应的正确字符串的对应关系，然后使用程序批量的完成替换 空值检测 空值是要在数据清洗中过滤掉的 清洗中常用的工具与技术 如果要做地理数据的相关处理，那么FME是应该首选工具，当然，清洗也属于数据处理的范畴。 但在进行数据处理的时候，要秉承一个原则，在有选择的时候，能少些代码就少些代码！ 综上，在数据清洗中，能够掌握FME与Python基本就够了，如果你还会点正则，那就基本上是完美了！
2.1K20发布于 2019-07-31 - 来自专栏Python机器学习算法说书人
数据清洗常用的 2 个小 trick
df = pd.DataFrame({'names':["Geordi La Forge", "Deanna Troi", "Jack"],'IDs':[1,2,3]}) df ? 列合并方法 2 还有别的合并方法吗，直接使用 + 连接字符串： df["names_copy2"] = df["first_name"] + " "+ df["last_name"] df 效果是一样的 更好可读性的写法 cr1 = df["continent"] == "Europe" cr2 = df["beer_servings"] > 150 cr3 = df["wine_servings"] > 50 cr4 = df["spirit_servings"] < 60 df[cr1 & cr2 & cr3 & cr4] 个人更喜欢后者，虽然代码多几行，但是可读性更好一些，拆开多个过滤条件并分别赋值给对象
62320发布于 2020-05-09 【数据清洗】
数据清洗是数据预处理中非常重要的一部分，下面是一个简单的示例代码，展示了如何进行数据清洗： import pandas as pd # 读取数据 data = pd.read_csv('data.csv 最后将清洗后的数据保存到了一个新的文件中。 [1, 2, None, 4], 'B': ['apple', 'banana', 'carrot', ''], 'C': [10, 20, 30, 20] } df = pd.DataFrame () # 重置索引 df = df.reset_index(drop=True) # 显示清洗后的数据 print("\n清洗后的数据：") print(df) 这段代码首先创建了一个包含数据的 DataFrame 你可以根据实际需求修改和扩展这段代码来完成更复杂的数据清洗任务。
25710编辑于 2025-08-29- 来自专栏不温卜火
数据清洗 Chapter01 | 数据清洗概况
这篇文章讲述的是数据存储方式和数据类型等基本概念、数据清洗的必要性和质量评价的关键点。希望这篇数据清洗的文章对您有所帮助！ 2、表格数据 在此，只了解表格数据 1、数据集(数据库) 由数据对象构成 一个数据对象表示一个实体 2、概念 下面的这些表示相似的概念，在不同的地方可以交叉使用 二、数据清洗 1、什么是数据清洗 脏数据 ? 数据清洗在大数据分析流程中的位置 ? 2、为什么要进行数据清洗 从不同渠道获得的数据，集成在一起，组成新的数据集，需要进行数据清洗，来保证数据集的质量 数据分析算法对输入的数据集有要求 显示情况下的数据集质量不禁如人意，需要数据清洗 3、数据存在的问题
2.1K31发布于 2020-10-28 - 来自专栏Python疯子
python数据清洗
数据的质量直接关乎最后数据分析出来的结果，如果数据有错误，在计算和统计后，结果也会有误。 所以在进行数据分析前，我们必须对数据进行清洗。 需要考虑数据是否需要修改、如何修改调整才能适用于之后的计算和分析等。 数据清洗也是一个迭代的过程，实际项目中可能需要不止一次地执行这些清洗操作。 = data.dropna(axis=1) print(data2) DataFrame类型 读取数据时，没有头标签的要加上header, header=None 否则数据显示有问题 数据被会names (列标签)占用，可以先读取，获取 行和列，如果没有头标签，再设置names标签 其他参数： 文件读取部分数据 skiprows=2 跳过前2行 skiprows=[2] 跳过下标为2的那一行 :None}) 总结： 1、通过 np.genfromtxt(file, delimiter=",", skip_header=0) 在读取数据时，直接将不符合类型的数据转为NaN 2、# 将内容转为
3.2K20发布于 2018-09-06 - 来自专栏全栈程序员必看
pandas数据清洗详细教程_excel数据清洗工具
Pandas 数据清洗常见方法 01 读取数据 df=pd.read_csv('文件名称') 02 查看数据特征 df.info() 03 查看数据量 df.shape 04 查看各数字类型的统计量 df.describe df[['列1','列2','列3']] 20 多表合并 df_all=pd.merge(table1,table2,on='参照列'，how='inner') 21 去除空格 a.replace(' 岁\）').astype('float') df_all.head(2) 04 循环遍历某列所有数据，在后面加上指定字段： data['列名'].apply(lambda x:str(x)+'天') = np.vectorize(lambda s: s.strftime('%Y-%m-%d'))(a1) a3 = pd.Series(a2).tolist 输出m4,如下图所示 输出a1，如下 输出a2 ,如下 输出a3,如下 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。
1.6K10编辑于 2022-10-04 - 来自专栏机器学习与统计学
7步搞定数据清洗－Python数据清洗指南
数据清洗是整个数据分析过程的第一步，就像做一道菜之前需要先择菜洗菜一样。数据分析师经常需要花费大量的时间来清洗数据或者转换格式，这个工作甚至会占整个数据分析流程的80%左右的时间。 在这篇文章中，我尝试简单地归纳一下用Python来做数据清洗的7步过程，供大家参考。 # 可以让你更好地了解哪些列缺失的数据更多，从而确定怎么进行下一步的数据清洗和分析操作。 DataDF.isnull().sum().sort_values(ascending=False) ? 可能会存在有标点符号掺杂／大小写不一致／空格重复出现等问题 6）消灭空值：CustomerID、Description、Country和UnitPrice都出现了NaN值，需要去掉 于是下面就开始后续的数据清洗 subDataDF2=DataDF.loc[0:9,:] subDataDF2 ? ?
5.6K20发布于 2019-07-22 - 来自专栏人工智能LeadAI
数据清洗经验
数据给你了，那就要处理，但这些数据可能经常是： 不完整的（某些记录的某些字段缺失） 前后不一致（字段名和结构前后不一） 数据损坏（有些记录可能会因为种种原因被破坏） 因此，你必须经常维护你的清洗程序来清洗这些原始数据 让你的清洗程序打印出来当前在清洗第几条，这样，如果崩溃了，你就能知道处理到哪条时崩溃了。 2. 让你的程序支持在断点处开始清洗，这样当重新清洗时，你就能从325392直接开始。 在一部分数据上进行测试 不要尝试一次性清洗所有数据。当你刚开始写清洗代码和debug的时候，在一个规模较小的子集上进行测试，然后扩大测试的这个子集再测试。 这样做能够让原始数据作为一个字段保存在清洗后的数据当中，在清洗完之后，如果你发现哪条记录不对劲了，就能够直接看到原始数据长什么样子，方便你debug。 不过，这样做的坏处就是需要消耗双倍的存储空间，并且让某些清洗操作变得更慢。所以这一条只适用于效率允许的情况下。 验证清洗后的数据 记得写一个验证程序来验证你清洗后得到的干净数据是否跟你预期的格式一致。
1.6K40发布于 2018-03-07 - 来自专栏Python绿色通道
数据整合与数据清洗
数据清洗则是将整合好的数据去除其中的错误和异常。 本期利用之前获取的网易云音乐用户数据，来操作一番。 / 01 / 数据整合 首先读取数据。 # 表1 df1 = df.iloc[0:10, 0:2] print(df1) # 表2 df2 = df.iloc[0:10, 1:7] print(df2) 两表数据如下。 ? ? # 表1 df1 = df.iloc[0:10, :] print(df1) # 表2 df2 = df.iloc[8:15, :] print(df2) 两表数据如下。 ? ? 这里以性别列为例，将0，1，2替换为未知、男性、女性。 / 02 / 数据清洗 01 重复值处理 Pandas提供了查看和删除重复数据的方法，具体如下。
5.7K30发布于 2019-04-25 【Java实现数据清洗】
使用Java实现数据清洗的功能，可以按照以下步骤进行： 读取原始数据文件：使用Java的文件读取功能，读取原始数据文件，并将其存储到内存中，可以使用BufferedReader来逐行读取文件中的数据。 = null) { // 处理每行数据 } reader.close(); 数据清洗：根据具体的清洗逻辑，对每行数据进行处理，可以使用正则表达式或字符串处理方法来解析和验证数据的有效性。 "; } cleanedData = cleanedData.substring(0, cleanedData.length() - 1); // 去除最后一个逗号 // 存储清洗后的数据 或 输出到文件 } 存储清洗后的数据：根据清洗后的数据存储方式，可以选择将数据存储到数据库、写入到新的文件或者输出到控制台。 ，根据具体的清洗需求，可以在第2步的处理循环中添加更多的数据清洗逻辑。
35410编辑于 2025-08-29R语言数据清洗
今天介绍一下数据分析前最重要的一份工作：数据清洗。 辛辛苦苦跑完一个混合模型，结果出来一堆显著，一顿汇报，领导一问： "这个品种的产量负值是怎么回事？" 今天这篇文章，就来聊聊做正式分析之前，那个最容易被忽视、却最容易坑人的环节——数据清洗。 数据清洗是什么？为什么重要？ 有一句话在数据圈广为流传： Garbage in, garbage out. , 2) 如果缺失比例小，可以考虑插补；如果某一列缺了 30% 以上，这列数据的可靠性就要打个大问号了。 第五步：异常值检测——揪出混在数据里的捣蛋鬼 这是整个清洗流程的重头戏。 fwrite() 数据清洗这件事，没有一劳永逸的方案，每份数据都有自己的"个性"。
14610编辑于 2026-04-02- df.columns # 查看数据字段 Index([来自专栏若尘的技术专栏
数据清洗之 数据筛选
数据常用筛选方法 在数据中，选择需要的行或者列 基础索引方式，就是直接引用 ioc行索引名称或者条件，列索引名称或者标签 iloc行索引位置，列索引位置 import pandas as pd import os import numpy as np os.getcwd() 'D:\\Jupyter\\notebook\\Python数据清洗实战\\数据清洗之数据表处理' os.chdir('D:\\Jupyter \\notebook\\Python数据清洗实战\\数据') df = pd.read_csv('baby_trade_history.csv', encoding='utf-8', dtype={'user_id
2 20140919 1 532110457 17916191097 1 20121101 2.4K87发布于 2021-05-12
数据清洗之 数据整理
数据整理 定义 在数据清洗过程中，很多时候需要将不同的数据整理在一起，方便后续的分析，这个过程也叫数据合并 合并方法 常见的合并方法有堆叠和按主键进行合并，堆叠又分为横向堆叠和纵向堆叠，按主键合并类似于 import xlrd import os import pandas as pd import numpy as np os.getcwd() 'D:\\Jupyter\\notebook\\Python数据清洗实战 \\数据清洗之数据表处理' os.chdir('D:\\Jupyter\\notebook\\Python数据清洗实战\\数据') workbook = xlrd.open_workbook('meal_order_detail.xlsx # 获取工作表的名称 sheet_name = workbook.sheet_names() sheet_name ['meal_order_detail1', 'meal_order_detail2' dtype={'user_id': str}) df1 = pd.read_csv('sam_tianchi_mum_baby.csv', dtype={'user_id': str}) # 基本信息数据
爬虫系列：数据清洗
数据清洗 到目前为止，我们都没有处理过那些样式不规范的数据，要么使用的是样式规范的数据源，要么就是放弃样式不符合我们预期的数据。但在网络数据采集中，你通常无法对采集的数据样式太挑剔。 下面我们就通过工具和技术，通过改变代码的编写方式，帮你从源头控制数据凌乱的问题，并且对已经入库的数据经行清洗。 编写代码清洗数据 和编写异常处理代码一样，你应该学会编写预防型代码来处理意外情况。 ，应为每个单词（除了最后一个单词）都要创建一个 2-gram 序列，所以这个词条里共有 11680 个 2-gram 序列。 我们可以定制一些规则让数据变得更规范： 剔除单字符的“单词”，除非这个单词是“a”或“i”； 剔除维基百科的引用标记（方括号包裹的数字，入1） 剔除标点符号 现在“清洗任务”列表变得越来越长，让我们把规则都移出来 本期关于数据清洗就是如上内容，在接下来的内容中我会讲解数据标准化，以及存储的数据如何清洗。
R语言|数据清洗
数据清洗是数据分析流程中必不可少的一步。清洗得当的数据是可靠分析的基础，而在R语言中，有许多强大而灵活的工具可以帮助我们高效完成数据清洗。 本文将全面介绍R语言数据清洗的常见技巧，并配以具体的代码示例。 数据清洗常见的任务包括：处理缺失值、数据格式转换、去除重复数据、修正异常值、数据标准化、数据分组与聚合、文本数据清理。 2. dplyr dplyr是R语言中最受欢迎的数据操作包之一，擅长数据清洗和操作，语法简洁直观。 # 示例数据 data <- data.frame( ID = c(1, 2, 2, 3, 4), Age = c(25, 30, 30, 35, 40) ) # 检测重复 duplicated ，清洗这个数据集。
Python数据清洗实践
“数据科学家们80%的精力消耗在查找、数据清理、数据组织上，只剩于20%时间用于数据分析等。”——IBM数据分析 数据清洗是处理任何数据前的必备环节。 在你开始工作前，你应该有能力处理数据缺失、数据不一致或异常值等数据混乱情况。在开始做数据清洗前，需要对Numpy和Pandas库有基本的理解。 数据清洗 数据清洗名如其意，其过程为标识并修正数据集中不准确的记录，识别数据中不可靠或干扰部分，然后重建或移除这些数据。 数据清洗是数据科学中很少提及的一点，因为它没有训练神经网络或图像识别那么重要，但是数据清洗却扮演着非常重要的角色。没有它，机器学习预测模型将不及我们预期那样有效和精准。 下面我将讨论这些不一致的数据： 数据缺失 列值统一处理 删除数据中不需要的字符串 数据缺失 数据缺失原因？ 在填写问卷时，人们往往未填全所有必填信息，或用错数据类型。
Python数据清洗实践
“数据科学家们80%的精力消耗在查找、数据清理、数据组织上，只剩于20%时间用于数据分析等。”——IBM数据分析 数据清洗是处理任何数据前的必备环节。 在你开始工作前，你应该有能力处理数据缺失、数据不一致或异常值等数据混乱情况。在开始做数据清洗前，需要对Numpy和Pandas库有基本的理解。 数据清洗 数据清洗名如其意，其过程为标识并修正数据集中不准确的记录，识别数据中不可靠或干扰部分，然后重建或移除这些数据。 数据清洗是数据科学中很少提及的一点，因为它没有训练神经网络或图像识别那么重要，但是数据清洗却扮演着非常重要的角色。没有它，机器学习预测模型将不及我们预期那样有效和精准。 下面我将讨论这些不一致的数据： 数据缺失 列值统一处理 删除数据中不需要的字符串 数据缺失 数据缺失原因？ 在填写问卷时，人们往往未填全所有必填信息，或用错数据类型。
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号