- 综合排序
- 最热优先
- 最新优先
- 来自专栏流川疯编写程序的艺术
大数据ETL实践探索（5）---- 大数据ETL利器之 pandas
max_columns',1000) pd.set_option('max_row',300) pd.set_option('display.float_format', lambda x: '%.5f ' % x) ---- 数据清洗 在下面的代码片段中，数据清洗代码被封装在了一些函数中，代码的目的十分直观。 这种方法可以让你更清楚地知道哪些列有更多的缺失数据，帮助你决定接下来在数据清洗和数据分析工作中应该采取怎样的行动。 __biz=MzA3MzI4MjgzMw==&mid=2650755911&idx=3&sn=d6f6950e8fade5f55d11b68279dff26f&chksm=871a9739b06d1e2fe90d66e57abec297aecae1cb1166647a64c4f00fbd56a6b9554afeb9e95a &mpshare=1&scene=1&srcid=0123l6oTF5kYftcMsR9DbP8Y#rd
1.7K30发布于 2019-03-05 - 来自专栏科技记者
ubiome类似数据dada2处理探索5
前面我们探索了处理不能拼接的V4 PE150数据，首先双向reads根据质量情况分别切成120bp，然后使用dada2 R包进行了直接+10N拼接，生成ASV表，再分别使用dada2包，decipher 根据这个结果，我认为手上这个数据不适合使用decipher进行物种注释。 ? ? 这里，我们完成了物种注释的结果比较，前面已经进行的探索有： 1.ubiome数据分析流程学习笔记1 2.ubiome类似数据dada2处理探索2 3.ubiome类似数据dada2处理探索3 4.ubiome 类似数据dada2处理探索4
62730发布于 2020-03-03 探索ImmGen:5-基因字典
Pathway模块，可以弹出分子信号通路图 总结：这个页面是一个集基因功能百科与实验数据查询于一体的工具，旨在帮助免疫学研究者快速、准确地获取小鼠基因的表达特征和分子机制信息
12710编辑于 2026-01-27- 来自专栏数据分析1480
【R语言】5种探索数据分布的可视化技术
01 数据分布图简介 中医上讲看病四诊法为：望闻问切。 而数据分析师分析数据的过程也有点相似，我们需要望：看看数据长什么样;闻：仔细分析数据是否合理;问：针对前两步工作搜集到的问题与业务方交流;切：结合业务方反馈的结果和项目需求进行数据分析。 "望"的方法可以认为就是制作数据可视化图表的过程，而数据分布图无疑是非常能反映数据特征(用户症状)的。R语言提供了多种图表对数据分布进行描述，本文接下来将逐一讲解。 箱线图是一种常用数据分布图，下图表示了这种图中各元素的意义： ? 绘制方法是在基函数中将变量分组绑定到横轴，变量本身绑定到纵轴。此外，为了美观也可以将分组绑定到fill变量并设置调色板。 这个函数会给出一个基于数据的二维核密度估计，然后我们可基于这个估计值来判断各样本点的"等高"性。接下来首先给出各数据点及等高线的绘制方法，R语言实现代码如下： ? 运行结果： ?
1.6K20发布于 2019-05-22 - 来自专栏腾讯云开发者社区推荐
腾讯5G探索地图揭秘
导语 | 本文中，腾讯未来网络实验室5G技术专家俞一帆老师将对腾讯的5G探索地图进行了详细的讲解，以下是俞一帆老师演讲的整理（编辑：尾尾）。关注「云加社区」公众号，获得精选文章推送。 基于这样的出发点，刚才提到在腾讯滨海大厦的5G试验网里面挑选了几款游戏做了一些试验。 3.多媒体领域：to C高清视频探索 除了游戏之外，我们还做了视频相关的探索。 自动驾驶领域：探索实现单车智能+5G网联的完美融合 接下来是自动驾驶和智能网联部分。 首先跟大家讲一下5G和自动驾驶的关系是什么？ 在去年和很多工厂，尤其是以中国商业飞机制造厂为代表的工厂，也探索过5G智能制造的方向。 按目前5G网络、电信行业先有标准后有产品的思路，这种框架下很难满足需求。怎么做？目前也没有很好的答案，我们也在探索。
5.3K6203发布于 2019-11-13 - 来自专栏Data分析
深入探索Python语法：索引与切片（5）
前言 Python是一门功能强大且易学的编程语言，在数据处理、列表操作等方面表现尤为出色。索引和切片是Python中常用的操作，用于访问列表、字符串等数据结构中的元素。 本文将详细介绍Python中索引和切片的使用方法，让我们深入探索这些强大的功能。 1. 索引（Indexing） 索引是指在序列类型（如列表、字符串等）中通过位置获取元素的方法。 my_list = [1,2,3,4,5,6,7,8,9,] print('取列表的前5项',my_list[0:4])#当0省略的时候默认为0，即为my_list[:4] print('取列表的第2- sub_string = string[0:5] print(sub_string) # 输出：Hello sub_string = "Hi!" 让我们继续深入学习和探索Python语法的奥秘，为编程世界打开新的大门
45210编辑于 2024-01-30 - 来自专栏Golang语言社区
Golang源码探索----GC的实现原理(5)
gcDrain函数扫描完根对象, 就会开始消费标记队列, 对从标记队列中取出的对象调用scanobject函数:
95940发布于 2020-12-03 - 来自专栏腾讯大讲堂的专栏
腾讯5G探索地图揭秘
导语 | 本文中，腾讯未来网络实验室5G技术专家俞一帆老师将对腾讯的5G探索地图进行了详细的讲解，以下是俞一帆老师演讲的整理（编辑：尾尾）。 基于这样的出发点，刚才提到在腾讯滨海大厦的5G试验网里面挑选了几款游戏做了一些试验。 ? 3.多媒体领域：to C高清视频探索 除了游戏之外，我们还做了视频相关的探索。 在去年和很多工厂，尤其是以中国商业飞机制造厂为代表的工厂，也探索过5G智能制造的方向。这张图代表我们探索的情况，我们觉得在工业领域5G能发挥的作用大概有两个场景： ? 按目前5G网络、电信行业先有标准后有产品的思路，这种框架下很难满足需求。怎么做？目前也没有很好的答案，我们也在探索。 以上就是我关于腾讯在5G方面的探索介绍，谢谢大家！ 作者简介 ? 俞一帆，腾讯未来网络实验室5G技术专家。于2006年在北京邮电大学获通信与信息系统专业工学博士学位。
2.2K91发布于 2019-11-06 - 来自专栏Creator星球游戏开发社区
探索CocosH5正确的开发姿势
平台和生态圈，这才是自己为什么一直对cocos H5不离不弃的原因。 在过去的两年时间先后培养了5名cocos2d-js客户端程序员，现在联系他们大多还在做cocos H5方向的工作。 但发现不管是自己、曾经的同事、朋友们等的公司，但凡用cocos H5技术都发现都普遍存在一些误区，我在此根据自己的项目经验总结一下。 一、cocos H5普遍存在的误区 1. 而cocos H5只是Javascript中的一员。 深入使用Cocos H5技术，同时充分利用Javascript平台世界的生态工具，才能正发挥cocos的威力。 5.
2.6K20发布于 2019-09-11 - 来自专栏前端lucio
【前端探索】移动端H5生成截图海报的探索
需求场景 移动端H5生成图片海报分享，是比较常见的交互方式。生成的海报中，往往会有用户的个性化信息，比如头像、昵称等等。 为了实现这种交互，我们探索一下可行的实现方案。 ).json({ message: error.message, errors: error.stack, }); } }); 使用方式 用户端只需要传生成图片的H5链接作为参数
1.2K10编辑于 2023-04-22 - 来自专栏linux内核指令
探索Linux的md5sum命令：保障数据完整性的利器
探索Linux的md5sum命令：保障数据完整性的利器在数据处理和分析中，数据的完整性和准确性是至关重要的。为了确保数据在传输或存储过程中没有被篡改，我们通常会使用哈希函数来生成数据的唯一“指纹”。 在Linux系统中，md5sum命令就是这样一个强大的工具，它使用MD5算法为文件或数据块生成哈希值。md5sum命令简介md5sum是一个命令行工具，用于计算和显示文件的MD5哈希值。 由于MD5算法的数学特性，即使原始数据发生微小变化，其哈希值也会发生显著变化。因此，通过比较哈希值，我们可以快速检测数据是否完整无损。 唯一性：对于不同的输入数据，MD5算法几乎总是生成不同的哈希值（尽管存在哈希碰撞的可能性，但在实际应用中极为罕见）。确定性：相同的输入数据始终产生相同的哈希值。 校验和文件的保护：当你使用md5sum创建校验和文件时，请确保该文件与原始数据一起安全存储。如果校验和文件被篡改，那么它就无法用于验证数据的完整性。
1.1K10编辑于 2024-06-20 - 来自专栏机器学习/数据可视化
数据处理基石：pandas数据探索
Pandas数据初探索 本文介绍的是Pandas数据初探索。 当我们生成或者导入了数据之后，通过数据的探索工作能够快速了解和认识数据基本信息，比如数据中字段的类型、索引、最值、缺失值等，可以让我们对数据的全貌有一个初步了解。 ] 同时生成一个Series类型数据： [008i3skNgy1gri3tpan8xj30o00bgdgn.jpg] 数据样本 头尾数据查看 head(N)：默认是头部5条，可以指定查看N条 tail( ] 数据基本信息info 显示数据类型、索引情况、行列数、列属性名称、占用的内存等信息；Series数据没有该方法 [008i3skNgy1gri436hn5rj30y00gw77c.jpg] 数据类型 累积最大值 df.skew() # 样本偏度 (第三阶) df.kurt() # 样本峰度 (第四阶) df.quantile() # 样本分位数 (不同 % 的值) 总结 本文主要是对Pandas中的数据探索做了一个详细介绍
90200发布于 2021-06-14 - 来自专栏机器学习/数据可视化
数据处理基石：pandas数据探索
Pandas数据初探索 本文介绍的是Pandas数据初探索。 当我们生成或者导入了数据之后，通过数据的探索工作能够快速了解和认识数据基本信息，比如数据中字段的类型、索引、最值、缺失值等，可以让我们对数据的全貌有一个初步了解。 ] 同时生成一个Series类型数据： [008i3skNgy1gri3tpan8xj30o00bgdgn.jpg] 数据样本 头尾数据查看 head(N)：默认是头部5条，可以指定查看N条 tail( ] 数据基本信息info 显示数据类型、索引情况、行列数、列属性名称、占用的内存等信息；Series数据没有该方法 [008i3skNgy1gri436hn5rj30y00gw77c.jpg] 数据类型 累积最大值 df.skew() # 样本偏度 (第三阶) df.kurt() # 样本峰度 (第四阶) df.quantile() # 样本分位数 (不同 % 的值) 总结 本文主要是对Pandas中的数据探索做了一个详细介绍
91900发布于 2021-06-14 - 来自专栏编程
Python数据分析-数据探索下
主题 数据探索 接着上一节的内容～ 二、数据特征分析 5. 相关性分析 （1）直接描述散点图 从散点图可以比较直观地看书两个变量的相关性。 负线性相关、不相关） （2）绘制散点图矩阵 可对多个变量同时进行相关关系的考察 （3）计算相关系数 这里的相关系数有很多，如Pearson相关系数、spearman相关系数、判定系数等等 三、python主要数据探索函数 python中用于数据探索的库主要是pandas和matplotlib，而pandas提供大量的函数，也作为重点来进行介绍 1. 基本统计特征函数（均属pandas） （1）sum（），计算数据样本的总和（按列计算） （2）mean（），计算算数平均数 （3）var（），计算方差 （4）std（），计算标准差 （5）corr（）， ，pandas （5）plot（logy=true），绘制y轴的对数图形，pandas （6）plot（yerr=error），绘制误差条形图，pandas —End—
1.5K90发布于 2018-03-02 - 来自专栏人工智能LeadAI
机器学习实战 | 数据探索
数据的输入质量决定了输出的最后结果，数据的探索、预处理、特征选择、降维等特征工程占了项目的70%的时间。那么如果我们确定了商业目的，该如何一步一步渐进式进行特征工程呢？ 接下来，确定变量的数据类型和类别。 举一个例子，让我们更清楚地了解这一步。 假设我们想预测学生是否会玩板球（参考下面的数据集），需要识别预测变量、目标变量，变量的数据类型和变量类别。 ? 那么 ? Data_exploration_2.png 2、单变量分析 在这个阶段，我们逐个探索变量。 执行单变量分析的方法取决于变量类型是分类类型还是连续类型。 5、双变量分析 双变量分析的主要目的是发现两个变量之间的关系。可以对分类和连续变量的任何组合执行双变量分析。 卡方检验：计算方法可以参考前面文章 确定自变量和因变量的相关性 p值为0：表示两个变量是相关的 p值为1：表示两个变量是独立的 7、Categorical&Continuous 在探索分类和连续变量之间的关系时
1.2K50发布于 2018-03-08 - 来自专栏数据派THU
【经典书】数据科学探索
来源：专知本文为书籍，建议阅读5分钟本书带你学习时间序列、神经网络、文本分析等。 现在是进入数据科学领域的最佳时机。但是你从哪里开始呢?数据科学是一个广泛的领域，包括统计学、机器学习和数据工程等方面。 https://www.manning.com/books/exploring-data-science 《探索数据科学》由五个章节组成，向你介绍了数据科学的各个领域，并解释了哪种方法最适合每个领域。 当您探索不同的建模实践时，您将看到如何在数据科学中使用R、Python和其他语言的实际示例。 数据科学是一个涉及统计学、机器学习和数据工程等方面的广泛领域。 我们的书《实用数据科学与R》向读者介绍了R语言中的基本预测建模。但是，我们的意图绝不是暗示数据科学家可以将自己限制在一个问题领域或一种实现语言。现在是进入数据科学的大好时机。免费工具和材料的数量激增。 它们涵盖了与数据科学相关的各种主题，突出了各种领域和编程语言。我们希望这些选择能让您更好地了解许多可用的工具，以解决特定的数据科学问题。
36320编辑于 2022-05-18 - 来自专栏FreeBuf
数据安全分析思想探索
； 2.安全检测：从不同角度维度检测系统内部的安全风险； 3.应急响应：从日志中还原攻击者的攻击路径，从而挽回已经造成的损失； 4.溯源分析：回溯攻击入口与方式； 5.安全趋势：从较大的角度观察攻击者更 数据的洗菜部分，我简单总结了一下，包括： 1.数据的冗余 2.数据的挑选 3.数据的质量 4.数据的分类 5.数据的含义 6.数据的变量 7.数据的可用性 8.数据的完整性 2.1 数据的冗余 比如web日志中，method的取值:GET,POST,PUT,HEAD,DELETE,MOVE,COPY……状态码的取值：1xx,2xx,3xx,4xx,5xx请求大小，时间，url，UA，refer 1.数据的一致性比如IP的区域确认，端口的服务对应等情况。 2.数据的精确性web日志的源IP均为F5的IP。 5.数据的实体统一性比如最可恨的就是，各家厂商的APT设备，有的厂商在日志中是请求内容或事件内容，有的厂商tm的是ASSIC码。对于日志中是ASSIC的厂商，我真的想吐槽，你们的研发真的懒。
94140发布于 2018-07-31 - 来自专栏IMWeb前端团队
数据字段防卫探索
数据字段防卫探索 这个标题不知道怎么取，估计没人看得懂，还是直接看背景吧 -_-!! 还记得老师曾经这样教导我们： 在编写函数的时候，一定要检测参数是否合理 对于前端来说，cgi数据也是一样的，永远不能相信cgi传过来的数据！ 方案一：抽象cgi数据 类似orm那样，预先定义model（cgi数据）的schema，如果定义了schema，那我们就可以添加默认值机制了 这个方案的本质就是对cgi数据添加了一层加工层，让cgi数据变得可信 obj) { obj = { count: { count: 5 } }; } obj) { obj = { count: { count: 5 } }; } obj.count = obj.count || obj.count === '' ?
79450发布于 2017-12-29 - 来自专栏二猫の家
【GEE】2、探索数据集
对 Google 地球引擎中可用的所有栅格执行各种级别的数据清理和图像预处理，但对于本模块，我们将专注于更广泛的探索，为一些示例生态应用程序寻找合适的数据集。 更多关于预处理差异和分析的信息可以在模块 5中找到。 2.1数据类别：气候和天气 这些是传达有关温度、降水、蒸散以及其他大气和气象现象的信息的栅格。 使用 CHIRPS 数据集的 2018 年 5 月中非月降雨总量。 华盛顿和爱达荷州边界上的美国国家高程数据集。 3图像采集探索 现在我们已经了解了我们可以使用的数据集的深度和广度，我们可以花点时间详细探索一个集合。 3.3探索集合属性 找到并加载我们的集合后，了解对使用遥感数据感兴趣的生态学家可用的图像集合元数据非常重要。元数据对于我们如何确定给定特定研究系统或感兴趣区域的图像或图像集合的适当性很重要。
98941编辑于 2023-11-05 - 来自专栏医学和生信笔记
纵向数据建模前的数据探索
给大家介绍一下对于重复测量数据或者纵向数据可以使用哪些图形进行探索，因为重复测量数据可使用的方法很多，比如重复测量方差分析、广义估计方程、混合效应模型等，在进行正式的建模前非常有必要对数据进行一番探索。 unsetunset生成数据unsetunset 下面模拟一个数据，数据生成的过程如果看不懂可以不看。 60名患者接受两种治疗，分别在第0周、第1周、第2周、第3周记录患者的疼痛评分。 1.38 24.5 ## 4 4 0 Treatment 0.141 0 1.51 21.6 ## 5 5 0 Treatment 0.259 0 -0.427 19.8 ## 6 6 0 Treatment cor_matrix, cluster_rows = FALSE, cluster_cols = FALSE, main = "图4：时间点间结局相关性热图" ) 以上是4种比较常见的纵向数据探索图形
8210编辑于 2026-03-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号