- 综合排序
- 最热优先
- 最新优先
- 来自专栏进击的Coder
10 个 Python 自动探索性数据分析神库！
这是「进击的Coder」的第 719 篇技术分享 来源：数据 STUDIO “ 阅读本文大概需要 7 分钟。 ” 探索性数据分析是数据科学模型开发和数据集研究的重要组成部分之一。 在本文中整理了 10 个可以自动执行 EDA 并生成有关数据的见解的 Python 包，看看他们都有什么功能，能在多大程度上帮我们自动化解决 EDA 的需求。 profile.to_file("output.html") 3、Sweetviz Sweetviz 是一个开源的 Python 库，只需要两行 Python 代码就可以生成漂亮的可视化图，将 EDA( 探索性数据分析 、edaviz edaviz 是一个可以在 Jupyter Notebook 和 Jupyter Lab 中进行数据探索和可视化的 python 库，他本来是非常好用的，但是后来被砖厂 (Databricks 总结 在本文中，我们介绍了 10 个自动探索性数据分析 Python 软件包，这些软件包可以在几行 Python 代码中生成数据摘要并进行可视化。通过自动化的工作可以节省我们的很多时间。
2.5K32编辑于 2022-09-13 - 来自专栏Hadoop数据仓库
MADlib——基于SQL的数据挖掘解决方案（10）——数据探索之主成分分析
17.6 0.847 10.6 8 48.4 13.4 10.9 9.9 10.9 13.9 1.772 17.8 9 40.6 19.1 19.8 19 29.7 39.6 2.449 35.8 10 9.9, 10.9, 13.9, 1.772, 17.8}'), (9, '{40.6, 19.1, 19.8, 19, 29.7, 39.6, 2.449, 35.8}'), (10 15.2151276724561,-4.53202062778529} 9 | {40.4531114732088,11.566606363421,0.33351408976578} 10 0.993, -0.685, -0.048 9 | -1.533, 2.229, 1.013, -2.063, 2.932, -1.451, -0.181, 0.700 10 | 7.1833 7 | {-4.254455153165,6.71053107113929,3.63489574437095} | 6.0910 10
1.4K20发布于 2019-05-25 - 来自专栏Elasticsearch专栏
【Elasticsearch专栏 10】深入探索：Elasticsearch如何进行数据导入和导出
Elasticsearch如何进行数据导入和导出 在Elasticsearch中，数据导入和导出是常见的操作，通常涉及到将数据从外部数据源导入到Elasticsearch索引中，或者从Elasticsearch 索引导出数据到外部数据源。 Logstash可以从多种数据源（如文件、数据库、消息队列等）读取数据，然后通过过滤器进行处理，并最终输出到Elasticsearch。 ，并在需要时从快照中恢复数据。 同时，也需要注意数据的安全性和一致性，确保在导入和导出过程中数据的完整性不被破坏。
4.5K11编辑于 2024-03-04 - 来自专栏新智元
重磅 | 谷歌开源大规模语言建模库，10亿+数据，探索 RNN 极限
【新智元导读】谷歌今天宣布开源大规模语言建模模型库，这项名为“探索RNN极限”的研究今年 2 月发表时就引发激论，如今姗姗来迟的开源更加引人瞩目。 研究测试取得了极好的成绩，另外开源的数据库含有大约 10 亿英语单词，词汇有 80 万，大部分是新闻数据。这是典型的产业研究，只有在谷歌这样的大公司才做得出来。 这个数据库含有大约 10 亿个单词，词汇有 80 万单词，大部分都是新闻数据。由于训练中句子是被打乱了的，模型可以不理会文本，集中句子层面的语言建模。 更多信息请访问：https://github.com/tensorflow/models/tree/master/lm_1b 研究论文：探索语言建模的极限 作者：Rafal Jozefowicz, Oriol 深度学习和递归神经网络（RNN）在过去的几年中极大地推动了语言建模研究的发展，让研究者可以在更多的任务上进行探索，在这些任务中，强限制性的独立假设都是不实际的。
96940发布于 2018-03-23 - 来自专栏生物信息云
生物信息数据分析教程视频——10-TCGA数据库:miRNA的表达探索
filterGeneTypeExpr.R") source("H:/MedBioInfoCloud/analysis/TCGA/new/00-fun/del_dup_sample.R") ###TCGA数据库中 getGDCprojects()$project_id project <- project[grep("TCGA-",project)] # proj = "TCGA-BLCA" norn <- 10 del_dup_sample(rpm[,sort(SamT)],col_rename = T) ###============非配对样本== ##构建数据框 axis.line=element_line(colour="black",size=0.25), axis.title=element_text(size=10 function(g){ ldat <- paired_data[paired_data$miR == g,] #为了防止配对样本信息错乱，先构造一个配对样本的数据集
91710编辑于 2022-12-15 10Xvisium HD高精度平台探索
visium-hd/hcc-16um/'sc.pl.spatial(adata, color='leiden', frameon=False, groups=['7', '11', '14', '2', '9', '10 ], img_key=None)adata.obs['leiden'] = adata.obs['leiden'].astype(str).apply(lambda x: '0' if x in ['10
24320编辑于 2024-04-21- 来自专栏猫头虎博客专区
JDK10新特性：探索Java10的编程新境界
JDK10新特性：探索Java10的编程新境界 摘要 喵呜，猫头虎编程狂热者们，准备好跳进Java 10的神奇世界了吗？在这篇博客中，我们将深入探讨Java 10带来的革命性特性。 时间驱动的线程池（Application Class-Data Sharing） 介绍 嗨喵，猫头虎们，让我们一起探索Java 10中的一个重要性能优化特性：Application Class-Data 通过共享常用的类数据，Application CDS减少了JVM启动时的类加载时间，同时也减少了应用程序的内存占用。 ☁️ 垃圾收集器的改进（Garbage-Collector Interface） 介绍 今天我们来探索Java 10中的一项重要创新——垃圾收集器的改进。 垃圾收集器的改进 提高JVM性能和可维护性 总结 我们一起探索了Java 10的奇妙之旅！
40710编辑于 2024-04-07 - 来自专栏小黑娃Henry
OC底层探索10-objc_msgSend快速查找流程OC底层探索10-objc_msgSend快速查找流程
前提: 源码objc4-718 在OC底层探索09-cache_t实现原理探索中详细的分析了cache_t中的insert流程。 sayHello")); //简化: objc_msgSend(person, sel_registerName("sayHello")); 编译之后可以看到方法最终编译为objc_msgSend，想要探索 以防看的迷糊把一些关键的变量值和寄存器值单独列出来 x0: 消息接受者 x1、p1: 方法Sel x16、p16: 消息载体：类、元类 p11: cache_t 的地址 p10: buckets地址 x12 , p11, #0x0000ffffffffffff // p10 = buckets // 通过地址向右平移48，获取高16位mask地址，然后逻辑与上sel；通过hash运算得到存储的index not hit: p12 = not-hit bucket CheckMiss $0 // miss if bucket->sel == 0 cmp p12, p10
53130发布于 2021-08-09 - 来自专栏机器学习/数据可视化
数据处理基石：pandas数据探索
Pandas数据初探索 本文介绍的是Pandas数据初探索。 当我们生成或者导入了数据之后，通过数据的探索工作能够快速了解和认识数据基本信息，比如数据中字段的类型、索引、最值、缺失值等，可以让我们对数据的全貌有一个初步了解。 ] 数据大小size 数据大小表示的是数据中总共有多少个数据，即shape方法的结果中两个数值相乘 df.size # 56=7*8 数据维度ndim 表示数据是多少维，比如二维，三维等 [008i3skNgy1gri41qj5tjj30kg08074s.jpg ] 数据基本信息info 显示数据类型、索引情况、行列数、列属性名称、占用的内存等信息；Series数据没有该方法 [008i3skNgy1gri436hn5rj30y00gw77c.jpg] 数据类型 累积最大值 df.skew() # 样本偏度 (第三阶) df.kurt() # 样本峰度 (第四阶) df.quantile() # 样本分位数 (不同 % 的值) 总结 本文主要是对Pandas中的数据探索做了一个详细介绍
90200发布于 2021-06-14 - 来自专栏机器学习/数据可视化
数据处理基石：pandas数据探索
Pandas数据初探索 本文介绍的是Pandas数据初探索。 当我们生成或者导入了数据之后，通过数据的探索工作能够快速了解和认识数据基本信息，比如数据中字段的类型、索引、最值、缺失值等，可以让我们对数据的全貌有一个初步了解。 ] 数据大小size 数据大小表示的是数据中总共有多少个数据，即shape方法的结果中两个数值相乘 df.size # 56=7*8 数据维度ndim 表示数据是多少维，比如二维，三维等 [008i3skNgy1gri41qj5tjj30kg08074s.jpg ] 数据基本信息info 显示数据类型、索引情况、行列数、列属性名称、占用的内存等信息；Series数据没有该方法 [008i3skNgy1gri436hn5rj30y00gw77c.jpg] 数据类型 累积最大值 df.skew() # 样本偏度 (第三阶) df.kurt() # 样本峰度 (第四阶) df.quantile() # 样本分位数 (不同 % 的值) 总结 本文主要是对Pandas中的数据探索做了一个详细介绍
91900发布于 2021-06-14 - 来自专栏编程
Python数据分析-数据探索下
主题 数据探索 接着上一节的内容～ 二、数据特征分析 5. 相关性分析 （1）直接描述散点图 从散点图可以比较直观地看书两个变量的相关性。 负线性相关、不相关） （2）绘制散点图矩阵 可对多个变量同时进行相关关系的考察 （3）计算相关系数 这里的相关系数有很多，如Pearson相关系数、spearman相关系数、判定系数等等 三、python主要数据探索函数 python中用于数据探索的库主要是pandas和matplotlib，而pandas提供大量的函数，也作为重点来进行介绍 1. 基本统计特征函数（均属pandas） （1）sum（），计算数据样本的总和（按列计算） （2）mean（），计算算数平均数 （3）var（），计算方差 （4）std（），计算标准差 （5）corr（）， 、‘--’为虚线 （2）pie（），绘制饼形图，matplotlib／pandas （3）hist（），绘制二维条形直方图，matplotlib／pandas （4）boxplot（），绘制样本数据的箱形图
1.5K90发布于 2018-03-02 - 来自专栏人工智能LeadAI
机器学习实战 | 数据探索
数据的输入质量决定了输出的最后结果，数据的探索、预处理、特征选择、降维等特征工程占了项目的70%的时间。那么如果我们确定了商业目的，该如何一步一步渐进式进行特征工程呢？ 接下来，确定变量的数据类型和类别。 举一个例子，让我们更清楚地了解这一步。 假设我们想预测学生是否会玩板球（参考下面的数据集），需要识别预测变量、目标变量，变量的数据类型和变量类别。 ? 那么 ? Data_exploration_2.png 2、单变量分析 在这个阶段，我们逐个探索变量。 执行单变量分析的方法取决于变量类型是分类类型还是连续类型。 卡方检验：计算方法可以参考前面文章 确定自变量和因变量的相关性 p值为0：表示两个变量是相关的 p值为1：表示两个变量是独立的 7、Categorical&Continuous 在探索分类和连续变量之间的关系时
1.2K50发布于 2018-03-08 - 来自专栏数据派THU
【经典书】数据科学探索
现在是进入数据科学领域的最佳时机。但是你从哪里开始呢?数据科学是一个广泛的领域，包括统计学、机器学习和数据工程等方面。人们很容易变得不知所措，或最终只学习数据科学的一小部分或单一的方法。 https://www.manning.com/books/exploring-data-science 《探索数据科学》由五个章节组成，向你介绍了数据科学的各个领域，并解释了哪种方法最适合每个领域。 当您探索不同的建模实践时，您将看到如何在数据科学中使用R、Python和其他语言的实际示例。 数据科学是一个涉及统计学、机器学习和数据工程等方面的广泛领域。 我们的书《实用数据科学与R》向读者介绍了R语言中的基本预测建模。但是，我们的意图绝不是暗示数据科学家可以将自己限制在一个问题领域或一种实现语言。现在是进入数据科学的大好时机。免费工具和材料的数量激增。 它们涵盖了与数据科学相关的各种主题，突出了各种领域和编程语言。我们希望这些选择能让您更好地了解许多可用的工具，以解决特定的数据科学问题。
36320编辑于 2022-05-18 - 来自专栏FreeBuf
数据安全分析思想探索
要做数据安全分析，数据收集是基础，数据收集之后，就要对数据进行治理，数据治理的意义就是服务于数据分析阶段，而数据分析的源头在于收集了哪些数据。 二、数据治理 数据收集上之后，属于原始数据，对于小型数据平台，可能直接就存储于ES了。对于大型数据分析平台而言，日志都是发送到采集器上，由采集器对日志进行初步处理后，再将处理过的日志发到数据平台。 数据的洗菜部分，我简单总结了一下，包括： 1.数据的冗余 2.数据的挑选 3.数据的质量 4.数据的分类 5.数据的含义 6.数据的变量 7.数据的可用性 8.数据的完整性 2.1 数据的冗余 Apr 26 10:50:01 centos-linux systemd: Starting Session 3 of user root. messages ） 9\. root pts/1 10.211.55.2 Wed Jan 17 14:36 still logged in （/vat/log/wtmp） 10
94140发布于 2018-07-31 - 来自专栏IMWeb前端团队
数据字段防卫探索
数据字段防卫探索 这个标题不知道怎么取，估计没人看得懂，还是直接看背景吧 -_-!! 还记得老师曾经这样教导我们： 在编写函数的时候，一定要检测参数是否合理 对于前端来说，cgi数据也是一样的，永远不能相信cgi传过来的数据！ 方案一：抽象cgi数据 类似orm那样，预先定义model（cgi数据）的schema，如果定义了schema，那我们就可以添加默认值机制了 这个方案的本质就是对cgi数据添加了一层加工层，让cgi数据变得可信 优点：抽象cgi数据不仅可以做数据字段防卫，还可以做很多事情 缺点：太重，毫无疑问的 方案二：重定义undefined 比如我们可以这样： window.undefined = { length 方案三：封装获取数据字段的接口 获取数据字段不是原生的object.key，而是util.get(object, key)，在get方法里面进行防卫处理 优点：实现统一简单 缺点：改变了原来的编程习惯
79450发布于 2017-12-29 - 来自专栏二猫の家
【GEE】2、探索数据集
对 Google 地球引擎中可用的所有栅格执行各种级别的数据清理和图像预处理，但对于本模块，我们将专注于更广泛的探索，为一些示例生态应用程序寻找合适的数据集。 华盛顿和爱达荷州边界上的美国国家高程数据集。 3图像采集探索 现在我们已经了解了我们可以使用的数据集的深度和广度，我们可以花点时间详细探索一个集合。 首先，使用搜索栏，开始输入“MYD10A1.006 Aqua Snow Cover Daily Global 500m”。 在搜索栏中输入数据集名称的结果。 要查找我们数据集的空间分辨率，请再次键入数据集名称并单击搜索栏中的结果（即“MYD10A1.006 Aqua Snow Cover Daily Global 500m”）。 4.1完整的图像采集探索脚本 // Load the image collection. var dataset = ee.ImageCollection('MODIS/006/MYD10A1');
98941编辑于 2023-11-05 - 来自专栏医学和生信笔记
纵向数据建模前的数据探索
给大家介绍一下对于重复测量数据或者纵向数据可以使用哪些图形进行探索，因为重复测量数据可使用的方法很多，比如重复测量方差分析、广义估计方程、混合效应模型等，在进行正式的建模前非常有必要对数据进行一番探索。 unsetunset生成数据unsetunset 下面模拟一个数据，数据生成的过程如果看不懂可以不看。 60名患者接受两种治疗，分别在第0周、第1周、第2周、第3周记录患者的疼痛评分。 行 head(df, 10) ## # A tibble: 10 × 7 ## subject_id time group random_intercept time_effect residual 若严重偏态可考虑进行数据变换，比如log 是否有离群值？ cor_matrix, cluster_rows = FALSE, cluster_cols = FALSE, main = "图4：时间点间结局相关性热图" ) 以上是4种比较常见的纵向数据探索图形
8210编辑于 2026-03-17 - 来自专栏IMWeb前端团队
数据字段防卫探索
本文作者：IMWeb 黎清龙 原文出处：IMWeb社区 未经同意，禁止转载 数据字段防卫探索 这个标题不知道怎么取，估计没人看得懂，还是直接看背景吧 -_-!! 还记得老师曾经这样教导我们： 在编写函数的时候，一定要检测参数是否合理 对于前端来说，cgi数据也是一样的，永远不能相信cgi传过来的数据！ 方案一：抽象cgi数据 类似orm那样，预先定义model（cgi数据）的schema，如果定义了schema，那我们就可以添加默认值机制了 这个方案的本质就是对cgi数据添加了一层加工层，让cgi数据变得可信 优点：抽象cgi数据不仅可以做数据字段防卫，还可以做很多事情 缺点：太重，毫无疑问的 方案二：重定义undefined 比如我们可以这样： window.undefined = { length 方案三：封装获取数据字段的接口 获取数据字段不是原生的object.key，而是util.get(object, key)，在get方法里面进行防卫处理 优点：实现统一简单 缺点：改变了原来的编程习惯
45120发布于 2019-12-04 - 来自专栏AllTests软件测试
10个最佳探索性测试工具（2024）
以下是一个精选的顶级免费探索性测试工具列表，以及它们的功能特点和官方网址/链接地址，该列表包含开源（免费）和商业（付费）软件。 功能特点： qTest集中了测试自动化管理，并与任何开源或专有的测试自动化工具集成 为企业级测试管理解决方案留下传统 qTest通过实时Jira集成，简化了开发人员与测试人员的协调 使用Jira数据创建有意义的报告 功能特点： 捕获用于探索性测试的丰富场景数据 它通过跨桌面或web应用程序执行测试来帮助你测试应用程序 它允许你计划、执行和跟踪具有可操作缺陷的脚本化测试 官方网址： https://azure.microsoft.com 功能特点： 高级分析和DevOps仪表板 允许你捕获作为解决Jira问题的图像注释工具 无需年度承诺 云、服务器和数据中心部署选项 帮助你教授敏捷团队成员协作软件测试 官方网址： https://smartbear.com /test-management/zephyr/ 10、Rapid Reporter Rapid Reporter是探索性的笔记应用程序，它以这样一种方式工作，即在不间断的测试会话期间记录笔记，并在随后审查这些笔记
97010编辑于 2024-11-14 - 来自专栏实时计算
大数据治理——搭建大数据探索平台
在数据治理中，数据探索服务的价值在初期往往是被忽视的，但是随着业务的增加，分析人员的增加，数据探索服务的价值就会越来越大。 一个成功的数据管理平台，不仅仅要提供各种数据分析的工具，提供各种各样的数据源，更要提供数据探索的能力。 为什么数据探索服务很重要？ 还有谁在使用这些数据？ 没有数据探索服务的世界 数据科学家最多将三分之一的时间用于数据探索。 如果没有数据探索服务，数据科学家需要和同事沟通，浏览他们可以访问的对象进行搜索。 数据探索服务 数据探索服务意味着向用户提供一种工具，使其可以了解平台中的数据及其质量。让我们来了解下具体的实现。 这是一个以伟大的挪威探险家的名字命名的数据探索服务，Lyft的数据探索服务旨在解决通过在元数据中搜索有价值的信息。它提供的是用户数据探索服务的搜索界面。
1.2K10发布于 2021-04-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号