- 综合排序
- 最热优先
- 最新优先
- 来自专栏SeanCheney的专栏
Python数据科学分析速查表
---- 分享一组Python数据分析速查表（呆鸟翻译的）。
70810发布于 2018-09-19 - 来自专栏生信小驿站
使用pandas构建简单直观的数据科学分析流程
数据科学分析流程通常是一系列步骤：数据集必须经过清理、缩放和验证，然后才能准备好被强大的机器学习算法使用。当然，这些任务可以通过Pandas等包提供的许多函数/方法来完成，但更优雅的方法是使用管道。 在数据科学领域，具有管道特性的包的例子是R语言中的dplyr和Python中的Scikit learn。 我们将使用美国房价数据集。 假设机器学习团队和领域专家说，他们认为我们可以安全地忽略用于建模的平均面积房屋年龄数据。因此，我们将从数据集中删除此列。 在这里，我们应用Scikit学习包中的StandardScaler将数据标准化，转换后可以用于聚类或神经网络拟合。
1.2K20发布于 2019-12-11 - 来自专栏程序员的知识天地
最简洁的Python时间序列可视化：数据科学分析价格趋势，预测价格，探索价格
时间序列数据在数据科学领域无处不在，在量化金融领域也十分常见，可以用于分析价格趋势，预测价格，探索价格行为等。 学会对时间序列数据进行可视化，能够帮助我们更加直观地探索时间序列数据，寻找其潜在的规律。 本文会利用Python中的matplotlib【1】库，并配合实例进行讲解。 【工具】Python 3 【数据】Tushare 【注】示例注重的是方法的讲解，请大家灵活掌握。 01 单个时间序列 首先，我们从tushare.pro获取指数日线行情数据，并查看数据类型。 2019-01-01'] df_subset_1 = df['2018-01-01':'2019-01-01'] ax = df_subset_1.plot(color='blue', fontsize=10 ax.set_title('Rolling mean and variance of 399300.SZ cloe from 2005-01-04 to 2019-07-04', fontsize=10
6.8K40发布于 2019-07-18 - 来自专栏mysql
hhdb数据库介绍(10-10)
功能入口： 在管理平台页面中点击配置->节点管理->"切换"使用须知：配置了数据节点高可用切换规则，且已经动态加载到计算节点 节点下主从、双主的复制关系已经搭建好，且复制延时时间不得超过10秒MGR节点不支持手动切换 若取消master_delay后的复制延迟仍大于10s，则不允许切换，master_delay也会恢复之前设置的值。 如果优先级最高的从存储节点不可用或延迟超过10秒，程序将从剩余切换规则中依次选择优先级最高的进行切换，如果均不可用或延迟超过10秒，则切换失败，提示错误（切换失败日志提示 switch datasource 数据节点管理每个数据节点都有自己的详情页面，用户可以在此页面中管理该数据节点的基本信息、存储节点以及数据节点切换规则。 点击“编辑”按钮可为数据节点修改名称。点击“刷新”按钮可刷新数据节点下主备存储节点的状态。逻辑库框内显示与该数据节点存在关联的逻辑库名称。表信息框内显示在该数据节点下创建的表名称。
24310编辑于 2024-12-05 - 来自专栏互联网数据官iCDO
Look-alike用户行为模拟建模背后的科学分析
被吹嘘的Look-alike模型和基于行为特征的Look-alike 我之前曾在博客里为“大数据”大唱赞歌。我们曾经讨论过最优化算法和可以利用大数据来揭示的洞见。 唯一的改变是数据的体量和处理这些数据的速度。重要的是，不管你是在处理线性回归，神经网络学，或者什么完全不一样的东西，你都是在做同一件事情。 他们会设置一个数据阈值，比如说10%－15%的容差。他们中的一部分甚至会根据他们想要覆盖的用户数量凭空改变拟合。换句话说他们是在根据想要为你投放的广告数量来定义模型的。 ? 取决于曲线的陡峭程度，比如说你也许会覆盖到那个提升度水平下我们人群库里10%的人群。这会在广告表现和人群覆盖之间达到一个好的平衡。想要覆盖更多的人？ 这个模型独立于数据深度就可以起效，我们关注单个的高提升度用户行为，而非试图在模型中找到具有全部特征的用户。 这个模型透明可见，不只是告诉你模型中的单个的行为组分，我们也为你提供工具方便你查阅。
2.5K50发布于 2018-03-02 - 来自专栏python全栈教程专栏
mysql数据库(10)：数据 备份
(1)备份某个数据库下的固定某些表 目标：备份我的chuan数据库下的pet表，在路径下建立chuan.sql这个文件。 注意：先退出mysql再执行该命令，否则会报错outfile. mysqldump -u root -p chuan pet >D:/test/chuan.sql 同样道理：备份chuan数据库下pet shop zhang这三个表 mysqldump -u root -p chuan shop zhang >D:/test/chuan.sql (2)对单个或多个库进行完全备份 先查一下有哪些数据库
3.2K30发布于 2021-10-18 - 来自专栏nnngu
数据结构10 图
在线性结构中，数据元素之间满足唯一的线性关系，每个数据元素(除第一个和最后一个外)只有一个直接前驱和一个直接后继； 在树形结构中，数据元素之间有着明显的层次关系，并且每个数据元素只与上一层中的一个元素( 父节点)及下一层的多个元素(孩子节点)相关； 而在图形结构中，节点之间的关系是任意的，图中任意两个数据元素之间都有可能相关。
97870发布于 2018-03-15 - 来自专栏雪胖纸的玩蛇日常
10.请求数据
在vue中，有三种常用的数据请求方式： /* 三种数据请求方式 vue-resource axios fetch-jsonp */ 1.vue-resource 1.安装vue-resource cnpm .在组件中使用home.vue <template>
</template> <script> /* 三种数据请求方式 { return { msg:'首页组件', list:[] } }, methods:{ getData(){ // 请求数据 { return { msg:'首页组件', list:[] } }, methods:{ getData(){ // 请求数据这是一个首页组件
<button @click="getData()">请求数据 index) in list" :key="index">{{item.title}}56210发布于 2019-10-14 - 来自专栏全栈程序员必看
MNIST数据集 & CIFAR10数据集
MNIST数据集 MNIST数据集是分类任务中最简单、最常用的数据集。 人为的手写了0-9数字的图片 MNIST大概有7w张 MNIST数据值都是灰度图，所以图像的通道数只有一个 因为MNIST数据集是专门为深度学习来的，所以其数据集格式和我们常见的很不一样 ，但是在Pytorch/Tensorflow中有函数可以很容易的读取，如果用普通Python来读取则不是那么容易 CIFAR10数据集 http://www.cs.toronto.edu/~ kriz/cifar.html CIFAR10数据集比MNIST要复杂一些. CIFAR10是真实数据集，MNIST是人为构建的 CIFAR10是32*32的 有CIFAR-10和CIFAR-100 CIFAR-10图片的10种类别，每一类大概有6000张 一共6w
96610编辑于 2022-09-10 - 来自专栏Python编程 pyqt matplotlib
CIFAR-10 数据集介绍
CIFAR-10和CIFAR-100是带有标签的数据集，都出自于规模更大的一个数据集，它有八千万张小图片（http://groups.csail.mit.edu/vision/TinyImages/）。 CIFAR-10和CIFAR-100的共同主页是：http://www.cs.toronto.edu/~kriz/cifar.html CIFAR-10数据集共有60000张彩色图像，这些图像是32*32 ，分为10个类，每类6000张图。 下面这幅图就是列举了这10个分类，每一类展示了随机的10张图片： ? 该数据集有有如下三种版本： ? python版本下载并解压后包含以下文件： ? 其中的html文件是数据集的官网网页。 下面的代码可以将CIFAR-10 数据集解析到Numpy数组 import numpy as np from matplotlib import pyplot as plt import os def
7.3K00发布于 2019-12-10 - 来自专栏机器学习实践二三事
转换Cifar10数据集
Cifar10数据集不讲了吧，入门必备，下载地址: https://www.cs.toronto.edu/~kriz/cifar.html 官方提供三种形式的下载: 可以看出是不提供图片形式的下载的 ，需要进行数据转换，虽然可以直接读成ndarray，但是对于初学者可能读图更直观点 自己写了个转换程序(将bytes形式的文件转换为图片并分类存储): def recover_cifar10(cifar10 _dir): """Save cifar 10 data(only training data) to files. Args: cifar10_dir: cifar 10 dataset path(python version). /data/cifar10' def save_batch(path): with open(path, 'rb') as fo: batch_data
1.9K60发布于 2018-01-02 - 来自专栏数据科学（冷冻工厂）
Python 爬虫数据抓取（10）：LXML
LXML能够轻松读取文件或字符串形式的XML数据，并将它们转换成易于操作的etree元素。 接下来，我们将探讨在进行网页数据抓取时如何有效利用lxml库。 from lxml import html import requests 我们导入了 requests 库来请求，因为我们还必须获取该网页的 HTML 数据。 当你打印这个树时，会看到类似于 <Element html at 0x1e18439ff10> 的输出。 从这个标签中，我们有两种方式提取数据。 使用 .text 方法可以获取标签内的文本内容。例如，elements[0].text 会返回文本 "Iron Man"。 我们有两种方式来提取这个标签中的数据。 使用 .text 属性可以获取标签内的文本内容，比如 elements[0].text 会输出 "Iron Man"。
45810编辑于 2024-07-05 - 来自专栏全栈程序员必看
转换Cifar10数据集
Cifar10数据集不讲了吧，入门必备，下载地址: https://www.cs.toronto.edu/~kriz/cifar.html 官方提供三种形式的下载: 可以看出是不提供图片形式的下载的 ，需要进行数据转换，虽然可以直接读成ndarray，但是对于初学者可能读图更直观点 自己写了个转换程序(将bytes形式的文件转换为图片并分类存储): def recover_cifar10(cifar10 _dir): """Save cifar 10 data(only training data) to files. Args: cifar10_dir: cifar 10 dataset path(python version). Returns: """ save_dir = '. /data/cifar10' def save_batch(path): with open(path, 'rb') as fo: batch_data
48920编辑于 2022-06-25 - 来自专栏锦小年的博客
Cifar-10数据集解析
cifar-10 数据集是机器学习入门第二个使用到的数据集合（第一个当然是MNIST），下面介绍一下如何解析。 1. cifar-10 简介 该数据集共有60000张彩色图像，图像大小是3通道的32*32，分为10个类，每类6000张图。 测试批的数据里，取自10类中的每一类，每一类随机取1000张。抽剩下的就随机排列组成了训练批。注意一个训练批中的各类图像并不一定数量相同，总的来看训练批，每一类都有5000张图。 数据的下载：共有三个版本，python,matlab,binary version 适用于C语言 python： http://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz 数据解析，Python为例 cifar-10 数据以字典的形式存储，key为：dict_keys([b’batch_label’, b’labels’, b’data’, b’filenames’])，
2K30发布于 2019-05-28 - 来自专栏凹凸玩数据
盘点 10大 数据库！
大家好，我是小五 DB-Engines 最近发布了 2021 年 9 月份的数据库排名。该网站根据数据库管理系统的受欢迎程度对其进行排名，实时统计了 378 种数据库的排名指数。 前 30 名的排行情况详见下图，前10大数据库 用线段做了分割。同时在文末，会免费赠送给大家一些数据库书籍！ 跌幅榜情况 较去年同期，本月三霸主集体暴跌再次霸占了“同期跌幅榜”。 虽然各大开源类数据库百花齐放，然而，在 DB-Engines 全球数据库排行榜上，Oracle 和 MySQL 依然是世界上最受欢迎的商业和开源类数据库，而且领跑优势还在继续扩大。 小众数据库不可小觑 数据库相关从业人员可以将 DB-Engines 数据库排名作为参考，大数据时代发展速度之快超乎我们的想象，新的数据库产品仍然在不断诞生，如果你的需求比较特殊，大众数据库产品无法很好地满足你 每天数据增量十多亿，近百万次查询请求。 快手内部也在使用 ClickHouse，存储总量大约 10PB， 每天新增 200TB， 90% 查询小于 3S。
2.5K10发布于 2021-10-18 全球数据库 TOP 10！
其实，还有一个很重要的要素就是数据。 数据是企业的生命线，数据的存储与读取就需要数据库。 今天，民工哥就同大家一起来聊一聊数据库。 如今，数据库的品牌如雨后的春笋一样，更是显现出百家争鸣的局面。 在众多数据库品牌中，这十大数据库脱颖而出，我们一起来盘一盘。 Express 版（Express）：免费版本，功能有限（如最大数据库大小 10GB）。适合开发测试环境或小型个人项目。 国内云原生数据库市场的领导者，与华为云深度整合。 达梦数据库（DM） 达梦数据库（DM）是由武汉达梦数据库股份有限公司自主研发的一款高性能、高可靠性、高安全性的企业级关系型数据库管理系统。 #分布式数据库 #Nosql #国产数据库 #云原生数据库 #分布式关系型数据库 #原生分布式数据库 #阿里 #华为 #微软 #科技 #互联网 #IT 都看到这里了，觉得不错的话，随手点个赞 、推荐
45910编辑于 2026-03-24- 来自专栏测试开发干货
数据工厂平台10： 首页底部
最后就是为了开发者自己的后面晋升答辩、简历美化 提供数据量化支持。 鉴于我捅破了这层窗户纸，所以我们的设计是，同样是统计数据，但是底部留白我们要统计的一定得是登陆者的个人信息，而非全平台的总体数据。 而是这个app的总体数据如一共现在多少用户，每个功能使用了多少次。这样是不是很别扭？？？ 所以这个底布统计数据，我们决定用扇形图来展示个人的数据，当然个人的数据中也有个人在乎，个人不在乎的，这里我不给大家规定死了。全部提出来，让大家自行选择，我会挑选几个作为例子示范。 导入之后，我们至少还有三件主要的事要做： 调整位置大小等样式 查看是否有console报错 换成我们实际的数据 而非它预置写死的数据。 本节课内容到此结束。 下节课我们会给大家搞定这三件事，届时，首页也将告一段落，我们将正式进入到设计构造数据的章节中。
66040编辑于 2022-05-19 - 来自专栏自动化测试_python
如何造10w条测试数据，在数据库插入10w条不同数据
前言 面试题：如果造10w条测试数据，如何在数据库插入10w条数据，数据不重复 最近面试经常会问到sql相关的问题，在数据库中造测试数据是平常工作中经常会用到的场景，一般做压力测试，性能测试也需在数据库中先准备测试数据 10w个手机号了。 10w数据插入 接着测下，当生成10 w条数据的时候，会花多少时间？ # 作者：上海-悠悠 # python3 insert_sql = "INSERT INTO `apps`. ，mysql 会对单表数据量较大的 SQL 做限制，10w条数据的字符串超出了max_allowed_packet 的允许范围。 再次重新执行上面10w条数据，查看运行结果总共花11秒左右时间。
6.8K12发布于 2020-06-11 - 来自专栏人工智能与演化计算成长与进阶
Tensorflow 读取 CIFAR-10 数据集
参考文献Tensorflow 官方文档[1] > tf.transpose 函数解析[2] > tf.slice 函数解析[3] > CIFAR10/CIFAR100 数据集介绍[4] > tf.train.shuffle_batch 下载路径 cifar10_url = 'http://www.cs.toronto.edu/~kriz/cifar-10-binary.tar.gz' # 检查这个文件是否存在，如果不存在下载这个文件 data_file = os.path.join(data_dir, 'cifar-10-binary.tar.gz') # temp\cifar-10-binary.tar.gz if os.path.isfile 并将其转化为int32型数据。 这和此数据集存储图片信息的格式相关。 # CIFAR-10数据集中 """第一个字节是第一个图像的标签，它是一个0-9范围内的数字。
1.4K10发布于 2020-08-14 - 来自专栏EdisonTalk
Elastic学习之旅 (10) Logstash数据采集
Logstash是一款优秀的开源ETL工具/数据搜集处理引擎，可以对采集到的数据做一系列的加工和处理，目前已支持200+插件具有比较成熟的生态。 下图展示了Logstash的上下游主流生态： Logstash不仅可以从日志中获取数据，才可以从Kafka 甚至是 数据库中采集数据。 采集到数据之后，可以转发给ElasticSearch（最常见的场景），也可以转发给MongoDB等。 第二个概念：Logstash Event 数据在Pipeline内部流转时的具体表现形式就是Event，数据在input阶段被转换为Event，而在output阶段被转化成目标格式数据。 ； output：使用了elasticsearch插件将解析后的数据发送到elasticsearch，并通过stdout插件对解析后的数据调用rubydebug做一个输出； 从上面的介绍可以看出，一个Logstash
45710编辑于 2024-04-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号