- 综合排序
- 最热优先
- 最新优先
- 来自专栏SeanCheney的专栏
Python数据科学分析速查表
下载链接：https://share.weiyun.com/5Z6yQbv 密码：x4mg6p ---- ? ---- 分享一组Python数据分析速查表（呆鸟翻译的）。
70810发布于 2018-09-19 - 来自专栏生信小驿站
使用pandas构建简单直观的数据科学分析流程
数据科学分析流程通常是一系列步骤：数据集必须经过清理、缩放和验证，然后才能准备好被强大的机器学习算法使用。当然，这些任务可以通过Pandas等包提供的许多函数/方法来完成，但更优雅的方法是使用管道。 我们将使用美国房价数据集。 读取数据 # -*- coding: utf-8 -*- """ Created on Wed Dec 4 20:51:39 2019 @author: czh """ %reset -f %clear 根据观测值转换列属性 # In[*] def size(n): if n<= 4: return 'small' elif 4< n<=6: return Area Number of Rooms列）的值<= 4时，为small，当值4< n<=6为medium，当值>6时为big。 ?
1.2K20发布于 2019-12-11 - 来自专栏程序员的知识天地
最简洁的Python时间序列可视化：数据科学分析价格趋势，预测价格，探索价格
时间序列数据在数据科学领域无处不在，在量化金融领域也十分常见，可以用于分析价格趋势，预测价格，探索价格行为等。 学会对时间序列数据进行可视化，能够帮助我们更加直观地探索时间序列数据，寻找其潜在的规律。 本文会利用Python中的matplotlib【1】库，并配合实例进行讲解。 【工具】Python 3 【数据】Tushare 【注】示例注重的是方法的讲解，请大家灵活掌握。 01 单个时间序列 首先，我们从tushare.pro获取指数日线行情数据，并查看数据类型。 trade_date close 0 20050104 982.794 1 20050105 992.564 2 20050106 983.174 3 20050107 983.958 4 04 多个时间序列 如果想要可视化多个时间序列数据，同样可以直接调用plot()方法。示例中我们从tushare.pro上面选取三只股票的日线行情数据进行分析。
6.8K40发布于 2019-07-18 - 来自专栏火星娃统计
GEO数据挖掘4
GEO数据挖掘4 sunqi 2020/7/12 概述 对GEO数据进行差异分析 简单比较 rm(list = ls()) options(stringsAsFactors = F) options(digits = 4) #设置全局的数字有效位数为4 load(file = 'step1-output.Rdata') #导入的数据中，dat为表达矩阵，group_list为分组信息 #按照group_list "jco", add = "jitter") # 添加p值 p + stat_compare_means()# 添加比较函数，默认使用wilcox } # 对4个样本的箱式图绘制 bp(dat[4,]) ? 结束语 这里对GEO数据的差异分析已经结束，后续为kegg和go分析 love&peace
1.3K20发布于 2020-09-15 - 来自专栏Python与算法之美
4，数据的获取
sklearn 数据集一览 类型 获取方式 自带的小数据集 sklearn.datasets.load_... 在线下载的数据集 sklearn.datasets.fetch_... 计算机生成的数据集 sklearn.datasets.make_... svmlight/libsvm格式的数据集 sklearn.datasets.load_svmlight_file(...) mldata.org 自带的小数据集： 鸢尾花数据集：load_iris() 可用于分类 和 聚类 乳腺癌数据集：load_breast_cancer() 可用于分类 手写数字数据集：load_digits() 可用于分类 糖尿病数据集：load_diabetes() 可用于分类 波士顿房价数据集：load_boston() 可用于回归 体能训练数据集： load_linnerud() 可用于回归 图像数据集： load_sample_image 二，计算机生成的数据集 使用计算机生成数据集的优点： 非常灵活：可以控制样本数量，特征数量，类别数量，问题难易程度等等。 无穷无尽：妈妈再也不用担心我没有数据集了。
98020发布于 2020-07-20 - 来自专栏互联网数据官iCDO
Look-alike用户行为模拟建模背后的科学分析
被吹嘘的Look-alike模型和基于行为特征的Look-alike 我之前曾在博客里为“大数据”大唱赞歌。我们曾经讨论过最优化算法和可以利用大数据来揭示的洞见。 唯一的改变是数据的体量和处理这些数据的速度。重要的是，不管你是在处理线性回归，神经网络学，或者什么完全不一样的东西，你都是在做同一件事情。 他们会设置一个数据阈值，比如说10%－15%的容差。他们中的一部分甚至会根据他们想要覆盖的用户数量凭空改变拟合。换句话说他们是在根据想要为你投放的广告数量来定义模型的。 ? 这个模型独立于数据深度就可以起效，我们关注单个的高提升度用户行为，而非试图在模型中找到具有全部特征的用户。 这个模型透明可见，不只是告诉你模型中的单个的行为组分，我们也为你提供工具方便你查阅。
2.5K50发布于 2018-03-02 - 来自专栏bit哲学院
【4】NumPy 数据类型
参考链接： Numpy 数据类型对象 NumPy 数据类型 numpy 支持的数据类型比 Python 内置的类型要多很多，基本上可以和 C 语言的数据类型对应上，其中部分类型对应为 Python 内置的类型 数据的字节顺序（小端法或大端法）在结构化类型的情况下，字段的名称、每个字段的数据类型和每个字段所取的内存块的部分如果数据类型是子数组，它的形状和数据类型 字节顺序是通过对数据类型预先设定"<"或">"来决定的 'i1', 'i2','i4','i8' 代替 dt = np.dtype('i4') print(dt) 输出结果为： int32 实例 3 import numpy as np # 字节顺序标注 dt = np.dtype('<i4') print(dt) 输出结果为： int32 下面实例展示结构化数据类型的使用，类型字段和对应的实际类型将被创建。 实例 4 # 首先创建结构化数据类型 import numpy as np dt = np.dtype([('age',np.int8)]) print(dt) 输出结果为： [('age', '
89520发布于 2020-12-25 - 来自专栏惊羽-布壳儿
数据结构(4) - 串
在t[j] 时,(j>2)寻找t[0]--->t[j-1] 子串的中心对称点,这样的话,我们将t串向右滑动到中心 对称点的位置,这个时候,前面已经不需要再比对了,(因为中心对称保证了数据的一致性
25220编辑于 2022-06-15 - 来自专栏大数据那些事
hive（4）——元数据概述
前面我所用的表hive_table其实用hive查询时查得还是hdfs上的数据，那我们用mysql到底是存储的什么，元数据到底是什么？ 元数据其实是数据的类型和我们用hive怎么拆分这个表的信息的合集，比如说我去查看我的mysql上的元数据到底长什么样 （1）先进入hive数据库（此数据库事先已经创建好，在hive的配置文件中我们已经设置好 （2）进入hive数据库 ? （3）查看此数据库里面的表 ? DBS表是一个关键的表，查看它： ? 这里就可以看见这份数据在hdfs中的位置 TBLS表 ? ?
86840发布于 2020-11-11 - 来自专栏web前端
smartClient 4--数据集成
一、数据集成 1、smartClient服务框架（使用SQL或者JPA/Hibernate） 推荐！！！ 请求响应转化（如果使用SC服务框架，则不需要转化，直接获取数据） RestDataSource class 同时扮演着请求响应的四个核心角色 4、recordXPath
83360发布于 2018-01-09 - 来自专栏生信菜鸟团
转录组数据过滤-4
生信技能树学习笔记 数据过滤条件 测序得到的原始序列含有接头序列或低质量序列，为了保证信息分析的准确性， 需要对原始数据进行质量控制，得到高质量序列（即Clean Reads），原始序 列质量控制的标准为 ： (1) 去除含接头的reads； (2) 过滤去除低质量值数据，确保数据质量； (3) 去除含有N（无法确定碱基信息）的比例大于5%的reads；（可以根据实际情况） 数据过滤-trim_galore 前台运行命令 暂停命令 Ctrl+Z 查看命令ID 前台转后台 杀程序 后台：Kill -9 %1 前台：Ctrl+C 如何检查脚本内容：echo命令 使用echo将命令打印出来查看是否变量等有错误 数据过滤数据过滤 -trim_galore运行结果 第二种数据过滤软件——fastp https://github.com/OpenGene/fastp 特点：快 fastp常用参数 注意大小写 小技巧：\的妙用 表示手动换行
61310编辑于 2024-07-10 - 来自专栏机器学习与统计学
【大数据名词4】yarn
Yarn是Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序的方法。
31930发布于 2019-04-10 - 来自专栏睡不着所以学编程
数据解析-bs4
怕被人认出来所以将作者名字改掉了 今天学习了数据解析中的bs4。 首先要了解什么是bs4 bs4是BeautifulSoup的简称，我叫他靓汤hhh bs4的原理： - 实例化一个bs对象，且将页面源码数据加载到该对象中。 "douban.html", "w", encoding="utf-8") as fp: fp.write(response) print("done") 然后我们用bs4开始数据解析 首先进行环境的安装 # 在终端terminal中输入以下字符： pip install bs4 pip install lxml 安装好后，就是导入这个模块 from bs4 import BeautifulSoup utf-8") as fp: soup = BeautifulSoup(fp, "lxml") # 第一个参数1是一个文件描述符，第二个参数一定是lxml，表示用lxml这个解析器进行数据解析
1.1K20编辑于 2022-09-20 - 来自专栏数据湖
数据仓库实战 4
20/11/25 11:08:25 INFO mapreduce.Job: Job job_1606125802436_0010 completed successfully ODS层 完全仿照业务数据库中的表字段 COMMENT '支付流水表' PARTITIONED BY ( `dt` string) row format delimited fields terminated by '\t' ; ODS层数据导入脚本 do_date' OVERWRITE into table "$APP".ods_base_category3 partition(dt='$do_date'); " hive -e "$sql" 执行脚本导入数据 ', `create_time` string COMMENT '' ) PARTITIONED BY ( `dt` string) stored as parquet; DWD层数据导入脚本 查看mysql数据 MariaDB [gmall]> select * from ads_gmv_sum_day； +------------+-----------+------------+-
1.7K41发布于 2020-12-18 - 来自专栏数据科学和人工智能
数据集 | PS4游戏数据集
下载数据集请登录爱数科(www.idatascience.cn) 该数据集包括目前适用于 PlayStation 4 的所有游戏。 1. 字段描述 2. 数据预览 3. 字段诊断信息 4. 数据来源 来源于Kaggle。
38410编辑于 2022-03-30 - 来自专栏TA码字
Tomcat NIO(4)-数据读写类
在上一篇文章里我们主要介绍了 tomcat NIO 实现的相关架构类，在这里我们主要介绍数据处理类，即实现读写封装的 Request 和 Response 。 在 tomcat NIO 的实现里，会有一系列处理数据读写的类。并且 tomcat 也实现了servlet 标准，是 servlet 容器。 InputBuffer 类，属于 HttpServletRequest 类的实例，也属于 CoyoteInputStream 类的实例，用来完成请求数据的读取。 NioSelectorPool 类，属于 NioSocketWrapper 类的实例，当数据需要多次读写的时候，监测注册在原始 scoket 上的读写事件是否发生。 用于当数据不可读，或者不可写的时候对 tomcat io 线程的阻塞，即如果数据不可读写，tomcat io 线程会分别在 readLatch 实例和 writeLatch 实例上等待。
1.1K40发布于 2020-07-27 - 来自专栏mysql
hhdb数据库介绍(4)
数据节点 数据节点（Datanode,可以简称为DN）是一组具有相同数据副本的存储节点的统称。数据节点可以是一个存储节点 MGR集群，也可以是一个存储节点主从复制集群。 数据节点管理一组存储节点（具有相同数据副本）的复制关系。数据节点在HHDB Server中作为一个分片数据存在，所有的数据节点一起构成HHDB Server的全量数据。 为了实现高可用和数据多副本功能，HHDB Server中将具有相同数据副本的一组（多个）存储节点称为一个数据节点。 表类型 定义 水平分片表 水平分片表是指将表的数据按行以分片列的分片规则进行拆分，拆分后的分片数据存储不同的数据节点。数据量大的表适合定义为水平分片表。 分片规则 分片规则又称拆分规则，通过相应的分片函数对分片表中的数据进行对应的数据拆分，分片规则决定了一条分片字段数据为某特定数值的数据记录存储于哪一个数据节点之上。
23010编辑于 2025-03-07 - 来自专栏多线程
MyBatis查询数据库（4）
</if> #{birthday}, #{head} ) </insert> 需要注意 test 中的 sex，是传入对象中的属性，不是数据库字段 = null”> 中的 createTime 是传入对象的属性，不是数据库字段 三、标签 传入的用户对象，根据属性做 where 条件查询，用户对象中属性不为 null 的，都为查询条件。 四、标签 根据传入的用户对象属性来更新用户数据，可以使用标签来指定动态内容。 Set，Map或数组对象 item：遍历时的每⼀个对象 open：语句块开头的字符串 close：语句块结束的字符串 separator：每次遍历之间间隔的字符串 示例：根据多个文章 id 来删除文章数据 你可以根据自己的需求和情况，结合使用这些特性来构建更灵活、可维护的数据库操作语句。记得阅读MyBatis的官方文档以深入了解动态SQL的更多用法和细节。
44820编辑于 2023-10-16 - 来自专栏有趣的django
4.alembic数据迁移工具
alembic是用来做ORM模型与数据库的迁移与映射。 charset=utf8 （4）将models所在的目录路径添加到env.py，并指定target_metadata import sys,os # 1. #2.os.path.dirname(__file__)：获取当前文件的目录 #3.os.path.dirname(os.path.dirname(__file__))：获取当前文件目录的上一级目录 #4. 解决办法：删除数据的alembic_version表中的数据，重新执行alembic upgrade head 1.3.current命令使用介绍 用alembic工具：数据库中会自动生成一张表 if __name__ == '__main__': app.run() （3）初始化 alembic init alembic （4）alembic.ini sqlalchemy.url =
2.1K30发布于 2019-02-13 - 来自专栏ellipse数据库技术
数据结构与算法（4）
（4）散列表（哈希表Hash）的存储和查找：处理冲突的方法：开地址法（线性探测法）、拉链法等 负载因子(装填因子)=表实际存储的结点个数/表的最大能存储结点个数（即表长） 二叉排序树：每个结点左子树的所有关键码值都小于该结点关键码值
45140发布于 2019-08-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号