- 综合排序
- 最热优先
- 最新优先
- 来自专栏阶梯计划
小白的大数据笔记——3(统计学1)
1 前言 大数据分析少不了统计学的知识，最近在看可汗的统计学视频，重新温习书本知识。 2 P1~P19的知识点概述 2.1 统计分类 描述统计学：是阐述如何对客观现象的数量表现进行计量、搜集、整理、表示、一般分析与解释的一系列统计方法。 其内容包括统计指标、统计调查、统计整理、统计图表、集中趋势测度、离散程度测度、统计指数、时间数列常规分析等理论和方法。 归纳统计学：又称推断统计学主要阐述如何根据部分数据(样本统计量)去推论总体的数量特征及规律性的一系列理论和方法，其主要内容包括概率与概率分布、参数估计、假设检验、抽样调查、方差分析、相关与回归分析、统计预测 这里除以n-1是为了减少样本方差被低估带来的影响 2.4.3 标准差 总体标准差：\sigma=\sqrt{\sigma^2} 样本标准差：S=\sqrt{S^2} 标准差能更好的体现集中趋势（如果集合数据单位是米
75910发布于 2021-02-24 - 来自专栏python3
数据统计
) a.shape TensorShape([4, 28, 28, 3]) tf.norm(a) <tf.Tensor: id=25, shape=(), dtype=float32, numpy=96.99484 2, 1, 3, 1, 2, 1])> # 对第1维作用 tf.argmin(a).shape TensorShape([10]) # 对第2维作用 tf.argmin(a, axis=1).shape TensorShape([4]) tf.equal a = tf.constant([1, 2, 3, 2, 5]) b = tf.range(5) tf.equal(a, b) <tf.Tensor =int32)>) a = tf.constant([4, 2, 2, 4, 3]) a <tf.Tensor: id=226, shape=(5,), dtype=int32, numpy=array ([4, 2, 2, 4, 3], dtype=int32)> res = tf.unique(a) Unique(y=<tf.Tensor: id=228, shape=(3,), dtype=int32
1.3K10发布于 2020-01-16 - 来自专栏全栈程序员必看
数据分析统计
by OI.AMNT desc group by to_char(OI.CRETE_DATE,'yyyy-mm-dd hh24') order by c desc 按小时统计数据
68320发布于 2021-05-19 - 来自专栏数据处理
考勤数据统计
读取考勤数据 import pandas as pd myKq = pd.read_excel("kq.xlsx") myKq[u'打卡日期'].values array([u'2017-12-29 17
2.4K30发布于 2018-06-01 - 来自专栏Linux基础入门
Pandas | 数据统计
前言 本次我们介绍Pandas数据统计函数，如针对数值类型的统计（获取样本个数、平均值、标准差、极值等）；针对非数值类型的统计（获取每个类型的个数）以及计算相关系数和协方差。 本文框架 0. 读取数据与数据预处理 2. 汇总类统计 3. 获取唯一值与按值计数 4. 相关系数与协方差 0. 导入Pandas import pandas as pd 1. 读取数据与数据预处理 # 读取数据 data = pd.read_csv(". 汇总类统计 针对数值列，我们可以使用"df.describe()"将统计结果计算出来，返回结果有个数（count）、平均数（mean）、标准差（std）、最小值（min）、最大值（max）以及分位数（25% # 数据统计 data.describe() # 返回结果 bWendu yWendu aqi aqiLevel count 365.000000
1K10编辑于 2022-12-20 【详解】thinkphp3.x中数据的查询-区间查询、统计查询
ThinkPHP3.x 中数据的查询 - 区间查询、统计查询在Web开发中，数据库操作是不可或缺的一部分。 ThinkPHP作为一款流行的PHP框架，提供了丰富的数据库操作方法，使得开发者能够更加高效地进行数据查询。本文将详细介绍ThinkPHP3.x中如何实现区间查询和统计查询。1. $totalUsers;ThinkPHP 3.x 是一个非常流行的 PHP 框架，它提供了丰富的数据库操作方法，包括区间查询和统计查询。下面我将分别给出这两个查询类型的示例代码。 在ThinkPHP 3.x框架中，数据查询是非常常用的功能之一，包括了基本的查询、条件查询、区间查询、统计查询等。下面我将详细介绍如何在ThinkPHP 3.x中实现区间查询和统计查询。 统计查询统计查询主要用于计算数据库中某些字段的统计数据，如总和、平均值、最大值、最小值等。
19810编辑于 2025-12-01- 来自专栏悠扬前奏的博客
LintCode-3.统计数字
题目 描述 计算数字k在0到n中的出现的次数，k可能是0~9的一个值 样例 例如n=12，k=1，在 [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12]，我们发现1出现了 5次 (1, 10, 11, 12) 解答 思路 把数字当成字符串，拆成字符数组，统计k作为字符在字符数组中的出现次数。
49520发布于 2019-05-28 - 来自专栏涛的程序人生
【matplotlib】3-绘制统计图形
文章目录 绘制统计图形 1.柱状图 1.1 应用场景--定性数据的分布展示 1.2 绘制原理 2.条形图 3.堆积图 3.1 堆积柱状图 3.2 堆积条形图 4.分块图 4.1 多数据并列柱状图 4.2 案例2--带误差棒的条形图 10.5 案例3--带误差棒的多数据并列柱状图 10.6 案例4--带误差棒的堆积柱状图 绘制统计图形 1.柱状图 柱状图是描述统计中使用频率非常高的一种统计图形。 因此，堆积图顾名思义就是将若干统计图形堆叠起来的统计图形，自然是一种组合式图形。 离群值Outlier的判断标准是value<(Q1-whisxIQR)或者value>(Q3+whisxIQR)，其中，value是数据集data中的数据点。 误差棒图就是可以运用在这一场景中的很理想的统计图形。
2.7K10编辑于 2022-12-28 - 来自专栏云飞学编程
用python统计“3d”彩票热门数据，看看今天运势如何！
快下班了，正好准备去买彩票，就顺手写了2个脚本，一个用来下载最近的彩票数据，一个用来统计彩票数字，分享给大家！ ? 彩票数据获取并写入excel表格 数据来源自己看吧~用外链通不过。。。 因为存入excel文件的时候用的是列表，所以新建一个函数，分别取网页5个数据：时间、期数、开奖数123，然后每一页嵌套写入列表类似结构为[[时间、期数、开奖数1，2，3],[时间、期数、开奖数1，2，3 其他方面都很简单，没有反爬，就是为了获取数据，好做分析！ ? 最后excel表中的数据 是这样的： ? 最后大概有4840行数据，足够我们分析的了！ 先读取数据，然后取到每一行的2.3.4列，每一列写入一个列表（现在有些后悔，不该写那么多数据进来）,然后3个列表合并一个总列表，这样我们就有了4个列表，取出每一个列表中出现次数最多的那个数字，代码如下： 第1个数字频率最高的是 [3] 第2个数字频率最高的是 [6] 第3个数字频率最高的是 [8] 单个数字频率最高的是 [3] 因为赶时间下班。。
91030发布于 2018-09-14 - 来自专栏PPV课数据科学社区
【PPT】国家统计局：大数据与统计
【热门下载】 2015中国数据分析师行业峰会精彩PPT下载（共计21个文件） 关注PPV课微信菜单栏回复“2015数据分析师”即可下载 转自：数据观
1.8K40发布于 2018-04-24 - 来自专栏菲宇
Django 数据统计查询
原文链接：https://www.cnblogs.com/jingqi/p/7425423.html Django 数据库抽象 API 描述了如何创建、检索、 但是在输了的数据中只会包含作者名和 average_rating 的统计。 你可以注意到 average_rating 在例子中显示地定义了。 缺省排序或 order_by() 子句的副作用 一个查询集中 order_by() 子句中的字段（或一个模型中缺省排序字段）会对输了数据产生影响，即使在 values() 中没有这些字段的定义时也同样会影响 但是在输了的数据中只会包含作者名和 average_rating 的统计。 你可以注意到 average_rating 在例子中显示地定义了。 缺省排序或 order_by() 子句的副作用 一个查询集中 order_by() 子句中的字段（或一个模型中缺省排序字段）会对输了数据产生影响，即使在 values() 中没有这些字段的定义时也同样会影响
3K20发布于 2019-08-14 - 来自专栏大数据&分布式
Spark CBO统计元数据
统计信息 Spark 2.2 开始支持CBO优化，触发统计元数据更新的时机如下： ANALYZE：AnalyzeTableCommand、AnalyzeColumnCommand； ALTER：AlterTableAddPartitionCommand Spark的元数据统计信息的获取有三种方式： 基于持久化的元数据metastore获取，目前仅支持Hive metastore； 基于InMemoryFileIndex，调用底层存储API(Hadoop Spark表统计有如下配置主键： spark.sql.statistics.totalSize：表数据文件总大小，单位byte； spark.sql.statistics.numRows：表数据总行数； ("table").count()； 字段统计信息：调用CommandUtils#computeColumnStats 封装执行，CommandUtils#computePercentiles 支持直方图统计各分段数据 (默认254分段)，字段统计执行Spark Aggregate算子实现； 统计元数据获取：获取表、分区信息会自动补充上统计元数据信息； 统计元数据更新：SessionCatalog#alterTableStats
71396编辑于 2025-03-20 - 来自专栏Vamei实验室
统计02：怎样描绘数据
统计最开始的主要任务就是描述数据。正如我们在统计概述中提到的，群体的数据可能包含大量的数字，往往让人读起来头昏脑涨。电影《美丽心灵》中，数学家纳什不自觉地沉浸在一串数字中。 从物理的角度上来看，平均值和标准差所带的单位，都和原始数据相同。在多数统计案例中，大部分的群体数据会落在平均值加减一个标准差的范围内。 还有一些参数要通过对群体成员进行排序才能获得。 由于人们已经形成了约定俗成的数据绘图习惯，绘图方式上的过度创新甚至会误导读者。所以，这里出现的，也是经典的统计绘图形式。 有的统计学家更偏爱R语言，而Web开发者流行使用D3.js。熟悉了一种绘图工具后，总可以触类旁通，很快地掌握其他的工具。 总结 在这一篇文章里，我主要用参数和绘图呈现群体的数据。类似的方法还经常用于呈现样品数据。由于在描绘样品时需要涉及到统计推断，所以我把样品描绘的方法放在将在统计推断的相关文章中讲解。
1.9K70发布于 2018-01-18 - 来自专栏程序猿的大杂烩
使用Hadoop统计日志数据
离线数据处理流程： 数据采集 例如可以使用Flume进行数据的采集：将web日志写入到HDFS 数据清洗 可以使用Spark、Hive、MapReduce等框架进行数据的清洗，清洗完之后的数据可以存放在 HDFS或者Hive、Spark SQL里 数据处理 按照我们的需求进行相应业务的统计和分析 数据处理结果入库 结果可以存放到RDBMS、NoSQL数据库 数据的可视化展示 通过图形化展示的方式展现出来 ---- 项目需求 需求: 统计网站访问日志中每个浏览器的访问次数 日志片段如下： 183.162.52.7 - - [10/Nov/2016:00:01:02 +0800] "POST /api3/getadv a6e8e14701ffe9f6063934780d9e2e6d&token=f51e97d1cb1a9caac669ea8acc162b96 "mukewang/5.0.0 (Android 5.1.1; Xiaomi Redmi 3 Build/LMY47V),Network 2G/3G" "-" 10.100.134.244:80 200 0.027 0.027 10.100.0.1 - - [10/Nov/2016:00:01:
1.5K20发布于 2020-09-23 - 来自专栏呆呆敲代码的小Y 公众号
Unity3D基础知识之 ✨ Stats渲染数据统计窗口
Stats窗口 Stats窗口，全程叫做 Rendering Statistics Window , 即渲染数据统计窗口，它会实时统计数据。 ? 一般来说，引擎每对一个物体进行一次 DrawCall，就会产生一个 Batch，这个 Batch 里包含着该物体所有的网格和顶点数据，当渲染另一个相同的物体时，引擎会直接调用 Batch 里的信息，将相关顶点数据直接送到 3、为了提升 GPU 的渲染 效率，应当尽可能的在一个物体上使用较少的材质，减少 Batches 过多的开销。 SetPass calls 在 Unity4.x 和 3.x 原来的 Stats 面板的第一项是“Draw calls”，然而到了 Unity5.X版本， Stats 上没有了“Draw calls”， （参考自Mess的《Unity Camera组件部分参数详解》） 3、新建一个空的场景，里面没有添加任何物体，为什么 status 面板上显示有 1.7k Tris 以及 5.0k Verts 。
2.5K30发布于 2021-08-12 - 来自专栏机器学习与统计学
Duke@coursera 数据分析与统计推断 unit3 foundations for inference
weretrue, and hence do not reject H0 interpreting the p-value ‣ If in fact college students have been in3 reject H0. ‣ The data do not provide convincingevidence that college students have been in more than 3 relationships onaverage. ‣ The difference between the null value of3 relationships and the observed sample
91310发布于 2019-04-10 - 来自专栏大数据&分布式
Presto CBO统计元数据
Presto基于ConnectorMetadata#getTableStatistics获取元数据信息，目前仅Hive Connector、Iceberg Connector支持获取元数据的统计信息，统计信息用于树节点 、getPartitionStatistics； Iceberg统计元数据：基于TableScan#planFiles 列出元数据文件，对元数据文件遍历操作，获取统计信息。 支持获取元数据的统计信息，统计信息用于树节点Visitor遍历的CBO优化： Hive统计元数据：调用HiveStatisticsProvider#getTableStatistics方法，底层调用对应 列出元数据文件，对元数据文件遍历操作，获取统计信息； 统计元数据更新：MetadataManager#finishStatisticsCollection 控制元数据统计更新操作，仅Hive Connector 实现元数据统计执行，调用HiveMetadata#finishStatisticsCollection实现。
54342编辑于 2024-05-12 - 来自专栏大数据成长之路
基于flink的电商用户行为数据分析【3】| 实时流量统计
前言 在上一期内容中，菌哥已经为大家介绍了实时热门商品统计模块的功能开发的过程(?基于flink的电商用户行为数据分析【2】| 实时热门商品统计)。 统计每小时的访问量（PV），并且对用户进行去重（UV） 解决思路 – 统计埋点日志中的 pv 行为，利用 Set 数据结构进行去重 – 对于超大规模的数据，可以考虑用布隆过滤器进行去重 定义样例类ApacheLogEvent，这是输入的日志数据流；另外还有UrlViewCount，这是窗口操作统计的输出数据类型。 line.split(" ") val sdf = new SimpleDateFormat("dd/MM/yyyy:HH:mm:ss") val timestamp = sdf.parse(linearray(3) SimpleDateFormat("dd/MM/yyyy:HH:mm:ss") val timestamp: Long = simpleDateFormat.parse(dataArray(3)
2.7K10发布于 2021-01-27 - 来自专栏奔跑的键盘侠
Python——大数据词频统计
今天来讲一个词频统计的方法，说高大上一点，就是大数据分析；看完以后，也不过数行代码而已。 用途倒是很广泛，比如我们统计某篇文章中的用词频率，网络热点词汇，再比如起名排行榜呀、热门旅游景点排行榜呀什么的，其实也都可以套用。 1 coding #! too:3 a:3 the:3 :3 of:3 That:3 其中用到了sorted关键字的取值排序。 2 补充一个Counter函数用法 python内置模块collections中有个Counter函数，功能也极为强大，做实验设计可能会到，不过跟上面的单词统计不太一样。 | | >>> c = Counter('abcdeabcdabcaba') # count elements from a string | | >>> c.most_common(3)
1.8K10发布于 2020-03-31 - 来自专栏生信小驿站
pandas入门①数据统计
import pandas as pd import numpy as np import matplotlib.pyplot as plt 创建对象 # In[*] s = pd.Series([1,3,5 ,np.nan,6,8]) s = pd.Series([1,3,5,np.nan,6,8]) s Out[4]: 0 1.0 1 3.0 2 5.0 3 NaN df.columns 查看列名 df.values 查看矩阵 df.shape()：查看行数和列数 df.info()：查看索引、数据类型和内存信息 df.describe()：查看数值型列的汇总统计 ,['A','B']] Out[23]: A B 1 1.0 2013-01-02 2 1.0 2013-01-02 3 1.0 2013-01-02 数据统计 df.describe ()：查看数据值列的汇总统计 df.mean()：返回所有列的均值 df.corr()：返回列与列之间的相关系数 df.count()：返回每一列中的非空值的个数 df.max()：返回每一列的最大值
1.9K20发布于 2018-08-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号