- 综合排序
- 最热优先
- 最新优先
- 来自专栏vivo互联网技术
探究Presto SQL引擎(4)-统计计数
作者：vivo互联网用户运营开发团队 - Shuai Guangying本篇文章介绍了统计计数的基本原理以及Presto的实现思路，精确统计和近似统计的细节及各种优缺点，并给出了统计计数在具体业务使用的建议 通常的计数是非常简单的，例如统计文本行数在linux系统上一个wc命令就搞定了。除了通常的计数，统计不重复元素个数的需求也非常常见，这种统计称为基数统计。 例如：执行了10轮，可能的结果如下：3,1,4,1,1,2,3,4,1,1执行了100轮，可能的结果如下：1,1,2,1,1,2,1,4,2,1,3,1,1,1,1,3,1,2,1,1,2,4,2,3,2,1,1,1,3,1,2,2,6,1,2,4,1,2,2,1,1,3,1,1,1,1,1,1,1,1,1,4,2,1,1,1,1,1,3,1,2,4,4,4,1,3,2,1,5,1,1,1,1,1,1,1,5,1,1,7,1,1,4,1,3,2,1,1,5,2,1,1,5,2,1,1,4,1,1,1 执行了1000轮，可能的结果如下：1,2,1,2,1,3,3,3,1,1,2,2,1,2,1,1,1,1,1,2,1,7,1,1,1,2,2,1,1,3,5,2,3,2,3,1,1,3,1, ...,4,1,1,1,2,2,1,3,1,1,1,2,1,1,1,2,1,4,2,2,1,2,2,2,1,1,1,2,2,2,1,1,1,2,2,1,1,3,2,6,1,1,1,2,1,1,1,1,1,1,1,2,1,1,1,1,2,1 理解了精确统计和近似统计的细节及各种优缺点，处理问题的思路就会更开阔。
1.6K20编辑于 2022-11-01 - 来自专栏涛的程序人生
【matplotlib】4-完善统计图形
完善统计图形 1 添加图例和标题 在绘图区域中可能会出现多个图形，而这些图形如果不加以说明，观察者则很难识别出这些图形的主要内容。因此，我们需要给这些图形添加标签说明，用以标记每个图形所代表的的内容。 = ["面粉", "砂糖", "奶油", "草莓酱", "坚果"] weight = [40, 15, 20, 10, 15] colors = ["#e41a1c", "#377eb8", "#4daf4a 通过matplotlib可以绘制精美的统计图形，数据可视化的主要作用就是直观地解释数据，以使观察者可以发现数据背后的规律或者变化趋势。 有时为了更加全面地凸显数据的规律和特点，需要将统计图形和数据表格结合使用。 D难度水平" students = [0.35, 0.15, 0.20, 0.30] explode = (0.1, 0.1, 0.1, 0.1) colors = ["#377eb8", "#4daf4a
3.6K20编辑于 2023-05-09 - 来自专栏机器学习、深度学习
统计学习导论 Chapter4--Classification
模型的拟合可以通过统计软件包里的相关函数很容易实现，所以我们不需要关注其拟合细节。
67560发布于 2018-01-03 - 来自专栏Java Web
Reids(4)——神奇的HyperLoglog解决统计问题
一、布隆过滤器简介 上一次 我们学会了使用 HyperLogLog 来对大数据进行一个估算，它非常有价值，可以解决很多精确度不高的统计需求。 integer) 1 127.0.0.1:6379> bf.exists codehole user3 (integer) 1 127.0.0.1:6379> bf.exists codehole user4 (integer) 0 127.0.0.1:6379> bf.madd codehole user4 user5 user6 1) (integer) 1 2) (integer) 1 3) (integer ) 1 4) (integer) 0 上面使用的布隆过过滤器只是默认参数的布隆过滤器，它在我们第一次 add 的时候自动创建。 ——神奇的HyperLoglog解决统计问题 - https://www.wmyskxz.com/2020/03/02/reids-4-shen-qi-de-hyperloglog-jie-jue-tong-ji-wen-ti
91320发布于 2020-03-20 - 来自专栏人人都是数据分析师
统计学(4)|AB测试—实验流程
因此需要计算满足实验要求的最小样本量，最小样本量是根据统计功效进行计算的，主要分两类：绝对值类（例如：UV）和比率类（例如：点击率）： （1）均值类 均值类假设检验形式通常为： 故对应的样本量计算公式为 ： 其中，两组样本量之比为 统计功效的计算公式为： （2）比例类 均值类假设检验形式通常为： 故对应的样本量计算公式为： 统计功效的计算公式为： 4实验有效天数 实验的有效天数的确定需要考虑两个因素 5实验结果分析 此部分内容我们在上一篇文章中有了非常详尽的叙述，有兴趣的可以参考： 统计学(3)|AB测试—实验结果分析
1.6K10发布于 2021-05-13 - 来自专栏深度学习和计算机视觉
【从零学习OpenCV 4】图像像素统计
经过几个月的努力，小白终于完成了市面上第一本OpenCV 4入门书籍《从零学习OpenCV 4》。 为了更让小伙伴更早的了解最新版的OpenCV 4，小白与出版社沟通，提前在公众号上连载部分内容，请持续关注小白。 我们可以将数字图像理解成一定尺寸的矩阵，矩阵中每个元素的大小表示了图像中每个像素的亮暗程度，因此统计矩阵中的最大值，就是寻找图像中灰度值最大的像素，计算平均值就是计算图像像素平均灰度，可以用来表示图像整体的亮暗程度 因此针对矩阵数据的统计工作在图像像素中同样具有一定的意义和作用。在OpenCV 4中集成了求取图像像素最大值、最小值、平均值、均方差等众多统计量的函数，接下来将详细介绍这些功能的相关函数。 需要注意的是，该函数的返回值是一个cv::Scalar类型的变量，函数的返回值有4位，分别表示输入图像4个通道的平均值，如果输入图像只有1个通道，那么返回值的后三位都为0，例如输入该函数一个单通道平均值为
2.1K10发布于 2019-11-22 - 来自专栏Java那些事
Reids(4)——神奇的HyperLoglog解决统计问题
关于基数统计 基数统计(Cardinality Counting) 通常是用来统计一个集合中不重复的元素个数。 为了一个去重功能耗费的资源就可以直接让你 老板打死你； 统计复杂： 这么多 set 集合如果要聚合统计一下，又是一个复杂的事情； 基数统计的常用方法 对于上述这样需要 基数统计 的事情，通常来说有两种比 上述代码就有 1024 个 "评委"，并且在计算平均值的时候，采用了 调和平均数，也就是倒数的平均值，它能有效地平滑离群值的影响： avg = (3 + 4 + 5 + 104) / 4 = 29 avg = 4 / (1/3 + 1/4 + 1/5 + 1/104) = 5.044 观察脚本的输出，误差率百分比控制在个位数： 100000 94274.94 0.06 200000 194092.62 比如 10101011 表示连续 4 个计数值都是 11。
79420发布于 2020-03-13 - 来自专栏AI那点小事
10-排序4 统计工龄 (20分)
输入首先给出正整数NN（\le 10^5≤10 5 ），即员工总人数；随后给出NN个整数，即每个员工的工龄，范围在[0, 50]。
52310发布于 2020-04-18 - 来自专栏育种数据分析之放飞自我
R语言进阶笔记4 | dplyr 汇总统计
之前写过一篇博文（汇总统计？一个函数全部搞定！），介绍R中编写一个函数，进行汇总统计。效果很不错。今天用tidyverse包实现一下，多角度尝试，然后尝试中学习。 1. 相关的统计参数： 最大值 最小值 极差 平均值 标准差 变异系数 2. 模拟数据 首先，我模拟一个20行5列的数据框，每一列都是数值的数据类型。 dplyr的方法 4.1 编写函数 处理流程： 首先定义一个func函数，计算相关的汇总参数 使用summarise_if 函数，或者summarise_all函数，计算汇总统计 使用t()进行转置 V4 100. 5 V5 100. 6 V1 99.8 5.3 汇总统计 然后使用group_by函数，和summarise函数，进行汇总统计： d1 %>% group_by V4 97.7 99.9 102. 0.973 1998. 5 V5 99.0 100. 102. 0.829 2008.
1.4K10发布于 2021-01-12 - 来自专栏Python数据分析实例
统计分布太难懂？Python+统计学轻松搞定4种常用分布
本文用Python统计模拟的方法，介绍四种常用的统计分布，包括离散分布：二项分布和泊松分布，以及连续分布（指数分布、正态分布），最后查看人群的身高和体重数据所符合的分布。 使用统计模拟，首先要产生随机数，在Python中，numpy.random 模块提供了丰富的随机数生成函数。 np.random.seed(123) 在NumPy中，不仅可以生成上述简单的随机数，还可以按照一定的统计分布生成相应的随机数。 这里列举了二项分布、泊松分布、指数分布和正态分布各自对应的随机数生成函数，接下来我们分别研究这四种类型的统计分布。 同样使用统计模拟的方法绘制该泊松分布，这里假设每小时平均来6辆车（即上述公式中lambda=6）。
1.8K10编辑于 2022-05-25 - 来自专栏科技记者
ade4TkGUI可视化统计和绘图
lang=eng 一、ade4TkGUI简介 ade4是里昂大学生物统计学和进化生物学实验室（UMR 5558）开发的R包。 目的是促进对 ade4[1]软件包的访问，尤其是对于初学者或偶尔使用的用户。ade4TkGUI是 GitHub[2]软件包，正在开发的版本可在此处用于 Mac[3]和 Windows[4]。 二、安装和使用 ade4TkGUI是R-Forge[5]软件包。 要安装它，只需在R中[6]键入以下命令： install.packages("ade4TkGUI",repos="http://R-Forge.R-project.org") ade4TkGUI[7] img 参考资料 [1]ade4: http://pbil.univ-lyon1.fr/ade4 [2]GitHub: https://github.com/aursiber/ade4TkGUI [3]
59020发布于 2020-06-16 - 来自专栏数据结构与算法
26:统计满足条件的4位数个数
26:统计满足条件的4位数个数 总时间限制: 1000ms 内存限制: 65536kB描述 给定若干个四位数，求出其中满足以下条件的数的个数： 个位数上的数字减去千位数上的数字，再减去百位数上的数字 6119 2123 5017 样例输出 3 来源习题(5-7) 1 #include<iostream> 2 #include<cstdio> 3 #include<cstring> 4
2.9K40发布于 2018-04-03 什么是4g双目客流统计系统？客流统计摄像头是如何工作的？
那么什么是4g双目客流统计系统？客流统计摄像机是如何工作的？今天一起来看下。一、什么是4g双目客流统计系统？ 4g则代表支持4g通讯，如今很多客流统计摄像机，只支持网线或者wifi通讯，一旦所处环境断网，那么数据的传输就会受到影响，而支持4g通讯的设备，可以立即转换成4g通讯，避免这个问题。 二、客流统计摄像机是如何工作的？4g双目客流统计系统，主要工作流程是镜头采集图像，算法分析计数两方面。 四、选择设备要注意的几点1、算法要先进只有先进的算法，才能保障数据的统计精度，这样的数据才有实际价值。 可以看出，4g双目客流统计系统是目前非常先进的一款设备，不管是技术上还是成本上都有优势，可以助力商场、餐厅、场馆等室内场景，提高客流数据的统计效率与质量，帮助管理方实现更好的运营。
25800编辑于 2025-12-11- 来自专栏又见苍岚
Next -4- 增加站点访客、文章阅读量、字符统计、阅读时间统计与对应词条翻译
有时数据统计会失效，此时删除hexo根目录的db.json，执行命令： hexo clean hexo g 字符统计、阅读时间统计 启用 hexo-symbols-count-time ，官方 install hexo-symbols-count-time 在站点配置文件加入： symbols_count_time: symbols: true # 文章字数统计 # 站点总阅读时长 exclude_codeblock: false # 排除代码字数统计 可以调整主题配置文件： # Post wordcount display settings 及 阅读时长 item_text_post: true # 文章 字数统计 阅读时长 使用图标 还是 文本表示 item_text_total: true # 博客底部统计 字数统计 阅读时长 使用图标 还是 文本表示 awl: 4 wpm: 275 对应词条翻译 对上述词条翻译找了好久，终于摸索出来了，在此贡献给大家，在zh-Hans.yml中加入： post: views
92320编辑于 2022-08-04 - 来自专栏猫头虎博客专区
这4种方式，统计代码执行耗时，才足够优雅！
跟大家分享一下，如何在代码中，统计接口耗时，最优雅，性能最高，接下来我将介绍4种统计方式，如果你有更好的方式，欢迎文末留言区，交流 一、前言 代码耗时统计在日常开发中算是一个十分常见的需求，特别是在需要找出可能也是受限于 Java 的语言特性，总觉得代码写起来不够优雅，大量的耗时统计代码，干扰了业务逻辑。 在开始正文前，先说下前提，“代码耗时统计”的并不是某个方法的耗时，而是任意代码段之间的耗时。 ： 通过调用 Start(name) 和 Stop() 方法，进行耗时统计。 这种方式本质上和“时间差统计”是一致的，只是抽取了一层，稍微优雅了一点。
1.7K10编辑于 2024-04-07 - 来自专栏Python编程爱好者
4. Pandas系列 - 基本功能和统计操作
一、系列基本功能 二、DataFrame基本功能 三、基本统计性聚合函数 sum()方法 sum()方法 - axis=1 mean()方法 std()方法 - 标准差 四、汇总数据 包含字符串列 五、 全部包含 一、系列基本功能 编号 属性或方法 描述 1 axes 返回行轴标签列表 2 dtype 返回对象的数据类型(dtype) 3 empty 如果系列为空，则返回True 4 ndim 返回底层数据的维数 40 David 2.98 9 30 Gasper 4.80 10 51 Betina 4.10 11 46 Andres 3.65 三、基本统计性聚合函数 df.std() res: Age 9.232682 Rating 0.661628 dtype: float64 四、汇总数据 describe()函数 ：DataFrame列的统计信息 29.500000 3.790000 75% 35.500000 4.132500 max 51.000000 4.800000 可以看到，默认情况下排除了字符串列，只统计了数字的列
96510发布于 2020-09-08 - 来自专栏机器学习/数据可视化
NLP经典书籍鱼书笔记4：对比计数统计和推理
图片 对比计数统计和推理两种方法 基于计数的方法 基于计数的方法是根据一个单词周围的单词的出现次数来表示该单词。 goodbye and I say hello.' corpus, word_to_id, id_to_word = preprocess(text) corpus array([0, 1, 2, 3, 4, 1, 5, 6]) id_to_word {0: 'you', 1: 'say', 2: 'goodbye', 3: 'and', 4: 'i', 5: 'hello', 6: '.'} corpus [1:-1] array([1, 2, 3, 4, 1, 5]) def create_contexts_target(corpus, window_size=1): target = corpus , [3, 1], [4, 5], [1, 6]]) target # 目标值 array([1, 2, 3, 4, 1, 5]) convert_one_hot
84010编辑于 2023-02-28 - 来自专栏祥子的故事
统计 | 统计功效 | R语言
在现行的大学教科书中，根本没有提及将假的判为真的概率计算公式，下面来介绍如何计算统计功效，并介绍它的含义。 统计功效=1−β=1−p(接受H0|H0为假)=p(拒绝H0|H0为假) \mbox{统计功效} = 1 - \beta = 1- p( \mbox{接受} H_{0} | H_{0} \mbox 计算公式如下： 统计功效=p(拒绝H0|H0为假)=p(|x¯−y¯S2xnx+S2ymy−−−−−−−√|>z1−α/2|δ) \mbox{统计功效} = p( \mbox{拒绝} H_{0} | 在学术界，统计功效的设定一般为0.8，将它作为计算的阈值。在p-value小于0.05且power大于0.8时认为是有显著差异的。 [1] http://cos.name/2016/03/asa-statement-on-p-value/#more-11902 [2] http://www.jianshu.com/p/b0f4c01c7602
2.6K20发布于 2019-02-18 - 来自专栏我的充电站
概率论与数理统计 Chapter4. 参数估计
image.png image.png
12120编辑于 2022-04-13 - 来自专栏IT从业者张某某
4-网站日志分析案例-日志数据统计分析
文章目录 4-网站日志分析案例-日志数据统计分析 一、环境准备与数据导入 1.开启hadoop 2.导入数据 二、借助Hive进行统计 1.1 准备工作：建立分区表 1.2 使用HQL统计关键指标 总结 4-网站日志分析案例-日志数据统计分析 一、环境准备与数据导入 1.开启hadoop 如果在lsn等虚拟环境中开启需要先执行格式化 hadoop namenode -format 启动Hadoop start-dfs.sh DISTINCT ip) AS IP FROM logtable WHERE logdate='2015_05_30'; select * from logtable_ip_2015_05_30 ; （4） Sqoop导入到MySQL以及可视化展示部分不再介绍，详细可参考 https://www.cnblogs.com/edisonchou/p/4464349.html 总结 本文为网站日志分析案例的第4部分 ，基于MR清洗后的数据导入HIVE中，然后进行统计分析。
1.1K30编辑于 2022-11-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号