首页
学习
活动
专区
圈层
工具
发布

超全整理100个 Pandas 函数,建议收藏!

人生苦短,快学Python! 今天给大家整理了100个Pandas常用的函数。 分别分为6类:统计汇总函数、数据清洗函数、数据筛选、绘图与元素级运算函数、时间序列函数和其他函数。...统计汇总函数 函数 含义 min() 计算最小值 max() 计算最大值 sum() 求和 mean() 计算平均值 count() 计数(统计非缺失元素的个数) size() 计数(统计所有元素的个数...argmax() 寻找最大值所在位置 any() 等价于逻辑“或” all() 等价于逻辑“与” value_counts() 频次统计 cumsum() 运算累计和 cumprod() 运算累计积...() 按值替换(不可使用正则) str.replace() 按值替换(可使用正则) str.split.str() 字符分隔 数据筛选函数 函数 含义 isin() 成员关系判断 between()...() 转为字典 tolist() 转为列表 unique() 元素排重

1.7K30

大数据分析工具Power BI(七):DAX使用场景及常用函数

操作如下: 同样的方式我们也可以创建可视化表将"门店信息表"中的"商圈类型"与"总营收金额"展示在一起,如下: 并且还可以点击两表中不同的行进行联动,如下: 二、计数统计 在Power BI中用于计数的函数有两个...度量值拖入到之前创建的"多行卡"中,操作如下: 除了以上计数的需求外,在数据分析时我们还需要进行去重统计,这就需要用到DISTINCTCOUNT函数,DISTINCTCOUNT函数的用法如下: DISTINCTCOUNT...六、累计统计 在Power BI中针对时间维度进行累计值统计也是常见的场景,例如统计每月累计交易额、统计每个季度累计交易额等,这就要使用到累计相关的DAX函数,累计相关的DAX函数有三个:TOTALYTD...完成以上需求首先创建"年累计营收"度量值,并输入度量值DAX公式:年累计营收 = TOTALYTD('度量值表'[总营收金额],'动态日期表'[Date]) 在"报表"视图中创建创建可视化"矩阵",在动态日期表中依次选择..."季度"和"月份"设置为列,在度量值表中将刚刚创建的"年累计营收"设置为值,绘制可视化图如下: 按照以上同样的方式,创建"季累计营收"和"月累计营收"度量值,并输入对应的度量值DAX公式为: TOTALQTD

14.8K45
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    团队里没人敢动的那段 100 行 SQL,我用 7 步拆透了

    按账号分组、按日期排序,依次处理每一天的数据,取从第一天到前一天的区间,进行去重计数。按说逻辑很清晰,对吧?...按账号分组,再按日期分组,依次处理每组数据,取从开始到上一日的所有记录,去重计数。用 SQLazy 的 workflow 写:不是“少写几行代码”,而是“换了一种思考方式”。...第 3 步:按账号和日期汇总,统计每天有多少种商品是“第一次出现”——也就是当日新增的去重商品数。第 4 步:按日期排序——为累计做准备。...半年后需求变了:“不仅要算累计去重数,还要区分‘老商品’和‘新商品’,每天新增的商品里,有多少是以前从未出现过的,有多少是以前出现过的。”在原来那 100 行 SQL 里,你无从下手。...编译器重新生成 SQL,新的字段自动出现在结果中。workflow 的其他步骤完全不用动,因为 daily_new 和 daily_repeat 都是按同一维度分组的,后续的累计逻辑天然兼容。

    22510

    1.24 当前行减上一行,累计还原为当期

    有一张系统输出的事实表,是按照门店和日期时间(连续的以1小时为间隔)生成的当天的累计数量,现需要在PowerQuery中还原成每个日期时间对应的当期的数量。...解决方案优先考虑在上游系统中对数据源进行调整;在PowerQuery中,按门店、日期时间排序,然后按门店取出累计列当前行的上一行数据,然后用累计数字减去上一行累计数字就得到了当期数字。...操作步骤 STEP 1 PowerQuery获取数据后,选中门店列,点击菜单栏转换下的分组依据,在跳出的对话框中修改新列名为待处理,操作选择所有行。...STEP 5 点击菜单栏添加列下的自定义列,在跳出的对话框中输入如下代码,增加一个数量列。这里调取了上一步骤的表中的门店与当前行门店相等、序号等于当前行序号-1的累计数量列的值。...Table.AddColumn(展开表, "数量", each if [门店按日期时间排序]>1then [累计数量]-展开表{[门店=[门店],门店按日期时间排序=[门店按日期时间排序]-1]}[累计数量

    1.6K00

    超全的 100 个 Pandas 函数汇总,建议收藏

    统计汇总函数 函数 含义 min() 计算最小值 max() 计算最大值 sum() 求和 mean() 计算平均值 count() 计数(统计非缺失元素的个数) size() 计数(统计所有元素的个数...argmax() 寻找最大值所在位置 any() 等价于逻辑“或” all() 等价于逻辑“与” value_counts() 频次统计 cumsum() 运算累计和 cumprod() 运算累计积...() 按值替换(不可使用正则) str.replace() 按值替换(可使用正则) str.split.str() 字符分隔 数据筛选函数 函数 含义 isin() 成员关系判断 between()...含义 append() 序列元素的追加(需指定其他序列) diff() 一阶差分 round() 元素的四舍五入 sort_values() 按值排序 sort_index() 按索引排序 to_dict...() 转为字典 tolist() 转为列表 unique() 元素排重 ----

    2.1K20

    手把手教你Excel数据处理!

    重复数据处理 对于表中的重复数据,可采用函数法、高级筛选法、条件格式法、数据透视表、删除重复项等方法进行查看和删除,这些方法有的只能用于查看重复值但不方便删除,有的能直接删除但不体现重复值是什么,还有的既能体现重复值还能实现重复值的删除...“重复标记2”是以当前记录及其之前记录为计数范围,记录当前记录是否重复及重复次数,通过此标记可以得到大于1的记录都是重复记录,等于1的记录即为去重之后的记录。 ?...数据透视表法(查看+删除) 此法是利用数据透视表实现重复数据的查看和删除的,在菜单栏中选择插入数据透视表,可以放置在新工作表,也可以指定位置放在现有工作表中。 ?...将姓名字段拖拽至行和值处,即可实现数据记录及其重复次数的展示,计数项中大于1的即为重复数据,行标签中的记录即为去重后的数据记录。这种方法可同时实现重复记录重复次数的统计和数据去重。 ? e....按以上所述,数据拆分可分为字段拆分和随机抽样。 1.

    5.3K20

    能写数据后台,需要掌握哪些进阶的sql语句?

    举个实例来拆解元知识点 在本篇笔记中,我也先举一个实例用作知识点拆解,如下,该述语句的作用是:统计每天具有学习行为的用户数。注:学习行为其实包含多种具体的行为,分布在两个表中。...python不同的地方。...) as 累计用户数 而count(1),count(*)和 count(column_name) 在不同情况下,运行效率不同。...有过留言行为的累计用户数,则在全时段内去重。只要该用户曾有过留言行为,则计数1,不再重复计数。...group by指定数据按哪些字段分组,很多报表按日统计。前面举例中无形中也用了该方法数次,就不单独举例啦。 多表联合查询 最后说明下,相对复杂的多表查询。

    1.9K30

    报工去重键与幂等接口的设计方法

    建议的顺序是:能用产品码或箱码就用码,不能用码的设备报工用计数区间,人工按数量报工才退到时间段兜底,并在界面上提示疑似重复让人确认。四、增量报工和累计报工怎么选?...累计口径:服务端用本次累计值减去上次已确认的累计值得到增量,重复发送同一个累计值得到的增量为零,天然抗重复;但要处理计数清零和多终端同时报工的情况。...第五步,上线后观察“重复请求被回放”和“去重键冲突”两类日志的数量,判断问题主要来自网络还是操作。七、常见坑有哪些?请求号在服务端生成:终端拿不到请求号就重试,服务端会当成新请求。...累计口径不处理清零:设备换班清零后,累计值变小,被算成负增量。要识别清零并从新的起点重新计算。八、车间里是什么样?以一个冲压车间为例:每台压力机的计数通过网关采集,按累计口径每五分钟上报一次。...某天车间交换机故障,网关缓存了一个多小时的计数,恢复后连续补传。由于每条记录带原请求号,已经传上去的几条被直接回放结果;新的几条按累计值求差入账,工单完成数量与设备面板计数一致。

    20110

    Numpy

    NumPy 可以用于数值计算的一个重要原因是因为他能处理大数组的数据: 在连续的内存块储存数据,独立于其他 Python 内置对象(C 语言编写的算法库,在 C 的基础上封装) 可以在整个数组上执行复杂的计算...#lexsort函数只接收一个参数,即(a,b,c) print('排序后的数组为:\n',list(zip(a[d],b[d],c[d]))) #多个键值排序时按照最后一个传入数据确定排序顺序 去重和重复数据...去重:unique函数可以找出数组中的唯一值并返回排序后的结果 np.unique(ar, return_index=False, return_inverse=False, return_counts...(arr))#去重并排序 arr=arr.reshape(3,4) print('改变形状后的数组为:\n',arr) print('改变形状后的数组去重后为:',np.unique(arr)) 重复数据...=False)(返回索引) 累计和——ndarray.cumsum(axis=None, dtype=None, out=None) 累计积——ndarray.cumprod(axis=None, dtype

    2.1K10

    一句Python,一句R︱pandas模块——高级版data.frame

    简单统计量/计数 df.mean(axis=0,skipna=True) =R=apply(df,2,mean) #df中的pop,按列求均值,skipna代表是否跳过均值axis=0,skipna=True...样本值的峰度(四阶矩) cumsum 样本值的累计和 cummin , cummax 样本值的累计最大值和累计最小值 cumprod 样本值的累计积 diff 计算一阶差分(对时间序列很有用) pct_change...: groups['C'].count()##按照A列的值分组B组计数 Out[210]: A bar 3 foo 5 Name: C, dtype: int64 2、Apply 函数 在向数据框的每一行或每一列传递指定函数后...最后的ignore_index不能忘记,因为python里面对索引的要求很高,所以重叠的索引会删除新重复的内容。...来源: Python对多属性的重复数据去重 >>> import pandas as pd >>> data={'state':[1,1,2,2],'pop':['a','b','c','d']}

    6.2K40

    精选100个Pandas函数

    assign() 字段衍生 b bfill() # 后向填充;使用缺失值后一个填充缺失值 between() 区间判断 c count() # 计数(不包含缺失值) cov() 计算协方差...corr() # 计算相关系数 cumsum() 累计和 cumprod() 累计积 compress 条件判断 concat() # 数据合并 d dtypes() 查看数据字段类型...hasnans() 判断元素中是否存在缺失值;返回的是True或者False i isnull() # 判断序列元素是否为缺失值,返回bool值 isin() 成员判断 iloc() #...最大的前n个值 p pct_change 运算比率;后一个和前一个的比例 pd.to_datetime() 转日期时间类型 pd.Series() # 创建Series数据 pd.DataFrame...抽样 str.split() 字符分割 str.findall() sort_values() # 按值排序 sort_index() 按索引排序 stack() # 堆叠;列转行 t to_dict

    1.5K30

    【Python】基于某些列删除数据框中的重复值

    默认值False,即把原数据copy一份,在copy数据上删除重复值,并返回新数据框(原数据框不改变)。值为True时直接在原数据视图上删重,没有返回值。...从结果知,参数为默认值时,是在原数据的copy上删除数据,保留重复数据第一条并返回新数据框。 感兴趣的可以打印name数据框,删重操作不影响name的值。...从结果知,参数keep=False,是把原数据copy一份,在copy数据框中删除全部重复数据,并返回新数据框,不影响原始数据框name。...原始数据中只有第二行和最后一行存在重复,默认保留第一条,故删除最后一条得到新数据框。 想要根据更多列数去重,可以在subset中添加列。...但是对于两列中元素顺序相反的数据框去重,drop_duplicates函数无能为力。 如需处理这种类型的数据去重问题,参见本公众号中的文章【Python】基于多列组合删除数据框中的重复值。 -end-

    33.7K31

    SQL 窗口函数:16大核心算子动态执行图解

    ROW_NUMBER 视觉焦点:当光标扫过两行相同数值时,序号一一递增——永远看不到重复数字。 最通用的编号函数,分页、去重(取每组第一条)、生成唯一ID 的首选工具。...NTILE 视觉焦点:观察数据如何被按顺序分批装入标有 1、2、3...N 的桶中,每装够一批就切换到下一个桶号。 数据分层、等频分箱、按比例抽样的核心工具。...和 MIN() OVER(...) 分别返回窗口帧内的最大值和最小值。最经典的用法是计算截至当前行的历史极值——只有当新行打破历史纪录时,输出值才会发生变化。...[→ 详解教程] 五、分布函数 分布函数不关心具体的数据值是多少,只关心当前行在排序后的分区中"排第几"以及"覆盖了多少比例"。返回值始终在 0 到 1 之间,对数据规模不敏感,适合跨组比较。...与下期对比、提前预警 聚合 SUM OVER 排序+帧 — 累计/移动求和 AVG OVER 排序+帧 — 移动平均、趋势平滑 COUNT OVER 排序+帧 — 累计计数、滑动计数 MAX OVER

    1K10

    利用Python统计连续登录N天或以上用户

    在有些时候,我们需要统计连续登录N天或以上用户,这里采用python通过分组排序、分组计数等步骤实现该功能,具体如下: 导入需要的库 import pandas as pd import numpy as...采取drop_duplicate方案即可保留删除重复数据只保留一条 df.drop_duplicates(inplace=True) #因为玩家在某一天存在登录多次情况,这里可以用去重过滤掉多余数据...第四步,计算差值 这一步是辅助操作,使用第三步中的辅助列与用户登录日期做差值得到一个日期,若某用户某几列该值相同,则代表这几天属于连续登录 因为辅助列是float型,我们在做时间差的时候需要用到to_timedelta...().reset_index() #根据用户id和上一步计算的差值 进行分组计数 ?...(是一个日期) data = df.groupby(['role_id','date_sub']).count().reset_index() #根据用户id和上一步计算的差值 进行分组计数 data

    4.5K30

    N 位开发者测完这个无幻觉 SQL 编译器,我们从中学到了什么

    比如,对已经按销售员 SellerId 排序的 orders 表,要计算每笔订单在每个销售员的销售额中的占比。...分段、对齐、排名分段依据可以有无穷多种,以前只能用条件表达式硬写——比如“值变了就分段”,要写成上一行比较加首行空值处理,读的人得在脑子里过一遍才确认。...SQL 的常规做法是造一张日期序列再左关联回原表,SQLazy 以前也要先造序列再关联,两步;所以我们把这三步收进了一个 align,现在一句就能按基准对齐补空行,参数有对齐基准、只排序、保留其它列和分区...取前几名这种需求天天见,以前却要先算出排名列(按某列排出先后名次)再筛一次,占两步;所以我们让 rank 直接按排名取,top、bottom 配计数,max、min 取记录。...A compiler writes the SQL.这些改动都不大,落点却是同一类事:“按口径锁定一批记录再聚合”“算出这个分区里的占比和累计”“按业务依据分段”“把缺的日期补齐”“取前几名”——每一个都是每天都在发生的需求

    16820

    【Python入门第六讲】贴近生活数据类型 | 数字

    数字 (Number) 是 Python 中基本的数据类型之一,数字类型属于数值型数据,用于存储数值,是不可改变的,数值发生改变时,会重新分配内存空间,产生新的对象。...浮点型(Float) :浮点型由整数部分与小数部分组成,浮点型也可以使用科学计数法表示(1.8e2 = 1.8 x 10^2 = 180)复数( (Complex)) :复数由实数部分和虚数部分构成,可以用...浮点数用于表示带有小数部分的数值,包括正数、负数和零。在计算中,浮点数可以进行更精确的数学运算,但也需要注意浮点数运算可能产生的精度问题。定义复数的方式:1....复数在数学和工程领域中有广泛的应用,例如在信号处理和控制系统中。布尔值 在 Python 中,布尔值 True 和 False 分别对应数字 1 和 0。...Python 中进行日期和时间格式转换的基本工具。

    79111

    Python入门(13)

    编写九九乘法口诀表 寻找一个符合条件的整数 实现无重复数字的排列组合 根据销售额计算奖金 编写一个python语法的冒泡排序法 根据一组数据实现按任意列排序 6个案例中,有3个数学问题,有3个程序算法问题...3、第三行,第二个循环语句定义了1-9的j值。 4、第四行,用格式化(占位符)的方法,定义一个独立算式和计算结果的字符串x。 5、运用字符串的“加法”,将x累计拼接到y中。...2、定义i变量,在0-100000中取值。 3、第4、5行开方并取整后赋值给x、y。 4、第6行,条件判断。 5、如果条件成立,则终止循环(试错),输出(显示)当前i值。...(集合可以帮我们去重) 2、分别创建4个for循环,定义了4个变量i、j、k、m,它们都能从1-4中取值,分别代表4位数中的一个数。...4、在全部获得每一轮取值后,再添加到myset中去重。 5、最后,全部迭代完毕,获取到的最终myset就是我们想要的结果。读取和显示一个集合的数据同样适用for循环迭代的方法。

    1.1K20

    Python数据分析笔记——Numpy、Pandas库

    Pandas基本功能 1、重新索引 Pandas对象的一个方法就是重新索引(reindex),其作用是创建一个新的索引,pandas对象将按这个新索引进行排序。对于不存在的索引值,引入缺失值。...(1)Series数据结构的排序和排名 a、按索引值进行排序 b、按值进行排序 默认情况下,排序是按升序排列的,但也可通过ascending=False进行降序排列。...obj.rank() (2)DataFrame数据结构的排序和排名 按索引值进行排列,一列或多列中的值进行排序,通过by将列名传递给sort_index. 5、缺失数据处理 (1)滤出缺失数据 使用data.dropna...(列从0开始计数) 6、汇总和计算描述统计 就是针对数组进行常用的数学和统计运算。大部分都属于约简和汇总统计。 其中有求和(sum)运算、累计(cumsum)运算、平均值(mean)等运算。...7、唯一值的获取 此方法可以用于显示去重后的数据。 8、值计数 用于计算一个Series中各值出现的次数。

    9.6K80

    热菜出锅:(干货)后端校招算法题 Top 50 高频榜(2026 · 国内大厂中厂)

    "全删"与"留一个"(81/80)实现差异、prev 指针何时前进☐3593 复原 IP 地址M回溯 + 剪枝187追问:前导零判定、段长与数值双重剪枝、与分割回文串(131)同型☐36124 二叉树中的最大路径和...刷题时每题多练一次"结合业务场景重述",比多刷五道新题更有用。三轮刷法(按 6 周排)第一轮 · 覆盖(1–2 周)A 榜 1–30 + B 榜 E1–E9。...每日保温量:新题 2 道 + 复习旧题 3 道,单题思考超过 25 分钟直接看题解,不要耗。自查用题型索引按题型看自己哪块空,比按排名刷更有效率。.../带 TTL)全通大数与字符串模拟28、39边界与进位一次写对附:数据与口径备注主榜排序与频次来自 CodeTop 面试题目榜(综合排序),抓取前 80 名,本文截取 Top 50;数值为该站面经投稿累计计数...#232、#155、#122 在不同时期官方标注有调整,本文按当前 LeetCode 站显示取 E/E/M;如你所见题目本身均属于 Easy 级别工作量,争议不影响备考优先级。

    60210

    RFM模型是什么?我用Tableau告诉你

    度量和维度的介绍可以参考下面链接: https://help.tableau.com/current/pro/desktop/zh-cn/datafields_typesandroles.htm 可以在原数据的基础上...Step1:数据预处理 这一环节主要是对数据格式进行处理,并添加新的数据列便于后续使用。本文数据使用tableau自带数据“示例-超市”,数据是客户在超市购物的清单,每件商品一条记录。...查看【F客户累计单数】分布,先创建【F客户累计单数(数据桶)】(如图所示,桶的步长可以按照需要设定,此处设定为1),以【F客户累计单数(数据桶)】为X轴,【F客户累计单数】-计数 为Y轴,可获取【F客户累计单数...轴,用【客户 Id】-计数(不同)作为Y轴,选择快速表计算-总额百分比。...在【标记】部分复制【客户 Id】-计数(不同)到【标签】(mac端操作为:鼠标选中同时按command或者control键),可以柱状图上显示出其在人群中的占比。 ?

    5.5K20
    领券