首页
学习
活动
专区
圈层
工具
发布

数仓 TCO 怎么算:把 Snowflake 成本结构拆成一套可套用的核算框架

Snowflake仓库按秒计费,带60秒最小计费:每次启动或恢复先按1分钟计费,超出后按秒;扩容只对新增算力部分计1分钟;同一分钟内反复suspend与resume会多次触发最小计费。...),每天运行8小时、每月30天。...代入示例:每月出公网取数0.5TB,得0.5×90.00=$45/月。这一项与查询并发无关,把BI消费端部署在同云同区域,是该成本项唯一的直接降压手段。...Snowpipe按加载数据量收取固定credits/GB,文本文件按未压缩大小计,二进制文件按存储实测大小计。代入时这一项需要单独取数,不可用仓库credits近似替代。...60秒最小计费与高频suspend/resume跨云出公网取数把出向按三档单列,消费端尽量同云同区域不应把出向并回计算项保留期超过默认1天TimeTravel存储单独估算,分级设保留期不应按原始导入大小估存储目标形态为云上托管缓存空间是独立费用

8500

Spark SQL 函数分类导航

按场景找点击函数名跳转到详细用法页面快速定位指南我想...去看拼接/截取/替换字符串字符串函数日期加减/格式化/提取日期时间函数求和/计数/平均/统计聚合函数排名/取前后行/累计窗口函数IF/CASE/...substring,substr从指定位置截取子串取左/右N字符left,right从左/右取固定长度按分隔符截取substring_index取分隔符前/后的内容按分隔符拆分split拆分为数组取拆分后第...位移操作聚合函数基础聚合场景函数说明求和sum合计值计数count计数(含countdistinct)条件计数count_if满足条件的行数平均值avg,mean算术平均最大值max取最大最小值min取最小取最大值对应行...max_by按某列最大值取另一列取最小值对应行min_by按某列最小值取另一列任意值any_value取组内任意一个值第一个值first取组内第一个值最后一个值last取组内最后一个值中位数median...mapMap查询与变换场景函数说明取值element_at按key取value获取所有keymap_keys返回所有key的数组获取所有valuemap_values返回所有value的数组转为条目数组

40810
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    通过常见的业务掌握SQL高级功能

    前言: 本文使用的窗口函数需要Mysql8 阅读需要10分钟,题目有一定难度 1、窗口函数 基本语法: over (partition by order by 取每组最大值 案例:按课程号分组取成绩最大值所在行的数据 select 课程号,max(成绩) as 最大成绩 from score group by 课程号; 分组取每组最小值 案例:按课程号分组取成绩最小值所在行的数据...这样使用窗口函数的作用就是,可以在每一行的数据可以直观的看到,截止到本行数据,统计数据是多少行,同时可以看到每一行数据,对整体统计数据的影响。 7、如何在每个组里面比较 ?...由于这里可以通过preceding关键字调整作用范围,在以下场景中非常适用: 在公司业绩名单排名中,可以通过移动平均,直观地查看到与相邻名次业绩的平均、求和等统计数据。...: 方法1,使用前面窗口函数案例来实现 方法2,使用关联子查询 这次的题目和知识点比较难,大家可能会需要花几个小时理解和尝试,加油!

    2.1K41

    能耗时序数据的冷热分层与历史归档

    关键信息摘要:读数按15分钟一档,一只表一天96条,万台点位一天960000条;绝大多数查询落在最近90天,跨年明细回查占比不足5%;热层存原始粒度90天,温层聚合到小时粒度存12个月,冷层按月对象归档存...一、为什么留存要分层按15分钟一档计,一只表一天96条读数,据DL/T645-2007电能表读数分辨率0.01度,单条文本落盘在130字节上下。...二、选型:三种留存策略的取舍维度单层长期留存三层分层留存全量离线归档查询路径全部走时序库近期走时序库,回查走对象明细全在离线介质常用查询延迟稳定,数百毫秒热查询不受影响回查按分钟计明细保留期可到5年以上热层...热层90天原始粒度;温层12个月,按小时聚合,一只表一天24条;冷层按月一个对象,存5年。聚合在迁移时做一次,不放在查询时现算。...原因:查询入口没有按层路由,请求全部打到时序库,超过留存期的数据已被生命周期规则(LifecycleRule)清理。解法:查询入口按时间范围路由,先查清单定位对象,再走回查通道取数。

    12710

    【Prometheus·入门篇】PromQL 查询:语法、聚合运算与常用模式

    =""}#不为空范围查询(RangeQuery)展开代码语言:TXTAI代码解释#返回过去5分钟所有数据点up[5m]#时间范围后缀s-秒m-分钟h-小时d-天w-周y-年#示例rate(http_requests_total...[10m])#过去10分钟速率avg_over_time(cpu_usage[1h])#过去1小时平均max_over_time(memory_usage[30m])#过去30分钟最大值偏移查询(Offset...)展开代码语言:TXTAI代码解释#查询1小时前的值upoffset1h#与1小时前比较http_requests_total-(http_requests_totaloffset1h)#当前总量-1小时前总量...)#内存最少的前3个#quantile——分位数quantile(0.99,http_request_duration_seconds)#P99by分组展开代码语言:TXTAI代码解释#按方法分组求和sum...代码解释#计算过去1小时内每5分钟的最大QPSmax_over_time(rate(http_requests_total[5m])[1h:5m])#[1h:5m]=在过去1小时内,每5分钟计算一次#计算过去

    27310

    能耗报表大批量导出的异步拆分

    关键信息摘要:一行明细按80字节估算,10万行落到8兆字节,七位数行数必须按批写;每批5000条、按游标翻页,单批耗时与已读行数无关;任务心跳超过90秒判僵死,下载链接有效期取30分钟;Excel单表上限...一、导出的三个硬约束同步导出卡住的地方不在查询语句,而在三处固定条件:响应等待、实例内存、连接占用。网关侧对同步请求的等待通常卡在15秒上下,行数一多,光是取数就把这段时间用掉。...据DL/T645-2007,电能表表码为5至6位整数加2位小数,分辨率0.01度,导出时按定点数原样保留两位,不要中途转成浮点再格式化。一只表按15分钟一档,一天96条读数,一栋楼几十台表就是几千行。...分钟,文件本身保留8小时,过期重新签一次即可。...解法:游标改成时标加点位编号的复合比较,同一时刻的多条按点位编号排序;导出前先跑一次计数与页面对齐。Q2:任务一直停在running现象:任务清单里已读行数两个小时没变,状态还是running。

    10310

    云开发做部门数据看板:把手工汇总变成自动刷新

    正确做法:用定时云函数每天(或每小时)预先算好统计结果,写进一张专门的统计表。页面只读这张统计表,一次查询拿到所有数字,打开就显示。...;需要分钟级实时的(比如活动当天的报名进度),可以把定时频率调到每 5 分钟,或者对关键数字用现算、其余用预计算的混合方案。...四、定时云函数:怎么写统计逻辑 统计云函数要处理好四件事: 第一件:分批查询。 数据量大时不能一次拉全表,按每批 100 条循环查询累加。云函数有执行时长限制,一次拉几万条很可能超时。...中部折线图:近 30 天的项目总数变化,数据来自 daily_stats 3. 下部左侧饼图:各阶段分布;右侧横向条形图:各负责人项目数(按数量降序) 4....这一步会用到原始表查询,但只在用户主动点击时才查,不影响看板加载速度。 做多个看板。按部门、按业务线拆成多张看板,统计云函数里按维度分别算,写进不同的统计记录。

    21710

    内容平台核心工程:最热帖子排行实现与用户互动三元组存储查询

    、互动数据达亿级时,简单的 “计数 + 排序” 和 “数据库存储” 会彻底失效。...:前端请求 “实时热榜 Top20” 时,调用 Redis ZRANGE 命令(按分数降序取前 20):# ZRANGE key start stop WITHSCORES:取Top20并返回分数ZRANGE...存储方案选型:按 “场景” 选工具不同场景对 “读写性能”“排序”“一致性” 要求不同,需针对性选型:(1)高频统计场景(帖子点赞数、用户关注数)→ Redis选型理由:支持原子操作(INCR/DECR...),毫秒级读写,适合计数统计;存储结构:点赞数:Key=like_count:p_456,Value = 点赞数(整数);关注数:Key=follow_count:u_789,Value = 关注数(整数...(3)逆向查询场景(查粉丝列表、帖子所有点赞用户)→ Cassandra选型理由:分布式宽表数据库,支持 “按分区键高效查询”,适合海量逆向查询;表结构设计(以粉丝列表为例):-- 表名:user_followers

    69510

    WorkBuddy 实战:用 AI 做成 24h 员工实时看板

    这次我用WorkBuddy的Craft模式,把整个链路从"手动在页面里取数"推进到"24小时自动刷新"的监控屏看板,全程没有写一行硬代码,全是自然语言驱动。...;//ops里取executor.employeeName即实际收货人拣货只用1类数据:展开代码语言:JavaScriptAI代码解释//拣货:查询列表返回各单拣货人和SKU数constres=awaitfetchInPage...[0]||'未分配';constskuCount=o.skuCount;//按员工聚合});窗口缩小到「收货最近3天、拣货今日+昨日」,既减少抓取时间,又能覆盖看板需求。...四、实际效果:前后对比项目之前(手动)之后(WorkBuddy自动化)提升数据获取每半天人工翻一次每10分钟自动取约36倍员工维度牵牛花看板没有按员工实时统计SKU数从0到1看板刷新手动刷新2分钟自动刷新无需人工数据窗口只能看当前收货...3天/拣货今日+昨日完整跨平台只在一台Mac上Mac/Windows都能跑可迁移开发时间预估2周自己折腾几个对话轮次完成约10倍实际抓取的数据量:单日收货SKU1300+,拣货单1100+,按员工聚合后一目了然

    55510

    云上日志分析方案:ELK 的统计能力边界与 OLAP 补位的落地路径

    按官方云上托管口径(日增100TB、保存30天、热数据3天),云上托管形态约20万/月,同等规模自建Elasticsearch约140万/月。一、先说结论ELK能做统计分析,但有明确边界。...做得了的是单表内的计数、求和、分位数、按时间桶的直方图、TopN分组统计与简单的嵌套聚合,中小基数下表现良好。...游标分批,把一次大聚合拆成多次小聚合;高频聚合字段开eager_global_ordinals——消掉高基数字段首次聚合的懒加载开销,代价是refresh变慢,只给确定高频的字段开;控制分片粒度——日志索引按天或按小时切...search()返回BOOLEAN,所以检索结果可以直接接GROUPBY与去重计数,不需要先落一份中间结果。3.4持续写入下,看板刷新靠什么扛住云上看板的常态是写入不停、刷新按分钟计。...托管:按用量付费,弹性伸缩、备份恢复、版本升级由平台处理。分析负载波动大时尤其划算——不用为最高的那一小时长期预留资源。判断标准就两条:有没有人运维、负载是否平稳。

    20610

    我有 5种接口流量监控方案,5种!性能、成本、复杂度全面对比

    就像公司打卡,你 8:59 到了,打卡机 9:00 重置,系统硬是把你算成下一个小时的人了。 方案二:滑动窗口计数器(懒加载优化版) 滑动窗口能解决时间边界问题。...有序集合(ZSET)比简单计数器厉害的地方是,它能按时间戳自然排序,一个接口所有时间点的调用数据都在一个结构里,查询很方便。...这设计很巧妙:即使服务重启,也不会丢失统计数据。 举个例子:假设一个接口 10 分钟内每分钟调用 100 次。...(分钟级) Prometheus - 长期趋势和多维分析(小时/天级) 具体实现: @Service publicclass HybridApiMonitor {     @Autowired     ...= 512MB 接口数 = 2GB 接口数 > 10万:建议使用Redis方案 2.Redis 分布式统计: 按每个接口每分钟 100 字节估算: 1千接口,保留

    78210

    告警 | Bugly 专业版

    监控频率​当前支持每5分钟,每10分钟,每小时,每天四个实时粒度。...每10分钟:2023-06-0113:20:00开始,每10分钟检查一次,上一个整10分钟的数据。每小时:2023-06-0114:00:00开始,每小时检查一次,上一个整小时的数据。...分版本统计指,按用户设置的版本选择,分版本统计数据。大盘统计,不区分版本,直接统计大盘数据。...分版本统计-联网设备数Top,指按联网设备数排序(昨天的联网设备数),取TopN的版本,分别统计这N个版本的数据情况,检查这N个版本是否满足告警条件。...分版本统计-影响设备数Top,指按影响设备数排序(昨天的影响设备数),取TopN的版本,分别统计这N个版本的数据情况。

    38510

    加分片打不散热 Key:槽位固定、副本只读与写热点

    每个进程在 TTL 内回源一次时,留在 Redis 上的 QPS 大约是进程数除以 TTL 秒数。...计数器按后缀拆开,让每次 INCR 落到不同槽。标准架构只有一个主节点,拆 Key 拆不走 CPU,要先到集群架构。...上面用 pipeline 逐个 GET,两边都能用;缺 Key 按 0 计。Exec 遇到不存在的 Key 会返回 redis.Nil,要和真正的错误分开。N 取实际占到的分片数。...文档举例:近 1 小时 72000 次,近 24 小时 1728000 次,不能横比。同一窗口的频次除以秒数才是速率,72000 / 3600 = 20 次/秒。按节点筛选,看是不是只出现在一个节点。...采样保留 10 天,查询跨度不超过 10 天。实时视图大约 1 分钟一个周期,刚有流量时等 1 到 2 分钟。接入层旧版本节点 ID 可能为空,不要当成没有热 Key。

    11410

    时序数据库入门实战:从概念到第一个查询(附完整 SQL 示例)

    所有"按什么分组、按什么过滤"的维度都放进 tag,所有"求和、取均值、取最大"的量都放进 field。这一条搞反了,后面的查询和压缩都会很难受。2....时间戳天然有序:查询永远是"最近一小时""过去七天"这类时间范围。指标基数高:一台设备一个 ID,几万台设备就是几万个 tag 组合。3....建模最佳实践(竞品文章很少讲,但最容易踩坑)时间分桶:把连续时间切成固定窗口(1 分钟、1 小时),聚合查询统一按桶走。...连续聚合监控场景里你要看的是"每小时 CPU 均值",而不是一亿条原始点。连续聚合就是提前按分钟/小时/天把聚合结果算好存进物化视图,查询直接读结果,用存储换查询速度。这一节后面有完整 SQL。...降采样 + 时间桶聚合-- 过去 7 天,按 5 分钟一桶做聚合(降采样)SELECT time_bucket('5 minutes', time) AS bucket, device_id

    26910

    采集的并发与限额:45 条样本怎么不把平台打挂

    限额三档:每分钟、每小时、每天各守一条线限额通常分三层,而不是只守一层。每分钟的线最紧也最容易撞,每小时的线用来防持续高压,每天的线是总预算,撞上去就意味着这一轮要停到明天。...我的做法是先按最紧的一档跑,把分钟额度当成硬闸,小时额度与天额度当成预算池,每发一条就从池子里扣一条。三档同时存在时取最小值,不做加权,也不讨价还价。退避按指数走。...计数翻倍,分母失真,最后你盯着一个漂亮但错误的成功率。解决办法靠库的唯一约束,而非代码自觉。...上线前我按三步核对:第一步,拿十分钟跑一次空转,确认令牌桶的补充速率与限额一致;第二步,人为制造一次限流,确认退避与抖动按预期收敛;第三步,比对死信表与失败类型分布,确认没有一类错误被静默吞掉。...三个读数我坚持落在同一张日报里,带批次标识和查询日。分开存的下场是三天后有人拿成功率配另一批的耗时,得出一个谁也无法复现的结论。边界这套设计覆盖的是单机、单任务流、平台侧有明确限额的采集场景。

    15810

    一个崩溃根因分析 Skill 的设计

    上传失败会按 30 秒到 1 小时退避重试,队列跨重启保留,短暂断网不丢数据。但它仍是尽力而为:长时间无法上传、用户未开启上报,或者强杀后再没启动,数据就会缺失。不完整是前提,不是异常。...每条报告都有唯一 report_id,服务按它 UPSERT(有则更新、无则插入);occurrences(客户端声明的发生次数)以最新值覆盖,绝不累加;累计次数由明细记录求和得出。...运行期内存数据来自客户端按增量上报的摘要:客户端汇总自上次成功上报以来的采样数、P95(95 分位)、峰值与 OOM(内存耗尽)次数。生产默认跨天后上传前一天的摘要,服务端按天累加。...告警条件 阈值 样本前提 样本数 ≥ 100 OOM ≥ 3 次 P95 回归 较同版本近 7 天基线上涨 ≥ 20% 冷却 同一版本、同一规则 24 小时 分位数跨批次合并时按样本数加权;页面标注为趋势近似值...治理记录写操作与鉴权失败,内容包括操作者、角色、动作、对象、结果、IP 与脱敏摘要;审计数据独立保留 365 天。

    31810

    20 个高频 Excel 场景,Hy4 把公式和说明一起给了

    2.5 条件求和类小结与话术库 三、去重计数类(场景 09–12) 3.0 本类完整模板(照着搭表) 场景 09|单列不重复计数:本月一共有多少个客户 场景 10|带条件去重计数:华东区有多少个不同客户...去重计数类小结与话术库 四、日期计算类(场景 13–16) 4.0 本类完整模板(照着搭表) 场景 13|DATEDIF:精确计算工龄 / 账龄「X 年 X 月 X 天」 场景 14|工作日计算:...、手机号脱敏、按分隔符取第 N 段 场景 18|合并文本:多列拼地址、按条件把多个订单号拼成一格 场景 19|清洗脏文本:空格、换行、不可见字符、全半角(VLOOKUP 查不到的元凶) 场景 20|抽取数字...、格式规范化与文本数字互转 5.5 文本处理类小结与话术库 5.0 本类完整模板(照着搭表) 场景 17|拆分字符串:订单号取年月、手机号脱敏、按分隔符取第 N 段 场景 18|合并文本:多列拼地址...第 3 参大于区域列数,或删了被引用列 改列号;改用 MATCH 动态取列号 =INDEX($A$2:$H$101,MATCH($B$2,$A$2:$A$101,0),MATCH("客户名称",$A$1

    18210

    能耗监测时序数据的存储选型复盘

    数据原先压在通用关系库的单表里,行数过千万后,餐饮区上月峰段用电这类切片查询40秒起步,月度分摊报表靠人工导表,两天出数。存储选型没有通吃答案。...表侧读数按DL/T645-2007《多功能电能表通信协议》的数据标识口径上送,每块表每小时60条读数,量级可按下式估算:120块乘1440分钟,约17万条每天。建模的核心是标签。...40秒量级降到2秒内;分摊报表从人工两天出数变成系统10分钟出数;汇总时效从T+1提到5分钟级。...现象:表计批量接入后,部分查询耗时回升。原因:标签组合过细,时间线数膨胀,高基数拖慢索引。解法:标签只留过滤与分组真正要用的维度,租户级明细放业务库按需关联。Q3:双写期间两侧数对不上?...解法:统一按日冻结口径对账,取同窗聚合再比,差值超限先查窗口再查数据。Q4:规则引擎直投会丢数据吗?现象:曲线偶有缺口,重推后恢复。原因:投递限流触发丢弃,未配回压与重试。

    21510

    日期相差天数计算,自然日和工作日差在哪?合同工期该用哪个

    同一段区间,日期相差计算会给出相差时长、自然日差、工作日三个数,数值常常对不上。这篇讲清三者各按什么口径算、工作日为什么是半开区间又不含调休,以及合同工期该取哪个数、还要再扣什么。...先想清楚要的是日历上的天,还是实际干活的天,再去读数。先说结论三个数各有定义:「相差」按24小时堆天,「自然日差」只数日历格子,「工作日」按周一到周五扣掉周末。...「相差」把它按86400秒一天向下取整,余数再拆成小时、分钟、秒,所以它表达的是24小时制的物理时长;不足1秒会显示「不足1秒」,秒以下的部分只留在「毫秒差」那一行。...计算时先把两端归到零点,取较早者为起点,从起点当天逐日往后判断、直到终点前一天:整周先乘5,剩下的几天从起点的星期几往后数,跳过周六周日。...「相差」是物理时长,按24小时一天往下取整,不到一天的部分留在小时和分钟里;「自然日差」是日历格子数,把两端的时刻都抹掉只留日期。

    16100
    领券