二、成本失控的根因分析根因一:计量颗粒度太粗传统IT成本计量以“实例”或“账号”为单位。但AI成本是以“Token”为单位的——每次调用消耗数百到数千Token,单价低、频次高、总量大。 没有精细化的Token计量,就无法回答“谁、什么时候、用什么模型、花了多少Token”。根因二:缺少多维度归因能力一个Token消耗背后涉及多个维度:哪个部门?市场部还是研发部?哪个项目? 一个业务上线不当,Token消耗可能在几小时内翻倍。如果成本可见性是“T+30天”,等发现问题时,预算已经超了。三、Token计量体系设计核心目标: 每一次模型调用,都能回答“花了多少Token”。 设计要点:要点一:统一计量口径不同模型的Token计价方式不同(有的按输入+输出分别计费,有的按总Token计费)。 计量系统需要:统一采集每次调用的输入Token数、输出Token数记录模型名称、调用时间、响应耗时保留原始请求和响应(用于审计和复盘)要点二:实时计量流采用流式计量架构:模型调用完成 → 异步写入计量队列计量消费者聚合数据
大模型调用的成本有几个特殊性:· 按量计费,弹性大:一个写得差的 prompt 可能比写得好的多用 3 倍 token,成本差异完全不透明· 多项目共用 Key:研发、运营、客服都在用同一套 API 无法拆分到各业务线· 用量行为难预测:某个员工突然开始用 AI 批量处理数据,当月成本暴增,事后才发现· 模型价格不一致:GPT-4o 和 GPT-4o-mini 单价差 20 倍,但用户选择模型往往没有约束二、计量体系的设计 2.1 归因维度要做有意义的费用报告,至少需要以下几个归因维度:计量记录(每次 LLM 调用):{ 'timestamp': '2026-03-15T10:23:45Z', 'model': ' token 比,比值异常往往意味着 prompt 设计有问题四、降低成本的工程手段4.1 Prompt 压缩input token 是成本的大头。 ZGI(zgi.cn)的费用管控模块提供了从计量、归因到预算预警的完整体系,支持按部门独立预算管理。
生成Token(createToken) <? ($token=null){ //检测是否接收到了token if(empty($token)){ return 0; } //转化为可以验证的token $token = (new Parser())->parse((string) $token); //验证基本设置 $data //清空token 将需清空的token存入缓存,再次使用时,会读取缓存进行判断 $token = \Token::getRequestToken(); $delete_token : []; $delete_token[] = $token; cache('delete_token', $delete_token, 86400); $this->ok();
第二列(value)是各个统计量的值,比如LM lag就是统计量等于0.238,服从自由度为1的卡方分部。下面的差不多。 第三列(Prob)应该是对应的P value。
1.2 异方差的后果 存在异方差的情况下: 估计量无偏:用 OLS 估计所得参数估计量 仍具有无偏性,即 。 ---- 【问题】为什么 LM 统计量是 呢? 在大样本中, 与检验整个方程显著性的 F 统计量渐近等价。 计算 F 统计量或者 LM 统计量并计算 p 值。(前者使用 分布,后者使用 分布)。如果这个 p 值很小,即低于选定的显著性水平,那么就拒绝同方差性的原假设。 ),即在完成估计后所计算的后续统计量。 计量经济学导论(第五版)[M]. 北京: 中国人民大学出版社.
无偏估计量,数学期望等于被估计的量的统计估计量。 设^θ(X1,X2,…,Xn)是θ的估计量,若E(^θ)=θ,对一切θ∈Θ,则称^θ为θ的无偏估计量,否则称为θ的有偏估计量。 估计量的一种大样本性质:当样本容量n充分大时,估计量可以以任意的精确程度逼近被估计参数的真值。设n=T (X1,X2,…,Xn)是未知参数θ∈Θ的估计量,其中Θ是θ的值域。
(图片来源:古扎拉蒂《计量经济学精要》(第 4 版)) 如上图所示,将 的总变异(TSS)分解为两部分,可以被回归分解(ESS) + 未被回归分解(RSS)。 自由度是指当以样本的统计量来估计总体的参数时,样本中独立或能自由变化的数据的个数,称为该统计量的自由度。通常为 。 比如,若存在两个变量 ,而 那么自由度为 1 。 计量经济学导论(第 5 版)[M]. 北京: 中国人民大学出版社. [2] 陈强, 2015. 计量经济学及 Stata 应用[M]. 经济计量学精要(第 4 版)[M]. 机械工业出版社. [4] 李·C·阿迪金斯, 卡特·希尔, 2015. 应用 Stata 学习计量经济学原理(第 4 版)[M]. 重庆:重庆大学出版社.
上一篇文章分析了信号的处理相关内容,参见: 5.信号处理(1) --常用信号平滑去噪的方法 在针对非物理信号分析的时候,例如用户数、用户经常出入的地点、疾病感染人数等,这部分涉及到数据分析知识,本文分享一下Matlab常用的描述性统计量函数和线性回归的基本应用 ---- 1、Matlab常用描述性统计量 函数说明max最大值mean平均值或均值median中位数值min最小值mode出现次数最多的值,也就是常说的众数std标准差var方差,用于度量值的分散程度 1.1、计算最大值、均值和标准差 使用 MATLAB 函数计算一个 24×3 矩阵(称为 count)的描述性统计量。
昨天分享了描述性统计量相关内容,今天把昨天剩下的部分写完, 昨天文章链接: 6.数据分析(1) --描述性统计量和线性回归(1) 前言:在针对非物理信号分析的时候,例如用户数、用户经常出入的地点、疾病感染人数等 ,这部分涉及到数据分析知识,本文分享一下Matlab常用的描述性统计量函数和线性回归的基本应用。 该统计量表明通过拟合模型得到的值与模型可预测的因变量的匹配程度。拟合模型的残差方差定义 R2: R2 = 1 – SSresid / SStotal SSresid 是与回归的残差的平方和。 您可获得更接近数据的拟合,但代价是模型更为复杂,此时需要对该统计量R2进行改进,调整 R2 中包括了一项对模型中项数的罚值。因此,调整 R2 更适合比较不同的模型对同一数据的拟合程度。 在上面的示例中,与线性拟合相比,使用三次拟合使这两种统计量都有所增加。线性拟合并非始终差于更高阶拟合:更复杂拟合的调整 R2 也有可能低于更简单的拟合,此时表明增加复杂度并不适当。
mean inference for comparing two independent means inference for comparing two paired means 回顾 之前讲了Z统计量 Z统计量的总体逻辑是:假设H0成立,建立群体均值的正态分布。正态分布的均值是总体均值,标准差是σ/n−−√\sigma /\sqrt{n},σ\sigma一般用ss估计。
而共用一个公众号,首先会遇到的应该是access_token问题了,两个程序互相的去获取access_token,导致被“挤下线”。 access_token是公众号的全局唯一接口调用凭据,公众号调用各接口时都需使用access_token。开发者需要进行妥善保存。access_token的存储至少要保留512个字符空间。 $wechat->template_message->send([ 'touser' => 'dsadasdasdas', 'template_id' => 'vN_nAl6UiLbCnCT _-lwPoGgaMZUXvY0G72Rr3C-5k6o', 'url' => 'https://blog.ll00.cn', 'data' => [ , // 申请内容 'keyword1' => '钞票', // 预约时间 'keyword2' => '2020年6月6日',
顺序统计量 将长度为 n 的数组升序排序后,则第 i 个位置的数字是该数组的第 i 小的量,称之为第 i 顺序统计量 数组最小值是第1个顺序统计量,最大值是第n个顺序统计量,中位数(又称下中位数)是第⌊ (n+1)/2⌋个顺序统计量 ⌊n⌋ 表示对 n 向下取整,⌈n⌉表示对 n 向上取整 最大值和最小值 若想要寻找n个数字里的最大值或最小值,只需要进行(n-1)次比较 int min = a[0]; i += 2; } cout << "min:" << min << endl; cout << "max:" << max << endl; } 第i顺序统计量 如果想要找到数组里的第 i 顺序统计量,也就是第 i 小的数字,通常的办法是把整个数组排序,然后直接取出对应位置的数字。
6. 干预效应(Treatment Effect):干预问题的基础是量化干预效应,常用的计量指标包括: (1). 假设研究某药物的治疗效果,分为30岁和40岁年龄组,每组都有服药和未服药的个体,观测数据如下[1]: 年龄 未服药(平均身体健康指数) 服药(平均身体健康指数) 健康状况差异(服药-未服药) 30岁 80 (6) 健康差异= \frac{(80\times6 + 60\times3)}{9} - \frac{(90\times2 + 65\times5)}{7} = 73.3 - 72.1 = -1.2 (2). 常用计量方法 随机对照试验 因果推断的一条黄金法则:随机对照试验(AB测试) 是确定因果关系最可靠的方法 [3]。 常用于计算复杂随机变量的方差、标准差等统计量,从而简化概率推断的计算过程。
在往期推送中,米老鼠和大家介绍过评价弱工具变量偏倚的策略------孟德尔随机化之F统计量。 一般而言,当F 统计量大于经验值10时,我们认为工具变量法估计值的偏倚大约是观察性研究的10%,因此F大于10这个标准在孟德尔随机化研究中广为使用。然而,这样的盲目使用不见得是合理的。 从上表中我们不难看出,随着均分的子队列数目增加,观察性估计量比较稳定,2SLS和LIML的估计值和实际观察值越来越接近,但是每个子队列的平均F统计量在不断减少。 也即说明,等分的子队列数目越多,工具变量估计值越接近真实值,但这时候F统计量可能是比较小的。 从上表中我们不难看出单纯依靠F统计量大于10来判断弱工具变量偏倚是不可靠的,当然我们这里并不是否认F统计量的作用,在实际研究中,F统计量越大,确实偏倚会小,但不能拿F大于10作为“金标准”。
连续型数据特征 数据特征值的应用 经验法则 盒须图 连续型数据特征 集中趋势 平均数 中位数(群体η\eta,样本X̃ \tilde{X}) 众数 选择:当群体中有离群值时,使用中位数或者众数,
isset($header['token'])){//没有token的话,进行if里面 return json(['code'=>440,'msg'=>'request must with token ']); } $token = $header['token']; try{ $token = (new Parser())->parse($token);//token解析, $token->verify($signer,config('shop.API_KEY'))){ return json(['code'=>440,'msg'=>'token verify failed $token->validate($data)){ $mobile = $token->getClaim('mobile'); $token = getToken($mobile); return json(['code'=>450,'msg'=>'token expired','token'=>$token]); } return $next($request);
最近在某年会的学术汇报上看到一篇DID实证论文,不过作者构建的计量模型比较特别。这篇文章的基本财务数据来自工企数据库,但却用于评估2017年实施的某项政策的政策效应。
最后看下T2T,通过Token to Token结构(下文会讲),它在浅层的时候也能建模出结构信息,同时也避免了极值的出现。 Token To Token结构 ? 这样会逐渐减少token的数量,但随之而来token的长度会增加很多(因为多个tokens连接在一个token),因此后续模型也降低了维度数目,以平衡计算量。 下面是一段测试代码 import torch import numpy as np np_input = np.array([[[[1, 2, 3], [4, 5, 6] unfold(torch_input) print(unfolded) # 输出为 tensor([[[ 1., 2., 4., 5.], [ 2., 3., 5., 6. ], [ 4., 5., 7., 8.], [ 5., 6., 8., 9.], [10., 11., 13., 14.],
6. 合成控制法 (Synthetic Control Method, SCM)原理:通过加权组合多个对照组单位,构建一个“合成”的对照组,模拟处理组在未受干预时的状态。
Generation Process reg y x tw function PRF = 1+2*x, range(-5 15) || /// scatter y x || lfit y x, lp(dash) 计量经济学的主要任务之一就是通过数据 1.1 OLS 估计量的推导 目标:残差平方和最小 此最小化问题的一阶条件为: 消去方程左边的 ,可得: 对上式各项分别求和,移项可得: 上式为“正规方程组”。 (图片来源:古扎拉蒂《经济计量学精要》(第四版)p.54) 由上图可知, 的观测值围绕其均值(total variation)可分解为两部分,一部分来自回归线(ESS),另一部分来自随机扰动(RSS 计量经济学及 Stata 应用[M]. 高等教育出版社. 古扎拉蒂, 波特, 2010. 经济计量学精要[M]. 机械工业出版社. 杰弗里·M·伍德里奇, 2015. 计量经济学导论(第五版)[M]. 北京: 中国人民大学出版社.