近期计划出一个系列的文章,详细介绍一下网页及APP坑位流量归因的理论以及实践篇。欢迎大家收藏及转发,针对过程中有疑问的地方,欢迎在公众号内留言互动。 一、背景: 对于电商或者视频平台而言,随着流量资源的紧缺与精细化运营的完善,精细化的识别流量的效果是日常运营及工作中比较重要的一环。 根据每个流量入口的用户后续转化情况,是评价一个流量坑位的核心数据指标。 这些,其实流量归因分析模型都可以告诉你: 如何将钱花的更有价值:优先将广告预算投放在拉新及留存效果最佳的渠道,缩短用户在核心流程上的路径。 四、参考资料: 1.黄业忠.流量的高级分析与流量渠道的协同:归因和归分析型[G],2018-08-09 2.数据分析社区.电商流量来源分析平台:从数据底层到数据可视化[G],2021-05-11 3.海阁
前面了解到归因分析的理论知识和数据采集,接着我们看如何搭建数据计算模型。比如我们现在希望对进入UP主视频播放页的来源进行归纳。 一、根据采集信息,对采集页面进行梳理整合。 参数 含义 填写示例 ActionData 待归因的行为数据 bili_dwd.dwd_dot_log targetActionData 目标行为数据 bili_ads.ads_dot_target_1d outputData 输出数据表 bili_ads.ads_dot_detail_1d Objects 归因对象 uuid,user_id Dimensions 归因维度 up_id_com,app_key recent,average startDate 进行归因计算的日期 ${yyyy_mm_dd} traceBackDays 往前追溯的天数 0 maxIntervalHours 最大归因间隔(小时) 3.1 合并待归因和归因目标行为数据 输入:ActionData,targetActionData 中间处理:将ActionData中的additionalFields字段join到targetActionData
渠道归因(一)传统渠道归因 小P:小H,我又来了。。。最近在做ROI数据,但是有个问题。。。 小H:什么问题,不就是收入/成本吗? 小P:是的,每个渠道的成本很容易计算,但是收入就有点问题了。 小P:不愧是你,对的,用户在付费前经历过很多渠道,我感觉把收入分给谁都不好说 小H:这个也不复杂,关于渠道归因的方式有很多种,比如传统渠道归因、基于马尔可夫链、基于shapley value甚至是基于Attention-RNN 说到渠道归因,那最容易想到的就是传统的渠道归因,这种方法一般是基于业务决策的。 首次归因:首次点击渠道赋予全部转化 末次归因:末次点击渠道赋予全部转化 线性(平均)归因:每个渠道均分转化 位置归因:自定义位置的权重,一般首位占50%,其余为0 时间衰减归因:距离转化的时间越短的渠道 7377.5 1 beta 1910.0 2 delta 3.0 3 epsilon 315.0 4 eta 3665.5 5 gamma 128.5 6 iota 3980.5 7 kappa 152.0
前一节讲到多种流量归因的模型,本质上流量归因是为了辅助我们如何将钱花的更有价值以及高效洞察用户的习惯和行为,为下一步迭代产品的功能提供数据支撑。 今天这一节,结合具体的业务场景来看看流量归因分析如何在数据采集方案上落地的。 业内通用五大基本归因方案 旺盛的小草,公众号:万能的小草网站及APP坑位流量归因分析-(1)理论篇 一、背景 比如B站的产品内,提供了非常多的入口能够使得用户进入直播间里面。 由于涉及到主端APP的快速迭代,单次的分析很难实现复用,因此在这种背景下急需提供标准化的流量归因产品去快速实现流量来源拆解,快速定位KPI异动原因,满足业务运营的日常监控诉求。 观看时长、弹幕量、投币量、次日留存率 流量入口交叉对比分析 三、准备工作 为了实现流量的快速归因,需要依赖于我们有完善的数据采集。
渠道归因(三)基于Shapley Value的渠道归因 通过Shapley Value可以计算每个渠道的贡献权重,而且沙普利值的计算只需要参加的渠道总数,不考虑顺序,因此计算成本也较低。 pd import matplotlib.pyplot as plt import seaborn as sns 本文所有数据如果有需要的同学可关注公众号HsuHeinrich,回复【数据挖掘-渠道归因 73.73 Channel 2: 92.38 Channel 3: 118.34 Channel 4: 248.21 Channel 5: 75.04 Channel 6: 55.02 Channel 7: 118.34282245532259 Channel 4: 248.20742174492216 Channel 5: 75.04331640581641 Channel 6: 55.01952491952489 Channel 7: 总结 日常业务中,可以结合多个方法看一下归因的差异。
前面介绍了归因分析的理论、数据采集、数据计算,最后我们着重介绍一下如何对前面生成的数据,进行可视化分析沉淀,让业务能高效的进行日常运营迭代。 1.流量核心指标 页面曝光次数 流量入口页面曝光次数 页面曝光人数: 流量入口页面曝光人数 页面点击次数: 流量入口页面点击次数 页面点击人数: 流量入口页面点击人数 页面PV转化率: 流量入口页面点击次数 /流量入口页面曝光次数 *100% 页面点击转化率: 流量入口页面点击人数 /流量入口页面曝光人数*100% 付费人数: 来自该流量入口的视频付费人数 付费人数占比: 来自该流量入口页面的视频付费人数 观看时长占比: 来自该流量入口页面的视频观看时长/视频的总观看时长 视频点击打赏率: 来自该流量入口的视频打赏人数/来自该流量入口的视频点击人数 PV价值: 来自该流量入口的视频付费金额/来自该流量入口的视频曝光人数 类型:粉丝、游客 客户端:PC、移动端、H5、其他、站外 时间维度:今日、昨天、近7日日均、近30日日均 3.流量来源平台界面呈现 流量来源分析平台首页 可以展示不同时间不同人群不同流量来源不同数据指标的具体数据
如果你的直接流量占比很高的话,这种模型比较实用。 2.2.3 最终AD点击归因 最后一个AD的点击获得100%的转化,强调AD的作用,适用于推广侧重于AD的。 时间衰减归因模型基于一种假设,这种假设认为触点越接近转化,对转化的影响力就越大。这种模型基于一个指数衰减的概念,一般默认周期是7天。 5 归因分析的一些案例 5.1 亚马逊广告归因 【科普】深度解析亚马逊广告归因(含案例解析) 5大原则: Tracking window :有7天/14天的归因窗口期; Across all platforms ,这样在效果广告上市场的竞争力就会减弱;联盟模式则直接由于广告的变现效率(ECPM)相对下降而使得流量主转接到使用“有效触点”归因的联盟公司,影响更大。 参考文献 1 互联网广告的归因分析(Attribution Analysis) 2 2.3、流量的高级分析与流量渠道的协同:归因和归分析型 3 【科普】深度解析亚马逊广告归因(含案例解析) 4 【数据分析思维
流量控制的规则、准则和方法 8.1. Linux流量控制的通用规则 可以使用如下通用规则来学习Linux流量控制。可以使用tcng 或 tc进行初始化配置Linux下的流量控制结构。 一个设备可以对其传输的流量进行调整。由于已经在输入接口上接收到流量,因此无法调整这类流量。 解决此问题的传统方法是使用ingress策略。 每个接口必须包含一个qdisc。 流量后续会被分割到子类中,用于保证特定类型的流量的带宽或允许优先选择特定类型的流量。 8.3. 通过使用SFQ,特定队列中的流量可以分为多条流,然后公平地处理该队列中的每条流。表现良好的应用程序(和用户)会发现,使用SFQ和ESFQ足以满足大多数共享需求。 使用QoS/流量控制的脚本 9.1. wondershaper 更多参见 wondershaper. 9.2.
渠道归因(二)基于马尔可夫链的渠道归因 在应用当中,序列中的每个点通常映射为一个广告触点,每个触点都有一定概率变成真正的转化。通过这种建模,可以选择最有效,概率最高的触点路径。 本文主要参考自python实现马尔可夫链归因[1]。 马尔可夫链是一个过程,它映射运动并给出概率分布,从一个状态转移到另一个状态。 所以马尔可夫链模型可以用来做归因分析。 10133.518357 4 theta 1783.661989 7115.975460 5 lambda 1167.145576 4696.185913 6 kappa 305.905090 1126.342986 7 共勉~ 参考资料 [1] python实现马尔可夫链归因: https://mattzheng.blog.csdn.net/article/details/117296062
解释 这里会引用神策数据很多的介绍,然后进行总结 归因方法 自归因 渠道商帮我们做归因,有的是每个用户打开app都回传给渠道商,渠道商自己归因 有的如华为是从应用商店安装时, 应用商店把归因信息写入到 app, 然后首次安装启动时能从本地存储获取到归因数据 曝光归因 曝光归因由于有数据量极大、不会使用此项 点击归因(常用) 所谓点击归因, 就是点击广告之后首个转化, 基本都是用这种方式归因 归因模型 首次归因模型 多个归因源事件时,认为第一个归因源事件的功劳为100%。理由是第一个触点给用户建立了认知,与用户形成了连接。 平均归因模型 多个归因源事件时,认为每个归因源事件平均分配此次功劳。 时间衰减归因模型 加上了时间的影响因素,最后1次触达的贡献更高。 位置归因模型 多个归因源事件时,认为第一个归因源事件和最后一个归因源事件各占40%功劳,其余平分剩余的20%功劳。 接下来可以用队列事件解耦之后的流程 \Redis::set("attribute_devices:{$appId}_{$req->deviceKey}", $logModel, 60*60*24*7)
本篇主要是python实现马尔科夫链归因,关联的文章: 多渠道归因分析(Attribution):传统归因(一) 多渠道归因分析:互联网的归因江湖(二) 多渠道归因分析:python实现马尔可夫链归因( 三) 多渠道归因分析(Attribution):python实现Shapley Value(四) 多渠道归因分析(Attribution):用attention-RNN来做归因建模(附代码demo)(五 所以马尔可夫链模型可以用来做归因分析。 这是一个多渠道归因模型问题。 Google Analytics(分析)的定义有助于:归因模型是一个或一组规则,用于确定如何将销售和转化功劳分配给转化路径中的接触点。 如今,Google Analytics(分析)提供了七个预定义的归因模型,甚至可以定制的自定义模型。
函数块 'Totalizer' ,可以计算出一个瞬时流量的累积值。 描述 例如,在测量流量或线速度时,可以使用距离或体积作为物理量,使用毫秒,秒,分钟,小时或者天作为测量时间的单位。 "Totalizer" 功能块必须在循环中断(比如OB30)中调用,表 01 是 "Totalizer" 功能块的输入和输出变量列表 参数 变量 数据类型 描述 输入 Value Real 瞬时流量 输入 Interval Time 瞬时流量的时间单位 输入 Cycle Time 扫描时间(循环中断周期) 输入 Reset Bool 累积值清零 输出 Total Real 累积值输出 表 01 被测量值 "Value" (速度或流量)的计量单位可以是米每秒,立方米每分钟或公里每小时。 然后在 STEP 7 (TIA Portal) 中打开这个库,并可以添加到S7-1200/S7-1500的项目中使用。
1)将其他广告流量的转化归到了Facebook的广告上:在Facebook 的流量或者联盟流量上曝光过的广告,但对在其他流量上转化的广告进行了归因,将广告的收益算到了Facebook的媒体上。 2)将应用自然流量上(organic)归因到了Facebook的广告上:广告在Facebook 的流量或者联盟流量上曝光过,但是没有转化,最终用户主动的在Google play或者APP Store 上进行了转化激活 的归因逻辑以及反作弊逻辑,这样可以提升你投放广告的流量效率。 由于当年在东南亚归因作弊异常猖獗(具体作弊手段可以参考我的另一篇文章《不懂归因,也许你广告还没入门》),很多联盟的流量通过虚拟点击抢归因,抢了这两个广告主很多的“自然量”。 为了能更好的了解自然流量的占比情况,统计归因作弊的流量,Amazon 和 Facebook lite 版本在一个时间段内,直接在某几个国际地区上停止全部的广告投放。 结果,两个产品的自然流量大幅上涨。
今天,我们将列举一些常用的归因模型,并演示如何使用Googel Analytics 归因模型对比工具来为你的业务挑选最适合的模型。 归因模型应用示例 假设你的网站售卖烧烤架。 Google Analytics 归因模型101 在末次互动归因模型中,我们将转化的全部功劳归于用户的最后一个触点。 末次非直接点击归因模型忽视了直接流量,把转化功劳全归因于在完成销售之前的最后一次渠道点击。 在Grillmaster先生的例子中,如果使用末次非直接流量点击归因模型,社交网络就是这次购买的头号功臣。 末次广告点击归因模型把成功转化归功于最后一次广告点击或者付费搜索点击。 我们再来看更多模型: 与末次互动相似,首次互动归因模型把转化功劳全归因于首次触点——在Grillmaster先生的例子中,即为自然搜索。 线性归因模型在各个渠道之间平均分配成功转化分数。
方法: echo 1 > /proc/sys/net/ipv4/ip_forward sysctl -p firewall-cmd --permanent --add-port=161/tcp --zone=public firewall-cmd --permanent --add-port=161/udp --zone=public firewall-cmd --permanent --add-masquerade --zone=public firewall-cmd --permanent -
不管是做FOF也好,仅仅想单纯归因也好,Brison是一种比较常见,也算是通用的归因方法,其一般用于权益类或者大类资产配置类基金。 其实Brison归因的逻辑很简单,假设有一个基准,基准在各类资产的配置上的权重分别是wbi(weight of benchmark of asset i),这些资产的收益率分别是rbi(return of benchmark of asset i),同样的,我们有一个需要归因的基金产品,也就是我们自己的组合,在各类资产上的权重是wpi(weight of portfolio of asset i),收益率分别是 所谓的Brison归因就是把一个组合的超额收益分解为资产配置的能力、个券选择的能力、以及交互收益。
xtables-addons是什么 xtables-addons是一款基于国家GeoIP信息来识别网络流量,用于netfilter/iptables的过滤器扩展。 如何安装和使用 安装lux仓库(该仓库包含xtables-addons所需的依赖环境) # wget http://repo.iotti.biz/CentOS/7/noarch/lux-release- 7-1.noarch.rpm # rpm -ivh lux-release-7-1.noarch.rpm 安装xtables-addons。 附:国家简码 使用iptables # iptables -I INPUT -m geoip --src-cc JP,CU -j DROP #阻断来自日本和古巴的网络流量 # iptables -I OUTPUT -m geoip --dst-cc CA -j DROP #阻断流向加拿大的流量 使用firewall-cmd。
让我们来看看每一个普及的模型,看看每一步骤的归因。这样我们就可以权衡利弊。 最后点击(Last-Click) ? 这归因模型功劳于转化前的最后一个通道,这就是我们以上举例的重定向广告。 这类归因模型允许你创建混合型最后单击和初次点击的模型,并给每个触达点相应的百分比。 优点:如果你的营销项目主旨是保持与用户的关系和认知,那么线性的归因就比较有用。比如说,如果你有一个品牌的广告项目,每一个媒介点在用户考虑阶段都同等重要,那么线性的归因能够帮助你您可视化这一进程。 缺点:时间衰减归因对最后转化有贡献,但是是初始的触达的渠道有打折扣,例如Facebook或者最初的搜索会话。 自定义(Custom ) ? 这就是“圣杯”归因模型! 你需要对其他模型非常了解再来运用自定义归因模型 正如你所看到的,这里有很多归因模型,找到一个适合你的业务的模型途径需要测试并且优化。使用一些虚拟数据集来测试不同的广告项目和媒介渠道。
本文将深入探讨LTA的局限性,分析其归因陷阱,并提出突破路径,帮助广告主从“流量思维”跃迁至“价值思维”。 二、LTA的三大归因陷阱:为何“最后一击”无法定义全部价值? 1. 多触点归因模型:平衡短期与长期价值 除MMM外,品牌还可结合其他多触点归因模型(如线性归因、时间衰减模型)优化策略: 线性归因:平均分配各触点的贡献值,适合强调全链路体验的品牌(如奢侈品)。 通过多触点归因,品牌发现LinkedIn广告对线索生成的贡献率为40%,并据此优化广告预算分配。 七、技术实现:构建多触点归因模型 1. 九、结语:从“流量思维”到“价值思维”的战略跃迁 末次触达归因的局限性,本质是“流量思维”的缩影——仅关注短期转化,忽视长期价值。而营销组合模型与多触点归因的融合,标志着品牌向“价值思维”的转型。 通过结合全局视角与微观洞察,品牌不仅能突破LTA的局限,还能在流量与价值之间找到平衡点,实现从“流量思维”到“价值思维”的战略跃迁。
个人分类: linux/unix 服务器在做测试的时候,需要监控网络流量,用来了解在不同人数的时候服务器的网络使用量。 我们使用服务器环境是centos7,centos下通常使用iftop,或者nethogs来进行网络流量监控。这2个工具都需要先安装epel,因为这个库通常操作系统是不自带的。 那么就先安装epel,使用的命令是: rpm -Uvh https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm 然后使用iptraf 命令找出流量使用情况和接口、端口信息。iptraf 会给出如下所示的输出。结果给出了两样东西,源地址和网络端口号。 按下r会按照接收流量排序。按下s会按照发送流量排序。 请多多分享一下和nethogs类似的工具,或者其他有意思的方法可以找出每个进程占用网络的情况。