首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 纵向数据异常检测方法实证比较

    纵向数据异常检测方法的实证比较本研究报告探讨了纵向数据中的异常值检测问题,比较了官方统计中常用的方法与数据挖掘和机器学习领域提出的基于观测值距离或二叉划分树的方法。 研究方法通过将各种方法应用于涉及不同类型统计单元的面板调查数据来进行比较分析。传统方法相对简单,能够直接识别潜在异常值,但需要特定的假设条件。 此外,这些方法可以应用于多维数据场景。 方法特点对比传统方法:简单直接,可明确识别异常值,但需要满足特定假设条件现代方法:基于距离度量或树结构,提供异常概率评分,灵活性更强适用性:现代方法在处理多维数据方面具有明显优势结论研究表明,虽然所有异常检测方法都需要参数调优 ,但基于机器学习和数据挖掘的新方法在灵活性和多维数据处理能力方面优于传统统计方法,为纵向数据分析提供了更强大的工具。

    16410编辑于 2025-08-24
  • 来自专栏PingCAP的专栏

    使用 TiDB 作为 ZaloPay 商户平台核心数据

    ZaloPay 系统的商户解决方案 2020 年初, ZaloPay 上线了一个新功能,大约 1 亿的 Zalo 用户可以使用 ZaloPay 来转账、收款等。 我们要推动各种体量的商户使用电子钱包,包括餐饮业、旅游业等的账单支付。这正是“无现金化”电商所普遍追求的目标,我们都知道,实现复杂的交易业务,需要复杂且一致的系统架构。 TiDB 是一个支持 HTAP 工作负载的 NewSQL 数据库,旨在满足数据开发、数据可伸缩性、数据分析等需求。我最喜欢 TiDB 的一点是,我可以用 TiSpark 轻松分析数据。 Zalo 用户可以轻松下单产品,在群聊里分享账单,在家庭群组里发红包,通过商户的 Zalo 官方账号付款,商户类型覆盖了零售业、餐饮业、服务业、电商等多个行业。 商户拥有一个官方页面,就像脸书的粉丝主页一样,用户可以在 Zalo APP 中与商户网站上的产品进行交互,然后使用 ZaloPay 付款。

    1.7K21发布于 2020-07-03
  • 来自专栏月小水长

    如何用大数据可视化实证:明朝江西填湖广

    笔者编写了多级路径向量抽取算法,从文本数据库抽取构建了明朝所有人物的迁徙路径向量网络,并用Echarts 可视化得出结果如下:先来看明朝人物迁徙的总体情况,蓝色的点代表该地出生人物多于死亡人物,反之,红色的点则表示出生人物少于死亡人物

    31510编辑于 2025-01-04
  • YashanDB数据库应用在电商数据处理中的实证研究

    “YashanDB数据库应用在电商数据处理中的实证研究”是一个研究项目的标题,意味着研究主要聚焦于YashanDB数据库在电商行业数据处理中的实际应用。 它可能具有高并发性、高可用性和分布式架构等特点,适用于电商平台这种数据量大、变化频繁的场景。2. 电商数据处理的挑战- 电商行业面临着大量的数据流,包括用户行为数据、商品库存、订单信息、支付数据等。 - 持续的并发访问、数据一致性、事务管理、扩展性和容错性是电商数据处理中的关键问题。3. YashanDB 的事务管理功能能够确保数据一致性,避免出现错误订单状态。5. 实证研究- 实验设计: 在实证研究中,可能会设计一组实验来验证 YashanDB 在电商数据处理中的表现。 结论与建议- 根据实证研究结果,研究者会得出关于 YashanDB 数据库在电商应用中的效果评价,并提出在实际应用中的优化建议或改进方向。

    15710编辑于 2025-09-24
  • MVGC工具箱在神经科学实证数据中设计与应用

    MVGC工具箱在神经科学实证数据中设计与应用结合多变量格兰杰因果分析(MVGC)的核心原理与前沿进展一、MVGC工具箱的架构设计1.1 核心模块组成数据预处理模块 支持多模态神经数据的标准化(Z-score )、去噪(小波变换)和滑动窗口分割,适应EEG/fMRI等不同采样率数据。 二、在神经科学中的典型应用场景2.1 脑网络动态功能连接案例:癫痫发作期默认模式网络(DMN)解离分析使用MVGC检测海马-前额叶皮层间的因果流反转,窗口大小设为500ms,滞后阶数p=3。 2/(2 * 0.5^2));% 非线性VAR建模nonlinear_var = mvreg_nonlinear(clean_data, 'Kernel', kernel, 'PolyOrder', 3) 样本量较大时O(n³)HQIC高频神经振荡分析O(n³)WAIC贝叶斯框架下的不确定性估计O(n²)MVGC工具箱 www.youwenfan.com/contentted/78122.html五、实证研究案例

    30210编辑于 2025-10-29
  • 来自专栏数据仓库技术

    HiveSQL-面试题033 存在销售额连续3天增长的商户

    3天销售额连续增长的商户 +-----------+----------+----------------------+------------+ | order_id | shop_id | 2023-08-21 09:01:00 | 9.99 | | 2 | 1001 | 2023-08-22 10:00:00 | 19.99 | | 3 ; 2.由于要连续3日增长,对每个商户计算是否比上一条记录增长,剔除掉不增长的记录; 3.连续问题,使用双排序法计算出每次连续增长天数; 4.查询最后结果 维度 评分 题目难度 ⭐️⭐️⭐️⭐️⭐️ 题目清晰度 查询结果 四、建表语句和数据插入 --建表语句 CREATE TABLE t_order_033 ( order_id bigint COMMENT '订单ID', shop_id bigint COMMENT DELIMITED FIELDS TERMINATED BY '\t' ; -- 插入数据 insert into t_order_033(order_id,shop_id,order_time,order_amt

    52610编辑于 2024-01-08
  • 来自专栏全栈数据化营销

    数据分析实例:将恶性商户判断的准确度提高11倍

    某平台的算法团队开发了一个识别商家是否是恶性商户的模型M1,希望通过这种算法改变之前通过用户识别和人工识别异常数据的方式,改变人力成本高并且速度慢的情况。 通过用户举报和人工识别的方式判断,平台上的恶性商户的比率为0.2%,记为P(E),那么良性商户就是P(~E)就是99.8%;利用M1模型检测后发现,在已经判定的恶性商户中,由模型M1判定为恶性商户的人数占比为 这里使用的还是贝叶斯模型,需要计算的是P(E|P),也就是当M1判别某个商户为恶性商户时,这个商户的确是恶性商户的概率,其计算公式是: P(E|P)=P(P|E)*P(E)/[P(E)*P(P|E)+P (~E)*P(P|~E)] 通过以上分析,可以得到如下的计算数据: ? 通过计算,我们获得了当M1判别某个商户为恶性商户时,这个商户的确是恶性商户的概率是2.2%,这比之前判别的0.2%提高了11倍。

    49030发布于 2019-02-15
  • 来自专栏数据猿

    外卖刷单用户与商户要注意了!大数据风控来了!

    而大数据的兴起与应用,为企业反欺诈提供了一条切实可行的道路,大数据风控随之诞生。 而大数据的兴起与应用,为企业反欺诈提供了一条切实可行的道路,大数据风控随之诞生。大数据风控是指通过运用大数据构建模型的方法对作弊和欺诈方进行风险控制和风险提示。 百度外卖资深研发工程师刘梦宇 在外卖业务中,除了存在用户刷单的行为,也存在各大商户利用刷单套取平台补贴、损害平台利益的行为。 针对这种风险,百度外卖的资深研发工程师刘梦宇为大家带来了以《商户风险控制的形态与策略》为主题的分享。 他指出,目前商户风控困难重重。 这首先表现在商户刷单中的利益链角色多、关系复杂;其次是他们的作案设备专业化、技术化;同时线下取证难,调查周期长,异常刷单行为接近正常行为。那么该如何防范呢?

    1.4K90发布于 2018-04-25
  • 来自专栏Geo

    深度解码GEO优化:基于数据指标的决策逻辑、学术实证与实战SOP

    根据普林斯顿大学、佐治亚理工学院等机构在《GEO:GenerativeEngineOptimization》论文中的实证研究,通过特定的内容策略,网页在AI搜索结果中的可见度最高可提升40%以上。 一、GEO优化的核心数据指标:从“流量思维”转向“引用逻辑”在GEO的语境下,数据不再仅仅是点击量,而是内容“可信度”与“语义权重”的量化体现。 3、E-E-A-T量化评分(QuantifiedE-E-A-TScore)虽然E-E-A-T(经验、专业性、权威性、可信度)是谷歌提出的评估标准,但在GEO时代,它已成为AI模型筛选内容的底层逻辑。 3、维护阶段:清理“数据污染”恢复信任①步骤:监测品牌关键词在AI语义空间中的负面关联词。②发现问题:部分企业曾尝试通过黑帽手段刷取热度,导致数据污染,被AI识别为“不可信来源”。 2023).SGE:BringingthePowerofGenerativeAItoSearch.GoogleSearchLabsTechnicalDocumentation.Availableat:[3]

    29310编辑于 2026-03-13
  • 来自专栏技术进阶

    微信支付小微商户V3版本接口使用libsodium扩展以及代码示例

    微信支付小微商户接口: 微信支付小微商户接口地址 其接口操作中需要下载证书针对返回的 AEAD_AES_256_GCM算法解密,其中用到了sodium_crypto_aead_aes256gcm_decrypt certificates';//获取商户平台证书 const CREATE_COUPON_STOCKS = '/v3/marketing/favor/coupon-stocks';//创建代金券批次 ';//查询代金券可用商户API const QUERY_COUPON_ITEMS = '/v3/marketing/favor/stocks/%s/items';//查询代金券可用单品API const QUERY_USER_COUPON = '/v3/marketing/favor/users/%s/coupons';//根据商户号查用户的券 const COUPON_STOCKS_USER_FLOW_DOWNLOAD * @param string $senderMchid 批次发放商户号 * @param string $availableMchid 可用商户号 * @param int

    1.9K20编辑于 2021-12-24
  • 来自专栏DT数据侠

    数据行业薪酬居互联网之首;微信支付向商户开放数据 | DT数读

    过去一周,国际、国内的大数据相关公司都有哪些值得关注的新闻?数据行业都有哪些新观点和新鲜事?DT君为你盘点解读。 【公司·大数据】 1 腾讯 旗下微信支付宣布向商户开放数据 据南方日报,8月14日,微信方面宣布,商户通过手机可以及时、便捷地获取每日经营数据与相关分析。 目前,接入微信支付普通商户、普通服务商的特约商户可以申请移动端接收由公众号每日推送的经营数据。 DT君说:腾讯“主动”向商户开放数据,大招的背后,同支付领域越演越烈的一场纷争不无关系。 3 美联航 寻求用大数据解决超额售票问题 据民航资源网引述华尔街日报报道,今年以来美联航因超售等旅客服务问题成为媒体焦点。美联航技术副总裁近日表示,将寻求通过大数据分析来帮助更战略性的管理超售问题。 Consortium)的数据联盟,其目的在于为联网汽车的大数据创建一个生态系统。

    50200发布于 2018-08-08
  • 来自专栏DrugIntel

    洛克菲勒 + 耶鲁团队联合实证:AlphaFold3 进军药物发现,颠覆者还是好帮手?

    AF3的性能优势(若存在)是源于对蛋白质-配体相互作用的真实学习,还是数据集偏差或训练集记忆导致的虚假繁荣? 数据集偏差的关键发现 深入分析揭示了AF3优势背后的隐藏因素: 配体-only偏差显著:仅输入配体SMILES序列(不提供蛋白质信息),AF3的pTM仍能在84%(36/43)的靶点上实现非随机富集,47% 二、大规模实验数据集验证:无偏差场景下的性能反转 为排除数据集偏差干扰,研究团队采用三个无偏差的大规模实验数据集(σ₂受体、D₄多巴胺受体、AmpC β-内酰胺酶,共2500余个测试分子)进行验证,结果呈现显著反转 配体-only偏差消失:实验数据集中,活性分子与非活性分子的配体-only pTM分数分布几乎完全重叠,证明实验数据集无配体层面固有偏差,更贴近真实筛选场景。 2. 早期富集优势与后处理筛选价值 AF3在特定场景下仍展现独特价值: 早期富集表现突出:在σ₂和D₄受体数据集上,AF3的logAUC和EF₁₀(Top 10%富集因子)指标有些优于DOCK3,意味着其能在筛选初期快速锁定高潜力分子

    54310编辑于 2025-12-17
  • 来自专栏数据猿

    数据24小时 | 雅虎承认“卖身”计划即将“告吹”;MBS数据库5800万商户数据遭遇泄露

    数据猿导读 浙大网新拟收购云计算服务商“华通云数据”80%股权;中南建设转型大数据领域,拟400万美元参投美国区块链公司PeerNova;浪潮集团与内蒙古战略合作,5大方面共同发力大数据……以下为您奉上更多大数据热点事件 二、数据存储服务提供商MBS遭遇黑客袭击,5800万商户重要信息泄露 近些年来,企业数据泄露事件多发,数据安全已经成为全球范围内都十分关注的问题。 上的数据仓库服务产品。 近日,大数据服务商浪潮集团宣布与内蒙古达成战略合作,双方将针对:成立巴彦淖尔市大数据中心、打造智慧城市、搭建大数据+创客中心、建设运营“爱城市”网以及建设人才实训基地这五方面达成深度合作,共同推动当地大数据产业发展进程 仙谷方面表示,未来将专注于发展互联网、大数据技术,实现企业的转型升级,其目标是成为一家集互联网、大数据于一体的运营平台。 ? 来源:数据

    74890发布于 2018-04-20
  • 来自专栏机器之心

    学界 | 数据并行化对神经网络训练有何影响?谷歌大脑进行了实证研究

    在极端案例中,训练必须在完成一次数据遍历之前终止。减少训练时间的一种方式是提高数据处理速度。 尽管数据并行化易于实现,但大规模系统应该考虑所有类型的并行化。这篇论文主要研究在同步训练设置下数据并行化的成本和收益。 神经网络训练硬件具备越来越强大的数据并行化处理能力。 数据集对最大有用批大小的影响不如模型和训练算法的影响,但该影响并非一贯依赖于数据集规模。 3. 训练元参数的最优值(如学习率)并非一直遵循与批大小的简单关系,尽管目前有大量启发式方法可以调整元参数。 图 3:a-c 展示了在相同数据集上,一些模型架构能够从大批量中获益更多。d、f 展示了宽度和深度变化会影响模型利用大批量的能力,但是该情况并不适用于所有模型架构。 数据集对最大有用批大小有影响,但影响程度可能不如模型或优化器 ? 图 5:数据集对最大有用批大小有影响。 ? 图 6:数据集大小的影响。 正则化在某些批大小上更加有用 ?

    67140发布于 2018-12-28
  • 来自专栏深度学习与python

    携程火车票非用户端AB实验的分流算法

    通过实证分析,该算法一方面有效的提升了商户端实验在多指标下的分流效率;另一方面,相比于使用先验知识进行分流,显著降低了实验组之间的流量交叉。 (如学校、商业区、城市)内的用户施加不同的营销策略,因此活动主体和分流单位是商户,需要进行非用户端分流实验,且分流过程中为了防止用户之间相互影响,还需要尽可能避免参加相同活动的商户同时被多个用户看到的情况 图贪心分流算法的其核心步骤如下: 步骤 1:基于用户行为的图结构建模 以历史用户 - 实体的曝光数据数据为输入,构建以原始分流实体为节点(如商品的唯一标识 ID)、以用户交叉曝光关系为边的加权图: 节点 下述实证分析使用的是基于“总值”的相对差异。 4.3.2 实证指标评估 图贪心分流VS先验随机分流——实证指标对比 图贪心分流和先验贪心分流的实证指标对比见上表。

    33710编辑于 2025-07-02
  • 来自专栏Sign

    数据分享3

    这个算是最后一篇了,后续不打算再分享数据了。 原因后面说。 首先,小卜,out。 ? 这个世界真是残酷啊。 小卜巅峰的时候达到dau 8k+,眼看着就要越过1w的槛了,然后,被人拉下来,踢出去了。

    43530发布于 2018-07-23
  • 个体工商户信贷业务怎么做?腾讯云信鸽破解数据流通难题

    在数字经济时代,个体工商户作为国民经济的重要参与者,其信贷需求日益增长。然而,传统信贷模式因数据获取难、风控效率低、合规风险高等问题,长期制约着这一群体的融资体验。如何破解这些痛点? 腾讯云推出的“信鸽”智能风控工具,通过技术创新与合规设计,为个体工商户信贷业务提供了全新的解决方案。 一、个体工商户信贷的三大核心挑战 数据可信度不足:个体工商户经营数据多依赖线下纸质材料(如流水、合同),存在篡改风险,金融机构难以验证真实性。 三、实践案例:信鸽如何赋能信贷业务 以某城商行为例,该行通过信鸽接入个体工商户的银行流水、个税数据,并利用其自动化分析能力,将信贷审批周期从传统模式的3天缩短至1小时。 例如,通过分析个体工商户的经营数据,信鸽可辅助金融机构推出“经营流水贷”“税务信用贷”等创新产品,真正实现“数据驱动业务增长”。 结语 个体工商户信贷业务的突破,关键在于平衡效率与安全。

    45110编辑于 2025-07-29
  • 腾讯智慧零售四力PLUS商家增长平台技术概要

    核心差异化价值在于: 全链路诊断:覆盖商品力、运营力、组织力、产品力四维经营指标分析 生态化赋能:内置微信小店/视频号等微信生态工具集成能力 数据驱动决策:基于腾讯用户洞察与行业基准数据提供可量化优化建议 A --> C[知识库] A --> D[方略系统] A --> E[生态洞察] B --> B1[经营大盘] B --> B2[商品诊断] B --> B3[ 年激励计划等) 收录300+行业SOP模板(含直播团队能力模型等) 定期更新20+头部品牌实战案例 技术保障体系 小程序黑盒诊断:覆盖启动性能/网络请求/安全漏洞等15项技术指标 性能优化实证 :某潮玩品牌冷启动速度提升38%,页面切换加速35.4% 权威背书 服务 600+战略合作伙伴(来源:腾讯智慧零售2025合作清单) 覆盖 30+细分行业,含7个百亿级规模垂直市场 合作商户实证增速:undefined 美妆零售 莎莎(Sasa) 新店选址准确率不足65% 潜客地图栅格分析模型(150m精度) 新店首月业绩达预估121% 数码3C

    7810编辑于 2026-03-31
  • 来自专栏拓端tecdat

    R语言逻辑回归Logistic选股因素模型交易策略及沪深300指数实证|附代码数据

    实证结果分析 #读取数据 file=list.files("." 组合和基准每月的收益率的对比图 逻辑回归模型结果 Deviance Residuals: Min 1Q Median 3Q Max -0.86049 但是本文的研究也可能存在以下问题和漏洞: 本文选取了过去5年的历史数据,其中会有较多的数据缺失,数据缺失较多的股票不会计入模型,可能会造成结果的偏差。 本文中只是选取前3年的数据经行Logistic回归分析,在计算更近时期的收益时,并没有加入之后新的因子数据经行计算,可能造成分析的不准确。 Logistic选股模型及其在沪深300中的实证[R].国信证券,2010. [2]:黄志文.传统多因素模型及其在沪深300 中的实证[R].国信证券,2010. [3]:滋维·博迪.投资学[M].第九版

    32620编辑于 2023-09-06
  • 来自专栏Hank’s Blog

    3-3 数据框的子集

    > x <- data.frame(v1=1:5,v2=6:10,v3=11:15) > x v1 v2 v3 1 1 6 11 2 2 7 12 3 3 8 13 4 4 9 14 5 5 10 15 > x$v3[c(2,4)] <- NA > x v1 v2 v3 1 1 6 11 2 2 7 NA 3 3 8 13 4 4 9 NA 5 5 10 15 > #找出第2列 > x[, 3 3 8 13 > x[x$v1>2,] #第1列大于2的所有元素 v1 v2 v3 3 3 8 13 4 4 9 NA 5 5 10 15 > x[which(x$v1>2),] #使用 which函数筛选第1列大于2的所有元素 v1 v2 v3 3 3 8 13 4 4 9 NA 5 5 10 15 > ? 和上面的操作一样,筛选第1列大于2的所有元素 v1 v2 v3 3 3 8 13 4 4 9 NA 5 5 10 15

    77600发布于 2020-09-16
领券