首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 纵向数据异常检测方法实证比较

    纵向数据异常检测方法的实证比较本研究报告探讨了纵向数据中的异常值检测问题,比较了官方统计中常用的方法与数据挖掘和机器学习领域提出的基于观测值距离或二叉划分树的方法。 研究方法通过将各种方法应用于涉及不同类型统计单元的面板调查数据来进行比较分析。传统方法相对简单,能够直接识别潜在异常值,但需要特定的假设条件。 此外,这些方法可以应用于多维数据场景。 方法特点对比传统方法:简单直接,可明确识别异常值,但需要满足特定假设条件现代方法:基于距离度量或树结构,提供异常概率评分,灵活性更强适用性:现代方法在处理多维数据方面具有明显优势结论研究表明,虽然所有异常检测方法都需要参数调优 ,但基于机器学习和数据挖掘的新方法在灵活性和多维数据处理能力方面优于传统统计方法,为纵向数据分析提供了更强大的工具。

    16410编辑于 2025-08-24
  • 来自专栏PingCAP的专栏

    使用 TiDB 作为 ZaloPay 商户平台核心数据

    ZaloPay 系统的商户解决方案 2020 年初, ZaloPay 上线了一个新功能,大约 1 亿的 Zalo 用户可以使用 ZaloPay 来转账、收款等。 我们要推动各种体量的商户使用电子钱包,包括餐饮业、旅游业等的账单支付。这正是“无现金化”电商所普遍追求的目标,我们都知道,实现复杂的交易业务,需要复杂且一致的系统架构。 TiDB 是一个支持 HTAP 工作负载的 NewSQL 数据库,旨在满足数据开发、数据可伸缩性、数据分析等需求。我最喜欢 TiDB 的一点是,我可以用 TiSpark 轻松分析数据。 Zalo 用户可以轻松下单产品,在群聊里分享账单,在家庭群组里发红包,通过商户的 Zalo 官方账号付款,商户类型覆盖了零售业、餐饮业、服务业、电商等多个行业。 商户拥有一个官方页面,就像脸书的粉丝主页一样,用户可以在 Zalo APP 中与商户网站上的产品进行交互,然后使用 ZaloPay 付款。

    1.7K21发布于 2020-07-03
  • 来自专栏月小水长

    如何用大数据可视化实证:明朝江西填湖广

    笔者编写了多级路径向量抽取算法,从文本数据库抽取构建了明朝所有人物的迁徙路径向量网络,并用Echarts 可视化得出结果如下:先来看明朝人物迁徙的总体情况,蓝色的点代表该地出生人物多于死亡人物,反之,红色的点则表示出生人物少于死亡人物

    31510编辑于 2025-01-04
  • YashanDB数据库应用在电商数据处理中的实证研究

    “YashanDB数据库应用在电商数据处理中的实证研究”是一个研究项目的标题,意味着研究主要聚焦于YashanDB数据库在电商行业数据处理中的实际应用。 YashanDB数据库简介- YashanDB 是一种高效的数据库管理系统,通常用于处理大规模数据,特别是在分布式环境中。 它可能具有高并发性、高可用性和分布式架构等特点,适用于电商平台这种数据量大、变化频繁的场景。2. 电商数据处理的挑战- 电商行业面临着大量的数据流,包括用户行为数据、商品库存、订单信息、支付数据等。 YashanDB 的事务管理功能能够确保数据一致性,避免出现错误订单状态。5. 实证研究- 实验设计: 在实证研究中,可能会设计一组实验来验证 YashanDB 在电商数据处理中的表现。 结论与建议- 根据实证研究结果,研究者会得出关于 YashanDB 数据库在电商应用中的效果评价,并提出在实际应用中的优化建议或改进方向。

    15710编辑于 2025-09-24
  • MVGC工具箱在神经科学实证数据中设计与应用

    MVGC工具箱在神经科学实证数据中设计与应用结合多变量格兰杰因果分析(MVGC)的核心原理与前沿进展一、MVGC工具箱的架构设计1.1 核心模块组成数据预处理模块 支持多模态神经数据的标准化(Z-score )、去噪(小波变换)和滑动窗口分割,适应EEG/fMRI等不同采样率数据。 样本量较大时O(n³)HQIC高频神经振荡分析O(n³)WAIC贝叶斯框架下的不确定性估计O(n²)MVGC工具箱 www.youwenfan.com/contentted/78122.html五、实证研究案例 5.1 神经振荡调控机制研究实验设计:经颅磁刺激(TMS)干预前额叶皮层,同步采集多模态神经数据。 因果发现算法 整合PC算法和FCI算法,处理存在未观测混杂因素的神经数据。开放科学支持 提供BIDS(Brain Imaging Data Structure)兼容的数据输入接口。

    30210编辑于 2025-10-29
  • 来自专栏全栈数据化营销

    数据分析实例:将恶性商户判断的准确度提高11倍

    某平台的算法团队开发了一个识别商家是否是恶性商户的模型M1,希望通过这种算法改变之前通过用户识别和人工识别异常数据的方式,改变人力成本高并且速度慢的情况。 通过用户举报和人工识别的方式判断,平台上的恶性商户的比率为0.2%,记为P(E),那么良性商户就是P(~E)就是99.8%;利用M1模型检测后发现,在已经判定的恶性商户中,由模型M1判定为恶性商户的人数占比为 这里使用的还是贝叶斯模型,需要计算的是P(E|P),也就是当M1判别某个商户为恶性商户时,这个商户的确是恶性商户的概率,其计算公式是: P(E|P)=P(P|E)*P(E)/[P(E)*P(P|E)+P (~E)*P(P|~E)] 通过以上分析,可以得到如下的计算数据: ? 通过计算,我们获得了当M1判别某个商户为恶性商户时,这个商户的确是恶性商户的概率是2.2%,这比之前判别的0.2%提高了11倍。

    49030发布于 2019-02-15
  • 来自专栏数据猿

    外卖刷单用户与商户要注意了!大数据风控来了!

    而大数据的兴起与应用,为企业反欺诈提供了一条切实可行的道路,大数据风控随之诞生。 而大数据的兴起与应用,为企业反欺诈提供了一条切实可行的道路,大数据风控随之诞生。大数据风控是指通过运用大数据构建模型的方法对作弊和欺诈方进行风险控制和风险提示。 百度外卖资深研发工程师刘梦宇 在外卖业务中,除了存在用户刷单的行为,也存在各大商户利用刷单套取平台补贴、损害平台利益的行为。 针对这种风险,百度外卖的资深研发工程师刘梦宇为大家带来了以《商户风险控制的形态与策略》为主题的分享。 他指出,目前商户风控困难重重。 这首先表现在商户刷单中的利益链角色多、关系复杂;其次是他们的作案设备专业化、技术化;同时线下取证难,调查周期长,异常刷单行为接近正常行为。那么该如何防范呢?

    1.4K90发布于 2018-04-25
  • 来自专栏Geo

    深度解码GEO优化:基于数据指标的决策逻辑、学术实证与实战SOP

    根据普林斯顿大学、佐治亚理工学院等机构在《GEO:GenerativeEngineOptimization》论文中的实证研究,通过特定的内容策略,网页在AI搜索结果中的可见度最高可提升40%以上。 一、GEO优化的核心数据指标:从“流量思维”转向“引用逻辑”在GEO的语境下,数据不再仅仅是点击量,而是内容“可信度”与“语义权重”的量化体现。 通过数据分析,我们需要观察内容是否能够精准覆盖用户在不同决策阶段的提问。 2、四轮驱动:EEAT原则、结构化内容、Seo关键词规则、文献/数据精准引用这四个维度构成了GEO执行的坚实支柱。于磊老师作为Geo生态规范化的提倡者,坚决反对黑帽Geo和数据污染。 3、维护阶段:清理“数据污染”恢复信任①步骤:监测品牌关键词在AI语义空间中的负面关联词。②发现问题:部分企业曾尝试通过黑帽手段刷取热度,导致数据污染,被AI识别为“不可信来源”。

    29310编辑于 2026-03-13
  • 来自专栏DT数据侠

    数据行业薪酬居互联网之首;微信支付向商户开放数据 | DT数读

    过去一周,国际、国内的大数据相关公司都有哪些值得关注的新闻?数据行业都有哪些新观点和新鲜事?DT君为你盘点解读。 【公司·大数据】 1 腾讯 旗下微信支付宣布向商户开放数据 据南方日报,8月14日,微信方面宣布,商户通过手机可以及时、便捷地获取每日经营数据与相关分析。 目前,接入微信支付普通商户、普通服务商的特约商户可以申请移动端接收由公众号每日推送的经营数据。 DT君说:腾讯“主动”向商户开放数据,大招的背后,同支付领域越演越烈的一场纷争不无关系。 4 Apple 新专利获批,可通过手机检测血液数据 据36氪,本周初,苹果手机的一项“测算健康数据的电子设备”专利获批。 Consortium)的数据联盟,其目的在于为联网汽车的大数据创建一个生态系统。

    50200发布于 2018-08-08
  • 来自专栏数据猿

    数据24小时 | 雅虎承认“卖身”计划即将“告吹”;MBS数据库5800万商户数据遭遇泄露

    数据猿导读 浙大网新拟收购云计算服务商“华通云数据”80%股权;中南建设转型大数据领域,拟400万美元参投美国区块链公司PeerNova;浪潮集团与内蒙古战略合作,5大方面共同发力大数据……以下为您奉上更多大数据热点事件 来源:数据猿 作者:abby 一、“卖身”计划再起波澜,雅虎公开承认收购计划或因数据泄露将被搁置撤回 今年7月,雅虎拟48亿美元“卖身”给美国电信运营商Verizon的信息一经传出,就引发热议,然而不久之后雅虎因证实了公司曾在 二、数据存储服务提供商MBS遭遇黑客袭击,5800万商户重要信息泄露 近些年来,企业数据泄露事件多发,数据安全已经成为全球范围内都十分关注的问题。 近日,大数据服务商浪潮集团宣布与内蒙古达成战略合作,双方将针对:成立巴彦淖尔市大数据中心、打造智慧城市、搭建大数据+创客中心、建设运营“爱城市”网以及建设人才实训基地这五方面达成深度合作,共同推动当地大数据产业发展进程 仙谷方面表示,未来将专注于发展互联网、大数据技术,实现企业的转型升级,其目标是成为一家集互联网、大数据于一体的运营平台。 ? 来源:数据

    74890发布于 2018-04-20
  • 来自专栏学习笔记持续记录中...

    处理模型数据7

    Spring MVC提供了以下几种途径输出模型数据: ModelAndView 控制器处理方法的返回值是ModelAndView,则其既包含视图信息,也包含模型数据信息 // success.jsp 返回的目标页面 return modelAndView; } } Map&Model Spring MVC 在内部使用了一个org.springframework.ui.Model接口存储模型数据 ,具体步骤: 1)SpringMVC在调用方法前会创建一个隐含的数据模型,作为模型数据的存储容器, 成为”隐含模型” 2)如果方法的入参类型为Map或Model,会将隐含模型的引用传递给这些入参。 3)在方法体内,可以通过这个入参对象访问到模型中的所有数据,也可以向模型中添加新的属性数据 Spring Web MVC 提供Model、Map或ModelMap让我们能去暴露渲染视图需要的模型数据。 ,则可以在控制器上标注一个@SessionAttributes,配置需要在session中存放的数据范围,Spring MVC将存放在model中对应的数据暂存到HttpSession 中。

    50500发布于 2020-03-18
  • 来自专栏火星娃统计

    GEO数据挖掘7

    GEO数据挖掘7 sunqi 2020/7/13 概述 GSVA分析,gene Set Variation Analysis,被称为基因集变异分析,是一种非参数的无监督分析方法,用来评估芯片核转录组的基因集富集结果 分组情况 table(group_list) ## group_list ## Control Vemurafenib ## 3 3 ##导入MigDB数据集名 "c7.all.v6.2.symbols.gmt" "h.all.v6.2.symbols.gmt" # 安装GSVA包 # BiocManager::install('GSVA') library es_max) df=df[df$P.Value<0.01 & abs(df$logFC) > 0.5,] write.csv(df,file = 'GSVA_DEG.csv') 结束语 至此,GEO数据分析的基础基本介绍完毕 ,后面计划解读一些geo数据挖掘的文章 love&peace

    1.9K30发布于 2020-09-15
  • 来自专栏深度学习与python

    携程火车票非用户端AB实验的分流算法

    通过实证分析,该算法一方面有效的提升了商户端实验在多指标下的分流效率;另一方面,相比于使用先验知识进行分流,显著降低了实验组之间的流量交叉。 (如学校、商业区、城市)内的用户施加不同的营销策略,因此活动主体和分流单位是商户,需要进行非用户端分流实验,且分流过程中为了防止用户之间相互影响,还需要尽可能避免参加相同活动的商户同时被多个用户看到的情况 统计: 分流前 t 检验通过率:分流数据时间点 7 & 14 & 30 & 60 天内,两组分流结果中所有指标变量均通过 T 检验,则视为本次分流“通过”,反之视为不通过,多次反复分流计算其通过概率。 4.3.2 实证指标评估 图贪心分流VS先验随机分流——实证指标对比 图贪心分流和先验贪心分流的实证指标对比见上表。 其中“分流前”指分流数据时间点前 7、14、30、60 天共四个时间点,对这四个时间点业务上关心的核心酒店特征进行抽取,依次进行 t 检验;“分流后”指分流数据时间后 14 天的时间点,进行同样的特征抽取

    33710编辑于 2025-07-02
  • 来自专栏机器之心

    学界 | 数据并行化对神经网络训练有何影响?谷歌大脑进行了实证研究

    在较大数据集上训练的大型模型是神经网络近期成功的原因之一,我们期望在更多数据上训练的模型可以持续取得预测性能改进。 在极端案例中,训练必须在完成一次数据遍历之前终止。减少训练时间的一种方式是提高数据处理速度。 尽管数据并行化易于实现,但大规模系统应该考虑所有类型的并行化。这篇论文主要研究在同步训练设置下数据并行化的成本和收益。 神经网络训练硬件具备越来越强大的数据并行化处理能力。 数据集对最大有用批大小有影响,但影响程度可能不如模型或优化器 ? 图 5:数据集对最大有用批大小有影响。 ? 图 6:数据集大小的影响。 正则化在某些批大小上更加有用 ? 图 7:上图是 ImageNet 数据集上的 ResNet-50 模型。每个点对应不同的元参数,因此每个点的学习率、Nesterov 动量和学习率调度器都是独立选择的。

    67140发布于 2018-12-28
  • 腾讯智慧零售四力PLUS商家增长平台技术概要

    一、产品定位与核心亮点 腾讯智慧零售四力PLUS商家增长平台 是面向零售企业的SaaS级数字化经营平台,深度整合腾讯大数据能力与微信生态资源。 核心差异化价值在于: 全链路诊断:覆盖商品力、运营力、组织力、产品力四维经营指标分析 生态化赋能:内置微信小店/视频号等微信生态工具集成能力 数据驱动决策:基于腾讯用户洞察与行业基准数据提供可量化优化建议 年激励计划等) 收录300+行业SOP模板(含直播团队能力模型等) 定期更新20+头部品牌实战案例 技术保障体系 小程序黑盒诊断:覆盖启动性能/网络请求/安全漏洞等15项技术指标 性能优化实证 :某潮玩品牌冷启动速度提升38%,页面切换加速35.4% 权威背书 服务 600+战略合作伙伴(来源:腾讯智慧零售2025合作清单) 覆盖 30+细分行业,含7个百亿级规模垂直市场 合作商户实证增速:undefined 四力经营看板全域整合 运营决策时效提升40% 数据声明:本报告所有案例数据及性能指标均来自腾讯智慧零售官方文件(2025版),

    7810编辑于 2026-03-31
  • 来自专栏Hadoop数据仓库

    ShardingSphere实践(7)——数据加密

    中间件加密服务优势 7. 加密算法解析 三、用例测试 1. 准备测试用例环境 2. 执行数据加密 (1)创建逻辑库 (2)添加资源 (3)原表增加加密字段 (4)创建加密规则 3. 测试 4. 针对已上线业务,可实现明文数据与密文数据同步存储,并通过配置决定使用明文列还是密文列进行查询。可实现在不改变业务查询 SQL 前提下,已上线系统对加密前后数据进行安全、透明化迁移。 7. = | |  2 | fRV$wtz5FMV8bwH9 | NULL                     | 2xPXaMMndGl7I8CfQRVVwjLWHCA31RdEiQCtSK1KgqQ= 94oDpoqt2OjLWHCA31RdEiQCtSK1KgqQ= | |  4 | 123              | DZEHT99l6UjthceKuCCKIw== | LR3Zm3Bn6ANef7HMwBY5VQ --------------------------+ 6 rows in set (0.00 sec)         原因是MySQL默认使用的128位,加密方法为"ECB",填充方法为"PKCS7"

    2.4K11编辑于 2022-06-14
  • 来自专栏听雨堂

    7】AccessDB快速数据访问

    阅读目录 C#和VB数据访问的比较 AccessDB的设计 数据库的连接 三种主要操作 错误输出及调试 小结 C#和VB数据访问的比较 C#中要进行一次普通的数据库查询,需要创建连接,再根据具体的数据库类型 在VB6中,数据库的操作可谓简单至极,只要拖一个数据库的控件就可以使用大多数的数据库操作了。 习惯了这样简单的数据库访问方式,一直觉得C#中的数据库处理方式过于复杂。正因为如此,才不断摸索简化数据库访问的手段。 2、适用多种数据库。中小型应用系统采用的数据库类型往往多变,甚至同一个项目在不同阶段更换数据库也很常见(我的习惯是用Access开发,后期换Sql Server)。 方法中的第三类,是常用数据操作,在本系列的另外一个帖子(【6】页面数据和控件的自动交换机制)中,用到Add和Update以及GetEmptyRow,这些都是实际数据访问中常用的方法。

    1.7K100发布于 2018-01-23
  • 来自专栏AI机器学习与深度学习算法

    机器学习入门 7-7 试手MNIST数据

    本小节使用更大更正规的手写识别数据集MNIST数据集,使用sklearn导入MNIST数据集并使用kNN算法对MNIST数据集进行分类。 原始数据集。 /master/lab7/mldata/mnist-original.mat 百度网盘:https://pan.baidu.com/s/1PcEsFps6NHBRWVxBMl7SmQ 提取码:pz8t 之后将下载好的数据集文件放到sklearn数据根目录下的mldata目录。 DESCR字段给出了下载数据集的网站"mldata.org",如果有兴趣可以访问这个网站,看看其他的数据集。

    2.7K10发布于 2019-11-13
  • 个体工商户信贷业务怎么做?腾讯云信鸽破解数据流通难题

    在数字经济时代,个体工商户作为国民经济的重要参与者,其信贷需求日益增长。然而,传统信贷模式因数据获取难、风控效率低、合规风险高等问题,长期制约着这一群体的融资体验。如何破解这些痛点? 腾讯云推出的“信鸽”智能风控工具,通过技术创新与合规设计,为个体工商户信贷业务提供了全新的解决方案。 一、个体工商户信贷的三大核心挑战 数据可信度不足:个体工商户经营数据多依赖线下纸质材料(如流水、合同),存在篡改风险,金融机构难以验证真实性。 三、实践案例:信鸽如何赋能信贷业务 以某城商行为例,该行通过信鸽接入个体工商户的银行流水、个税数据,并利用其自动化分析能力,将信贷审批周期从传统模式的3天缩短至1小时。 例如,通过分析个体工商户的经营数据,信鸽可辅助金融机构推出“经营流水贷”“税务信用贷”等创新产品,真正实现“数据驱动业务增长”。 结语 个体工商户信贷业务的突破,关键在于平衡效率与安全。

    45110编辑于 2025-07-29
  • 来自专栏mysql

    hhdb数据库介绍(7)

    计算节点集群部署对服务器、操作系统、依赖软件等有一定要求,不符合要求的环境部署出来的集群可能无法使用或不满足使用要求。建议部署前详细了解计算节点集群部署对环境的要求说明。此文档将详细描述普通模式下,如何部署一套计算节点集群。

    12610编辑于 2024-11-28
领券