- 综合排序
- 最热优先
- 最新优先
离线推理精度问题分析
什么是精度问题离线推理（om模型在昇腾acl推理）的结果和在线推理（如：对原始模型通过pytorch/onnxruntime框架在gpu/cpu的推理）相差比较大，如在开源数据集的精度差距>1%，则认为离线推理精度不达标 精度问题定界定位精度问题定界1.保存在线推理的模型的输入输出：作为精度对比的标杆2.保存离线推理的模型的输入输出：离线推理需要保证和在线推理的原始输入是同一份数据3.数据对比：对比在线推理和离线推理的模型输入输出 ：Pytorch module -> onnx -> OM1.先对比pytorch model和onnx model的推理结果，如果结果差异大，则需要分析pytorch export onnx的脚本2. 精度问题分析实践以Reset50为样例, 提供在线推理，离线推理、结果比对：参考ACL_PyTorch docs:01~04步骤import numpy as npimport torchfrom torchvision.io /msit_compare查看result_{timestamp}.csvresult各字段说明及分析说明：链接使用专家建议：msit debug compare -gm .
45710编辑于 2025-06-23- 来自专栏西郊手记
Redis RDB文件离线分析
而RDB则是数据内存的一个snapshots，在存储时使用带压缩的紧凑二进制结构，对比AOF，RDB机制导出的数据量更小，在存储、全量复制和数据离线分析中更好的选择。 今天我们就来重点说说RDB文件的离线分析。 RDB文件格式简述 RDB文件格式为优化读写性能，将内存结构尽可能对齐文件格式，并在能使用压缩都使用压缩以减少文件大小。 RDB文件分析 rdb分析的应用场景较多，比如Redis数据差异对比，大Key的分析，键值的统计等。 熟话说工欲善其事，必先利其器，虽然上述部分我们简单阐述了rdb的文件格式，但要自己写从零写一个分析器还是有较大的工作量。好在开源社区里已经有不少RDB文件分析组件了。 其中最著名的莫过于redis-rdb-tools(https://github.com/sripathikrishnan/redis-rdb-tools)，支持多个rdb文件数据对比，内存报告，key分析能特性并支持将数据导出为
3.9K41发布于 2019-02-22 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——420订单分析Hadoop离线数据分析平台实战——420订单分析
Hadoop离线数据分析平台实战——420订单分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 完成 浏览器信息分析(MR) 完成 地域信息分析(MR) 完成 外链信息分析(MR) 完成 用户浏览深度分析(Hive) 完成 订单分析(Hive) 未完成 事件分析(Hive) 完成 模块介绍 订单分析分别分析订单的数量和订单的金额， 以及将订单分为总订单、 支付成功订单以及退款订单三种类型的数据 ， 通过这六个分析指标的数据我们可以指定网站的订单情况。 代码步骤 hive中创建hbase对应的外部表 订单数量&订单金额的hive&sqoop分析 a. 实现自定义udf&自定义函数创建 c. hive+sqoop脚本 退款订单数量&金额&总金额的hive&sqoop分析 shell脚本编写以及测试（作业）
1.4K60发布于 2018-04-08 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——320会话分析Hadoop离线数据分析平台实战——320会话分析
Hadoop离线数据分析平台实战——320会话分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 未完成 浏览器信息分析(MR) 未完成 地域信息分析(MR) 未完成 外链信息分析(MR) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 会话分析主要同时计算会话个数和会话长度， 主要应用在用户基本信息分析模块和浏览器信息分析模块这两部分
1.2K70发布于 2018-04-08 - 来自专栏云数据库1
基于EMR离线数据分析
海量离线数据分析可以应用于多种商业系统环境，例如电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。 展示了如何构建弹性低成本的离线大数据分析。 体验此场景后，可以掌握的知识有： 1.EMR集群的基本操作，对EMR产品有初步的了解 2.EMR集群的数据传输和hive的简单操作，对如何进行离大数据分析有初步的掌握 产品优势 开源生态：提供高性能、稳定版本
82240编辑于 2022-03-09 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——410事件分析Hadoop离线数据分析平台实战——410事件分析
Hadoop离线数据分析平台实战——410事件分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 完成 浏览器信息分析(MR) 完成 地域信息分析(MR) 完成 外链信息分析(MR) 完成 用户浏览深度分析(Hive) 完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 事件分析我们主要只是分析事件的触发次数， 通过查看事件的触发次数我们可以得到事件转换率或者用户会此类事件的兴趣所在之处以及不喜之处
1.3K80发布于 2018-04-08 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——330会话分析Hourly分析Hadoop离线数据分析平台实战——330会话分析Hourly分析
Hadoop离线数据分析平台实战——330会话分析Hourly分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 未完成 浏览器信息分析(MR) 未完成 地域信息分析(MR) 未完成 外链信息分析 (MR) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 Hourly分析指的是按照小时分析数据， 在本次项目中，只分析活跃用户、 我们通过修改现有的job来达到完成hourly分析数据统计的目标。 分别通过在active user和sessions这两个job中添加数据可以达到我们的分析要求。 计算规则 hourly分析分为hourly active user分析、hourly sessions分析以及hourly sessions length分析， 分别计算各个小时的活跃用户、会话个数以及会话长度来进行展示操作
1.2K100发布于 2018-04-08 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——300活跃会员分析Hadoop离线数据分析平台实战——300活跃会员分析
Hadoop离线数据分析平台实战——300活跃会员分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 未完成 浏览器信息分析(MR) 未完成 地域信息分析(MR) 未完成 外链信息分析(MR ) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 活跃会员的统计和活跃用户统计类似， 区别只是在于从不同的角度来进行分析访问网站的用户数量
1.2K70发布于 2018-04-08 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——290活跃用户分析Hadoop离线数据分析平台实战——290活跃用户分析
Hadoop离线数据分析平台实战——290活跃用户分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 未完成 浏览器信息分析(MR) 未完成 地域信息分析(MR) 未完成 外链信息分析(MR ) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 和分析新增用户一样，活跃用户也需要在用户基本信息分析模块和浏览器分析模块中展示，
1.1K140发布于 2018-04-08 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——400用户浏览深度分析Hadoop离线数据分析平台实战——400用户浏览深度分析
Hadoop离线数据分析平台实战——400用户浏览深度分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 完成 浏览器信息分析(MR) 完成 地域信息分析(MR) 完成 外链信息分析(MR) 完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 用户浏览深度分析中，通过pv值来表示用户的浏览深度， 分别从两个不同的角度来展示浏览深度
945100发布于 2018-04-08 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——370外链信息分析Hadoop离线数据分析平台实战——370外链信息分析
Hadoop离线数据分析平台实战——370外链信息分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 完成 浏览器信息分析(MR) 完成 地域信息分析(MR) 完成 外链信息分析(MR) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 外链信息分析规则 和地域信息分析一样，在外链分析系统中， 我们也只是统计活跃用户、总会话以及跳出会话这三个指标的数据 其中活跃用户和总会话个数和地域分析一样，采用uuid和sid的去重数量来表示， 也就是分别将去重后的uuid个数和去重后的sid个数作为外链分析模块中的活跃用户和总会话指标。 \文档\外链信息分析-跳出会话计算规则.txt 统计的最终数据保存到表： stats_inbound表的active_users、sessions以及bounce_sessions三列上。
1.1K111发布于 2018-04-08 - 来自专栏腾讯云代码分析
CNB上极致简化当地离线代码分析
点击最下方【阅读原文】可直达）https://tca.tencent.com/ 官网介绍：https://cloud.tencent.com/product/tcap 零配置模式 ▼ 该模式是当地分析 使用默认的代码安全分析规则包，无需配置分析方案，只需在.cnb.yml中添加以下描述，开箱即用。 # .cnb.yml main: # 触发的分支名，按需修改 push: # push触发，也可以用merge_request等触发 - stages: # 代码分析 - name 默认是远端节点分析，通过配置参数mode为local可调整为当地分析（数据和报告产出在当地，便于后续自由使用）。 详情操作可参考该文章 腾讯云代码分析，公众号：腾讯云代码分析【腾讯云代码分析】支持在CNB上本地执行
21410编辑于 2025-07-08 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——340浏览器PV分析Hadoop离线数据分析平台实战——340浏览器PV分析
Hadoop离线数据分析平台实战——340浏览器PV分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 完成 浏览器信息分析(MR) 未完成 地域信息分析(MR) 未完成 外链信息分析(MR ) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 在浏览器信息分析模块中除了用户、会员和会话的分析外， 还有pv的分析，pv的计算可以代表网站的流量值 MapReduce代码编写 collector和xml配置等 测试 扩展：在计算pv值后，可以计算跳出率以及各个页面的情况， 可以将页面分为三大类，进入页面、正常浏览页面以及退出页面(按照会话来分析
846111发布于 2018-04-08 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——360地域信息分析Hadoop离线数据分析平台实战——360地域信息分析
Hadoop离线数据分析平台实战——360地域信息分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 完成 浏览器信息分析(MR) 完成 地域信息分析(MR) 未完成 外链信息分析(MR) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 地域信息分析规则 在地域信息分析模块中， 我们只统计活跃用户、总会话数以及跳出会话个数这三个指标的信息 ， 那么我看将代码写出之前的模式，一个分析指标写一个mapreduce； 也可以将这三个指标的统计都放到一个mapreduce程序中去操作； 还可以将活跃用户统计和总会话数统计放到以前的active_user
93890发布于 2018-04-08 - 来自专栏五分钟学大数据
结合公司业务分析离线数仓建设
所以可以通过分析该列是否是一种包含多个值并作为计算的参与者的度量，这种情况下该列往往是事实；如果该列是对具体值的描述，是一个文本或常量，某一约束和行标识的参与者，此时该属性往往是维度属性。 数据应用层 数据应用层的表就是提供给用户使用的，数仓建设到此就接近尾声了，接下来就根据不同的需求进行不同的取数，如直接进行报表展示，或提供给数据分析的同事所需的数据，或其他的业务支撑。
88410发布于 2021-03-04 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——310新增会员和总会员分析Hadoop离线数据分析平台实战——310新增会员和总会员分析
Hadoop离线数据分析平台实战——310新增会员和总会员分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 未完成 浏览器信息分析(MR) 未完成 地域信息分析(MR) 未完成 外链信息分析 (MR) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 新增会员统计类似新增用户统计，也是统计新增u_mid的个数， 在新增用户统计中
1.2K120发布于 2018-04-08 - 来自专栏IT运维技术圈
一键nginx日志离线分析脚本(强推)
那么今天波哥给各位带来一个awk以及字符串切割、分析、过滤巅峰之作的脚本.该脚本能过滤基本市面比较常见的所有恶意访问和请求.分类,并且汇总. 然后展示.分析的主要目标是nginx的日志.
42610编辑于 2022-06-26 - 来自专栏大大刺猬
v0.1 发布 离线 解析分析 MYSQL BINLOG
介绍pymysqlbinlog 是分析/解析binlog的开源工具, 使用GPL-3.0 license项目地址: https://github.com/ddcw/pymysqlbinlog功能:分析binlog , 得到大事务信息, 表使用情况, DML使用情况等.解析binlog, 解析binlog得到正向/回滚SQL.特点简单方便: 纯python3编写, 无依赖包安全: 离线解析开源协议: GPL-3.0 license功能多: 分析/解析binlog, 支持库/表/时间/pos/gtid等匹配支持范围广: 支持mysql5.7/8.x 所有数据类型.使用演示为了方便展示, 我这里尽量使用sql格式, -h127.0.0.1 -P3314 -p123456mysql -h127.0.0.1 -P3314 -p123456 -e 'checksum table db1.sbtest1;'binlog分析注意
60710编辑于 2024-05-04 - 来自专栏大数据智能实战
Pytroch Hub原理分析及离线hub设计考虑
通过上述考虑，完全可以通过修改下载包地址到指定网址或者文件夹目录来实现离线hub的设置。
1.6K20发布于 2019-07-02 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——350公用代码重构Hadoop离线数据分析平台实战——350公用代码重构
Hadoop离线数据分析平台实战——350公用代码重构 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 完成 浏览器信息分析(MR) 完成 地域信息分析(MR) 未完成 外链信息分析(MR) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 MR程序公用代码重构 公用代码主要包括： Runner类中的参数处理代码，以及hbase的scan
1.1K110发布于 2018-04-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号