首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏idba

    6优化,数据同步效率提升72倍

    04、 再次优化优化代码并发度 如果到这里就完成了优化的话,这个事情是不会成为一个案例的。后续再次出现了问题。负责客户的小伙伴反馈:优化之后,问题并没有解决,反而更加严重了。 Users/edy/go/pkg/mod/gopkg.in/ini.v1@v1.67.0/file.go:175 +0x26 gosync/rabbitmq.recursiveDir.func1({0x6ec978 Users/edy/gosync/rabbitmq/producer.go:90 +0x234 created by gosync/rabbitmq.recursiveDir in goroutine 6 如下图所示: 08、模块补充优化优化Check模块 经过我们五次优化之后,基本上不会有大问题出现了。 我们优化完Check模块之后,每次全量Check比对只需要2天左右,效率提升了15倍至20倍。

    32110编辑于 2024-07-12
  • 来自专栏DeepHub IMBA

    提高代码效率6个Python内存优化技巧

    但是其实有许多方法可以显著优化Python程序的内存使用,这些方法可能在实际应用中并没有人注意,所以本文将重点介绍Python的内置机制,掌握它们将大大提高Python编程技能。 首先在进行内存优化之前,我们首先要查看内存的使用情况 分配了多少内存? 有几种方法可以在Python中获取对象的大小。 include all the memory used by underlying parts that construct the pd.Series 4176 这样我们才能根据对象的内存占用来查看实际的优化结果 1、元组比列表更节省内存 元组是不可变的(在创建后不能更改),它允许Python在内存分配方面进行优化。列表是可变的,因此需要额外的空间来容纳潜在的修改。 驻留是一种优化内存使用的强大技术。

    85610编辑于 2024-01-17
  • 来自专栏python3

    优化python执行效率

    开始优化前,写一个高级测试来证明原来代码很慢。你可能需要采用一些最小值数据集来复现它足够慢。通常一两个显示运行时秒的程序就足够处理一些改进的地方了。 有一些基础测试来保证你的优化没有改变原有代码的行为也是很必要的。你也能够在很多次运行测试来优化代码的时候稍微修改这些测试的基准。 那么现在,我们来来看看优化工具把。 内建优化器 启用内建的优化器就像是用一门大炮。它非常强大,但是有点不太好用,使用和解释起来比较复杂。 你也可以用如下的方法: 1.忍受缓慢或者缓存它们 2.重新思考整个实现 3.更多使用优化的数据结构 4.写一个C扩展 注意了,优化代码是种罪恶的快感! 先把它缓存起来再进行优化其实更好。

    86220发布于 2020-01-13
  • 来自专栏Coco的专栏

    前端构建效率优化之路

    FE 项目,在随着项目体量不断增大的过程中,对整体的打包构建效率优化之路。 基于上述的一些分析,本文将从如下几个方面探讨对构建效率优化的探索: 基于 Webpack 的一些常见传统优化方式 分模块构建 基于 Vite 的构建工具切换 基于 Es-build 插件的构建效率优化 如果不替换掉 Webpack 本身,语言本身(NodeJS)的执行效率是没法优化的,只能在其他几个点做文章。 举个栗子,假设我们的项目一共有 6 个大的路由模块 A、B、C、D、E、F,当新需求只需要在 A 模块范围内进行优化新增,那么我们在开发阶段启动整个项目的时候,可以跳过 B、C、D、E、F 这 5 个模块 ,上述优化完成后,对整个项目的打包构建效率是有着一个比较大的提升的,但是这并非已经做到了最好。

    1.5K20编辑于 2022-09-19
  • 来自专栏Linux运维

    SQL 优化优化 SQL 语句,提高查询效率

    无论是OLTP业务高并发写入,还是OLAP场景的大规模查询分析,SQL优化都是工程师必须掌握的核心能力。本文从原理到实践,系统讲解SQL优化的关键方法,帮助你在实际项目中显著提升查询效率。 一、SQL优化的核心思路SQL优化的本质是:减少扫描、减少计算、减少数据量、减少等待。 优化方式:使用索引字段排序避免对大表直接排序使用覆盖索引减少回表必要时使用临时表提前过滤四、执行计划分析(EXPLAIN)SQL优化必须依赖执行计划。 常见选择:OLTP:READCOMMITTED金融类强一致:REPEATABLEREAD或SERIALIZABLE六、缓存与分库分表当SQL优化到极限后,需要从架构层面优化。 :建组合索引(user_id,create_time)查询变为覆盖索引排序在索引中完成优化后耗时:5秒→20毫秒结语SQL优化不是单点技巧,而是一套系统方法:索引设计→SQL写法→执行计划分析→架构优化

    48710编辑于 2026-01-13
  • 来自专栏AI

    AI模型的效率优化

    AI模型的效率优化:量化与模型压缩技术随着人工智能(AI)技术的快速发展,AI模型的应用范围不断扩大,尤其是在计算资源有限的设备上,如移动设备、物联网(IoT)设备以及边缘计算环境中,AI模型的计算效率和存储需求变得至关重要 为了确保这些模型能够在资源受限的环境中高效运行,模型的效率优化成为了研究和应用的关键问题。AI模型的效率优化主要集中在两个方面:模型量化和模型压缩。 量化的挑战尽管量化能够显著提高模型的效率,但其也面临着精度损失的问题。为了避免精度损失,研究者提出了一些方法来优化量化过程。 总结AI模型的效率优化技术,尤其是量化与模型压缩,是在计算资源有限的环境中部署高效AI应用的核心手段。量化通过减少模型参数的存储位数,能够显著提高推理速度并降低存储需求。 而模型压缩技术,如剪枝、知识蒸馏和低秩分解,能够通过减少冗余信息来优化模型的复杂性和计算效率。在实际应用中,结合量化和模型压缩技术,可以为移动设备、嵌入式系统及边缘计算提供更为高效的AI解决方案。

    92600编辑于 2025-02-04
  • 来自专栏C# 编程

    SQLite执行效率优化结论

    4)不能每次执行一条SQL语句前开始事务并在SQL语句执行之后提交事务,这样的执行效率同样是很慢,最好的情况下,是在开始事务后批量执行SQL语句,再提交事务,这样的效率是最高的。

    1.5K30发布于 2019-05-24
  • 来自专栏腾讯云数据库专家服务

    MySQL案例:count(*)效率优化

    前言 阅读过上一篇文章的童鞋应该都知道,用count(1)替换count(*),并不能起到优化作用,两者的执行效率是一样的。那么,count(*)应该如何优化呢?让我们继续往下看。 ---------+ 1 row in set, 1 warning (0.00 sec) (2)重启mysql实例(避免buffer pool的干扰),执行count(*),查看profile,耗时6s 那么为什么MySQL要从扫描聚集索引优化成扫描二级索引呢? ;聚集索引最慢 索引 key_len 物理读 耗时 primary 4 4446672 105 k_1 4 268992 6 idx_c 480 2626768 62 idx_pad 240 1406704 更新; (2)如果对于count(*)准确性要求高,只能从MySQL数据库获取,可以考虑为对应表key_len较小的列建立二级索引,以优化count(*)执行效率

    6.4K112发布于 2020-10-26
  • 来自专栏FSociety

    SQL中查询效率优化

    当我们使用索引和不使用索引的时候,效率会相差相当大,特别是当数据量越来越大的时候。 > JOIN <RIGHT_TABLE> (2)ON <JOIN_CONDITION> (4)WHERE <WHERE_CONDITION> (5)GROUP BY <GROUP_BY_LIST> (6) FROM多个表的时候将小表写在后面,在CBO优化器情况下默认是将后表当成驱动表的。 ---- 写SQL简单,优化SQL难,数据分析师之路长的很,慢慢走~ peace~

    3.4K30发布于 2018-09-11
  • 来自专栏全栈程序员必看

    androidstudio 优化gradle编译效率

    有时做少量改动编译须要等待时间过长,近期Erik Hellman编写的Boosting the performance for Gradle in your Android projects( 译文 參考1)提到了此问题的优化方法 2.4做了在编译性能方面做了不少优化,提高编译效率

    48810编辑于 2022-07-07
  • 来自专栏Java编程指南

    IDEA 配置优化 提高开发效率

    1.11.1.js"></script> <title>#[[$Title$]]#</title> </head> <body> #[[$END$]]# </body> </html> 去掉框架检查提示 如何去掉框架的检查提示呢?

    1.1K20发布于 2019-08-02
  • 来自专栏媒矿工厂

    优化 Facebook 视频的存储效率

    这意味着我们需要: 更高效的硬件 更多的加速器, 更多的软件优化,如视频生命周期管理或视频存储策略 FB 视频存储策略 下面将介绍 Facebook 是如何管理它的视频存储的。 结果就是,自我们 6 月份开始应用视频生命周期管理器,已经成功地抑制了下图中的增长曲线,实现了 45% 的存储节省。这是个令人兴奋的开始,但我们可以做得更好。 我们可以用效益成本评估器来代替生命周期冲突中管理编码的静态规则,回想一下前面的重新压缩编码操作会带来计算机成本,我们还需要在存储和质量之间进行权衡,这是一个适合效益成本评估的情况,这样我们就有了编码管理的第三个选择,这将帮助我们实现更好的视频存储效率

    1.7K30发布于 2021-12-02
  • 来自专栏Java帮帮-微信公众号-技术文章全总结

    Java代码效率优化【面试+提高】

    JAVA代码效率优化 最近在想自己编程时是否注意过代码的效率问题,得出的答案是:没有。 下面是网上找的一篇关于JAVA代码优化的文章,觉得不错,就转载了。这里面设计到了JAVA基础和J2EE方面的优化建议,有时间会整理一下,现在先转载。 另外,依赖于具体的编译器/JVM,局部变量还可能得到进一步优化6、I/O操作中需要及时释放资源 Java 编程过程中,进行数据库连接、I/O流操作时务必小心,在使用完毕后,即使关闭以释放资源。 27、array(数组) 和 ArryList的使用 array([]):最高效;但是其容量固定且无法动态改变; ArrayList:容量可动态增长;但牺牲效率; 基于效率和类型检验,应尽可能使用

    1.3K130发布于 2018-03-15
  • 来自专栏JavaEdge

    Netflix云计算效率优化秘诀!

    Cloud Efficiency Analytics (CEA)云效率分析:该组件建立在 FPD 的基础上,提供一个分析数据层,在各种业务用例中提供时间序列效率指标。 下面举例说明这一框架如何应用于 Spark 平台。FPD 与生产商签订数据合同,以确保数据质量和可靠性;这些合同使团队能够利用通用数据模型获得所有权。 数据原则 作为效率指标的真实来源,我们团队的任务是提供准确、可靠和可访问的数据,提供全面的文档资料,以便在复杂的效率空间中游刃有余,并提供定义明确的服务水平协议(SLA),以便在延迟、中断或变更期间与下游消费者达成期望 我们的目标是通过预测分析和 ML 来优化使用和检测成本中的异常情况,从而转向主动方法。 负责: 中央/分销预订系统性能优化 活动&券等营销中台建设 交易平台及数据中台等架构和开发设计 车联网核心平台-物联网连接平台、大数据平台架构设计及优化 LLM Agent应用开发 区块链应用开发

    18910编辑于 2025-06-01
  • 来自专栏code人生

    使用联合索引优化查询效率

    在数据库设计和查询优化中,联合索引是一个强大的工具,它可以显著提高数据检索的速度。然而,要充分利用联合索引的优势,我们需要理解它们是如何影响查询效率的。 这种索引类型允许数据库在执行查询时,同时利用多个列的索引,从而提高数据检索的效率。 但是,当范围查询介入时,索引的效率可能会降低,因为数据库需要遍历更多的索引项来找到所有匹配的记录。 Author: mengbin[2] blog: mengbin[3] Github: mengbin92[4] cnblogs: 恋水无意[5] 腾讯云开发者社区:孟斯特[6] References mengbin.top [4] mengbin92: https://mengbin92.github.io/ [5] 恋水无意: https://www.cnblogs.com/lianshuiwuyi/ [6]

    1.2K10编辑于 2024-06-11
  • 来自专栏DataFunTalk

    罗景:连接效率优化实践

    图片 ---- 导读:本次分享由以下几个部分构成—— 58的业务背景 综合排序框架 效率优化框架 基础数据流程(数据) 策略优化路径(算法) 效率优化平台(工程) 总结和思考 -- 01 58的业务背景 在上述粗排、精排以及调序三个阶段中,算法团队重点输出了质量治理,效率优化以及流量调控三种核心能力。 -- 03 效率优化框架 效率优化框架由三部分组成:数据、算法以及工程。 在进行效率优化框架设计和迭代过程中,主要结合相关业务,对策略的相关优化路径进行迭代更新,最后对相关技术以及方案进行相关积累,形成平台化沉淀,方便以后复用。 优化路径,包括:策略优化路径和效率优化平台。 关于策略优化路径,主要分为四个阶段: 反馈策略。 关于效率优化平台,主要针对日志合并清洗,特征工程,模型训练评估以及上线验证四个阶段进行优化。 进一步对效率优化平台进行介绍:主要针对日志系统,日志样本,机器学习,上线试验以及线上系统进行相关优化

    50910编辑于 2022-06-11
  • 来自专栏mathor

    枚举+优化6)——双指针优化2

    ans ans = s } } } print ans  这个算法的时间复杂度是O(NML),NML是三个数组的长度,最大值都是10万,显然会超时 优化 ); } cout << ans; return 0; } 例4.题目链接:hihoCoder1607 思路  一般的暴力枚举这题肯定是过不了的,数据量太大,那我们就要想办法优化

    62750发布于 2018-06-19
  • 来自专栏CNCF

    Serverless 场景下 Pod 创建效率优化

    弹性能力是 Serverless 领域的核心竞争力,本次分享将重点介绍基于 Kubernetes 的 Serverless 服务中,如何优化 Pod 创建效率,提升弹性效率。 ? 接下来就分别针对上述过程的不同节点进行优化处理,分别从上述整个流程、解压镜像、下载镜像等方面进行探讨。 ? 拉取镜像效率提升 1. 镜像分发 小规模集群中,提升拉取镜像效率的重点需要放在提升解压效率方面,下载镜像通常不是瓶颈。 按需加载镜像 除了上述介绍到的方法,是否还有其他优化方法? 当前节点上创建容器时,是需要先把镜像全部数据拉取到本地,然后才能启动容器。 小结 从业务场景出发,我们了解了提升 Pod 创建效率带来收益的场景。然后通过分析 Pod 创建的流程,针对不同的阶段做相应的优化,有的放矢。

    1.5K11发布于 2021-03-15
  • 来自专栏后端精进之路

    JVM性能优化系列-(6) 晚期编译优化

    6. 晚期编译优化 晚期编译优化主要是在运行时做的一些优化手段。 为了提高热点代码的执行效率,在运行时,虚拟机将会把这些代码编译成与本地平台相关的机器码,并进行各种层次的优化,完成这个过程的编译器称为即时编译器(Just In Time Compiler) java虚拟机规范中没有规定即时编译器应该如何实现 解释器与编译器两者各有优势: 当程序需要迅速启动和执行的时候,解释器可以首先发挥作用,省去编译的时间,立即执行 在程序运行后,随着时间的推移,编译器逐渐发挥作用,把越来越多的代码编译成本地代码之后,可以获得更高的执行效率 当程序运行环境中内存资源限制较大,可以使用解释执行节约内存,反之可以使用编译执行来提升效率 解释器还可以作为编译器激进优化的一个“逃生门”,让编译器根据概率选择一些大多数时候都能提升运行速度的优化手段 ,而且C/C++中主要由用户程序代码来回收分配的内存,因此运行效率上比垃圾收集机制要高 上面说的java语言相对C/C++的劣势都是为了换取开发效率上的优势而付出的代价,而且还有许多优化是java的即时编译器能做而

    49410编辑于 2023-10-19
  • 来自专栏猫头虎博客专区

    MySQL 大表如何优化查询效率

    MySQL 大表如何优化查询效率? 背景 XX 实例(一主一从)xxx 告警中每天凌晨在报 SLA 报警,该报警的意思是存在一定的主从延迟。 结果第二部分: select arrival_record 操作记录的慢查询数量最多有 4 万多次,平均响应时间为 4s,delete arrival_record 记录了 6 次,平均响应时间 258s arrival_record partitions: NULL type: range possible_keys: idx_receive_time key: idx_receive_time key_len: 6 range possible_keys: idx_product_id_sequence_station_no,idx_receive_time key: idx_receive_time key_len: 6 delete 大表优化为小批量删除 应用端已优化成每次删除 10 分钟的数据(每次执行时间 1s 左右),xxx 中没在出现 SLA(主从延迟告警): 另一个方法是通过主键的顺序每次删除 20000 条记录

    88610编辑于 2024-04-08
领券