首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏福大大架构师每日一题

    2020-09-11:Hive的优化策略有哪些?

    福哥答案2020-09-11:#福大大架构师每日一题# [Hive调优及优化的12种方式](https://zhuanlan.zhihu.com/p/80718835? 11.选择使用本地模式。 12.选择使用严格模式。 [Hive 任务优化策略-整合,持续更新。] 这是通用的算法优化,但算法优化有时不能适应特定业务背景,开发人员了解业务,了解数据,可以通过业务逻辑精 确有效的解决数据倾斜问题 。 8、优化时把握整体,单个作业最优不如整体最优。

    39210发布于 2020-09-11
  • 来自专栏yaphetsfang

    mysql优化策略

    MYSQL优化主要分为以下四大方面: 设计:存储引擎,字段类型,范式与逆范式 功能:索引,缓存,分区分表。 架构:主从复制,读写分离,负载均衡。 合理SQL:测试,经验。 综上考虑:使用datetime,当然也可以使用int(11)来保存时间戳。 关于INT(11)存放时间戳的优点如下: a.INT占4个字节,DATETIME占8个字节; b.INT存储索引的空间比DATETIME小,查询快,排序效率高; c.在计算机时间差等范围问题,比较方便。 八、SQL优化 1.对于并发性的SQL 少用(不用)多表操作(子查询,联合查询),而是将复杂的SQL拆分多次执行。如果查询很原子(很小),会增加查询缓存的利用率。

    92510编辑于 2022-05-10
  • 来自专栏只喝牛奶的杀手

    性能优化策略

    三个“要”原则是: 要优先查最大的性能瓶颈, 性能分析要确诊性能问题的根因, 性能优化要考虑各种的情况。 三个“不要”的原则是: 不要做过度的、反常态的优化, 不要过早做不成熟的优化, 不要做表面的肤浅优化 防止顾此失彼,一定要分析清楚,再动手。性能优化的目标,是追求最合适的性价比或最高的投入产出比。 性能优化五个类别是: 时空相互转换 并行 / 异步操作 预先 / 延后处理 缓存 / 批量合并 算法设计和数据结构 如何分析一个线上及性能问题? dump文件分析工具:https://fastthread.io/、jvisualvm.exe,开发关注机器的什么指标(CPU、内存、网络、IO)等,性能优化问题一定避免饮鸩止渴,往往满足于一个能够解决眼前问题的答案

    39430编辑于 2023-04-07
  • 来自专栏冷冷

    缓存策略优化

    com.xxxx.xxxx.web.controller.login.LoginController.login(LoginController.java:119) 分析 仔细分析对应代码逻辑,可发现有如下的缓存策略

    1.2K80发布于 2018-02-08
  • 来自专栏杨熹的专栏

    TensorFlow-11-策略网络

    AlphaGo 主要使用了快速走子,策略网络,估值网络,和蒙特卡洛搜索树等技术。 深度强化学习模型本质上也是神经网络,主要分为策略网络和估值网络。 ---- 今天要先来实现一下策略网络,就是要建立一个神经网络模型,可以通过观察环境状态预测出目前最应该执行的策略以及可以获得的最大的期望收益。 每个环境信息包含四个值,例如小车的位置速度等,我们不需要编写逻辑来控制小车,而是设计一个策略网络,让它自己从这些数值中学习到环境信息,并制定最佳策略优化器用adam算法,然后执行 updategrads 更新模型参数。 ? 下面这个函数是用来估算每一个行动对应的潜在价值,越靠后的行动的期望价值越小,越靠前的价值越大。 loglik 是当前行动对应的概率的对数,loss就是我们要做的优化目标。 ? 总是验证次数为一万次,直到累计奖励达到200时停止训练。

    85550发布于 2018-04-03
  • 来自专栏瓜大三哥

    优化策略之PowerOptimization

    进行多次优化 2.2ExploreArea Runs multiplepasses of optimization with emphasis on reducing combinational logic 进行多次优化,重点是减少组合逻辑 2.3AddRemap Runs the defaultlogic optimization flow and includes LUT remapping to reduce 将LUT重新优化到逻辑单元内部。 更快通过优化来替代设计性能 2.6NoBramPowerOpt Runs all thedefault opt_design optimizations except block RAMPower Optimization 对BRAM不做功耗优化 2.7ExploreWithRemap Same as the Explore directive but includes the Remap optimization.

    87121发布于 2018-12-13
  • Tomcat 性能优化策略

    Tomcat优化从两个方面进行 JVM虚拟机优化(优化内存模型) Tomcat自身配置的优化(比如是否使用了共享线程池?IO模型?) 二、虚拟机运行优化(参数调整) Java 虚拟机的运行优化主要是内存分配和垃圾回收策略优化: 内存直接影响服务的运行效率和吞吐量 垃圾回收机制会不同程度地导致程序运行中断(垃圾回收策略不同,垃圾回收次数和回收效率都是 不同的) 1、 Java 虚拟机内存相关参数 参数 参数作用 优化建议 -server 启动Server,以服务端模式运行 服务端模式建议开启 -Xms 最小堆内存 建议与-Xmx设置相同 -Xmx Xms2048m -Xmx2048m -XX:MetaspaceSize=256m - XX:MaxMetaspaceSize=512m" 4、调整后查看可使用JDK提供的内存映射工具 5、垃圾回收(GC)策略

    27510编辑于 2025-11-20
  • 来自专栏全栈程序员必看

    雅虎前端优化策略

    Minimize DOM Access [减少Dom访问] Develop Smart Event Handlers [使用智能事件处理] Images ·「图片 Optimize Images [优化图片 ] Optimize CSS Sprites [优化雪碧图] Do Not Scale Images in HTML [不要在html中缩放图片] Make favicon.ico Small and

    93520编辑于 2022-09-14
  • 来自专栏练习bug时长两年半

    Windows11优化

    Windows11优化 1.还原到windows10右键 以管理员身份运行CMD,复制下列命令,按回车后即可恢复Win10的右键菜单 reg add "HKCU\Software\Classes\CLSID 如果想恢复Win11菜单,就把添加的注册表项删掉。 reg delete "HKCU\Software\Classes\CLSID\{86ca1aa0-34aa-4e8b-a509-50c905bae2a2}" /f 2.任务栏对齐方式调整 Win11默认将任务栏图标放在了中间

    1.3K10编辑于 2022-08-24
  • 来自专栏JavaEdge

    JVM频繁fullgc优化策略

    前者则修复问题,后者则增加内存 如果没有增加内存的条件,则考虑重构优化,比如原来的进程内缓存改为远程缓存,以减少内存使用 如果不能通过简单的手段减少内存使用,则需要做架构层面的重构,将功能拆分成多个服务

    60620发布于 2021-03-28
  • 来自专栏Leetcode名企之路

    索引使用策略优化

    索引使用策略优化 基于以上explain的基础,我们对mysql索引进行优化。 MySQL的优化主要分为结构优化(Scheme optimization)和查询优化(Query optimization)。本章讨论的高性能索引策略主要属于结构优化范畴。 本章的内容完全基于上文的理论基础,实际上一旦理解了索引背后的机制,那么选择高性能的策略就变成了纯粹的推理,并且可以理解这些策略背后的逻辑。 示例数据库 为了讨论索引策略,需要一个数据量不算小的数据库作为示例。本文选用MySQL官方文档中提供的示例数据库之一:employees。这个数据库关系复杂度适中,且数据量较大。 7| Engineer | 8| Senior Staff | 9| Assistant Engineer | 10| Technique Leader | 11

    82931发布于 2018-10-25
  • 来自专栏光城(guangcity)

    短板原理之优化策略

    选择最优面积策略是,当左边比右边高度小,则更新左边,否则更新右边,这样遍历保证了可以使得面积最大被找出来! low+=1 else: high-=1 return maxArea 提交结果 思路三:思路二优化 这个算法是对上述算法二的优化优化策略在于移动次数!

    60610发布于 2019-09-20
  • 来自专栏互扯程序

    索引使用策略优化

    MySQL的优化主要分为结构优化(Scheme optimization)和查询优化(Query optimization)。本章讨论的高性能索引策略主要属于结构优化范畴。 本章的内容完全基于上文的理论基础,实际上一旦理解了索引背后的机制,那么选择高性能的策略就变成了纯粹的推理,并且可以理解这些策略背后的逻辑。 示例数据库 为了讨论索引策略,需要一个数据量不算小的数据库作为示例。本文选用MySQL官方文档中提供的示例数据库之一:employees。这个数据库关系复杂度适中,且数据量较大。 所以我们深入了解MySQL的基于开销的优化器,还可以获得很多可能被优化器考虑到的访问策略的细节,以及当运行SQL语句时哪种策略预计会被优化器采用。 有一种与索引选择性有关的索引优化策略叫做前缀索引,就是用列的前缀代替整个列作为索引key,当前缀长度合适时,可以做到既使得前缀索引的选择性接近全列索引,同时因为索引key变短而减少了索引文件的大小和维护开销

    82321发布于 2019-08-08
  • 来自专栏音视频技术

    Hulu 视频QoS优化策略

    尽管Hulu提供服务的网络环境与国内大相径庭,但其相关QoS保障策略依然值得借鉴。 其次会分享对QoS优化和用户体验之间关系的基本理解,最后结合Hulu的技术实践介绍在客户端通过自适应码率调解的方法优化QoS的基本思路和原理,以及构建的一整套QoS优化框架。 从这些问题中,我们可以发现:QoE是我们希望优化的目标,QoS是比较可行的手段。那么能否把QoS和QoE连接起来,通过优化QoS来实现优化QoE? 三、流媒体服务质量优化 前面主要介绍了为什么QoS优化能做,有必要去做 , 接下来从三个方面介绍如何进行QoS优化。 流媒体服务质量优化的挑战 接下来结合Hulu的技术实践介绍我们在优化时遇到的一些挑战,虽然这些挑战主要是我们从优化ABR算法中总结出来的,但其实对于所有QoS类的优化都适用,基本上是一些常见的痛点和通用的解决方法

    78460发布于 2021-09-01
  • 来自专栏进击的多媒体开发

    GLSL 的若干优化策略

    一个好的 Shader,特别是在低端机上跑效果,性能往往会有很大的提升,那么,就很有必要学习一下 GLSL Shader 性能优化策略。 下面整理了一些优化策略。 1. 另外,因为是海量计算,所以细徽的优化会带来革命性的性能改善。 4. 使用 glsl_optimizer 优化工具进行优化 glsl_optimizer 是一个免费开源的glsl优化器。 可以生成GPU无关的shader优化代码。 可以进行非常多的优化项目,比如 函数内联,死代码删除,常量折叠,常量传递,数学优化等等。 5. 浮点数精度相关: float:最高精度,通常32位 half:中等精度,通常16位,-60000到60000, fixed:最低精度,通常11位,-2.0到2.0,1/256的精度 尽量使用低精度。 11. 跳转本身的成本非常低 随着IP/EP(Instruction Pointer/Execution Pointer)的引入,现代GPU在执行指令上的行为,和CPU没什么两样。

    1.2K20编辑于 2022-10-31
  • 来自专栏机器人课程与技术

    win11更新策略选择

    如果激进,选最上面Dev,bug爽翻天,一会蓝牙不稳定,一会APP卡死,一会edge打不开,一会……

    29720编辑于 2022-03-21
  • 来自专栏《活动征集》

    常见的查询优化策略:JOIN优化与子查询优化

    如果你的JOIN条件没有经过优化,数据库引擎可能会进行全表扫描,代价可想而知!  优化建议: 确保JOIN条件中的字段具有索引,特别是用于连接的字段。 1. ⏳ 使用联接代替子查询  一个常见的子查询优化策略是将子查询替换为JOIN操作。因为JOIN操作通常比子查询执行得更快,特别是在需要多次查询同一个表的情况下。 总结:性能优化,永远在路上!  今天我们聊了关于JOIN优化和子查询优化的那些事儿,掌握这些技巧,你就可以让你的SQL查询飞起来! 而对于子查询,不要盲目使用,要考虑将其优化为JOIN操作,减少查询的复杂性。  这些优化策略看似简单,但却能为你带来显著的性能提升,确保你的数据库查询像闪电一样高效⚡!加油,未来的数据库优化大师! 小提示: 没有最好的查询,只有最适合你的查询策略,记得根据具体场景灵活应用哦!-End-

    1.2K21编辑于 2025-04-21
  • 来自专栏JavaEdge

    短链系统设计性能优化-分片策略优化

    4.5 基于 base62 的分片策略 Hash(long_url)%62作为分片键 并将 hash(long_url)%62直接放到 short url 若原来的 short key 是 AB1234 所以,最后最佳架构: 4.6 还能优化吗? web server 和 database 之间的通信。 就中国 server 访问美国 db,也不会慢太多 中访中是用户主流,优化系统就是针对主要需求 于是,得到最终架构: 还可以维护一份域名白名单,访问对应地域的 DB。

    57030编辑于 2022-09-14
  • 来自专栏云社区活动

    优化云端开销:腾讯云成本优化策略分享

    优化云端开销:腾讯云成本优化策略分享在如今云计算普及的时代,云服务为我们提供了弹性、高效和便捷的资源。但随之而来的,也有不小的成本压力。 经过一段时间的摸索与实践,终于总结出了一套行之有效的腾讯云成本优化策略,希望能对大家有所帮助。一、成本优化的三大原则在分享具体方法之前,我想先聊聊成本优化的三个核心原则:按需分配:避免资源闲置或浪费。 二、优化策略分享1. 精准选择实例规格腾讯云提供了多种实例规格,适合不同场景的计算需求。选择实例时,最常见的误区是“以大为优”。其实,实例规格并非越大越好,而是要匹配你的实际需求。 优化存储成本存储往往是云成本中的大头,尤其是对于大数据场景。因此,优化存储策略尤为重要。实践技巧:选择合适的存储类型:腾讯云提供多种存储类型(如SSD云盘、HDD云盘、对象存储COS)。 腾讯云为我们提供了丰富的工具和功能,只要善加利用,就能大幅优化成本。以上策略只是开始,云计算的世界变化万千,随时需要根据实际业务需求调整。

    1.1K10编辑于 2025-01-19
  • 来自专栏一些有趣的Python案例

    「深度学习一遍过」必修11优化器的高级使用+学习率迭代策略+分类优化目标定义

    gradient 法 1.2 基于选择更为合理的学习率 1.2.1 Adam 优化算法 1.2.2 RMSprop 优化算法 1.2.3 Adadelta优化算法 1.2.4 Adagrad优化算法 1.2.5 Adamax优化算法 1.2.6 AMSgrad 方法 2 学习率迭代策略 2.1 StepLR调整算法 2.2 MultiStepLR 调整算法 2.3 ExponentialLR 2.4 LambdaLR 3 分类优化目标定义 3.1 NLLLoss优化目标 3.2 CrossEntropyLoss优化目标 3.3 BCELoss优化目标 3.4 KL散度优化目标: 3.5 MSELoss 2 学习率迭代策略 2.1 StepLR调整算法 等间隔调整学习率,调整倍数为 倍,调整间隔为 , 指 。 选择合适的优化目标 分类,预测概率分布 回归,预测具体数值 改进优化目标 稳定平滑 适配不平衡样本 优化分类界面等 通过 包来构建 构建优化目标案例: import

    1.1K20编辑于 2022-01-10
领券