- 综合排序
- 最热优先
- 最新优先
- 来自专栏Java技术栈
10w+ Excel 数据导入，怎么优化？
但是到了 4.0 版本，我预估导入时Excel 行数会是 10w+ 级别，而往数据库插入的数据量是大于 3n 的，也就是说 10w 行的 Excel，则至少向数据库插入 30w 行数据。 因此优化原来的导入代码是势在必行的。我逐步分析和优化了导入的代码，使之在百秒内完成(最终性能瓶颈在数据库的处理速度上，测试服务器 4g 内存不仅放了数据库，还放了很多微服务应用。处理能力不太行)。 第二版：EasyPOI + 缓存数据库查询操作 + 批量插入 针对第一版分析的三个问题，分别采用以下三个方法优化 缓存数据，以空间换时间 逐行查询数据库校验的时间成本主要在来回的网络IO中，优化方法也很简单 第三版：EasyExcel + 缓存数据库查询操作 + 批量插入 第二版采用 EasyPOI 之后，对于几千、几万的 Excel 数据已经可以轻松导入了，不过耗时有点久(5W 数据 10分钟左右写入到数据库 缓存校验数据-校验完毕，不打印日志耗时仅仅是打印日志耗时的 1/10 ！
2.5K20发布于 2020-07-07 - 来自专栏Python与算法之美
10，模型的优化
搜索超参数空间以优化超参数需要明确以下方面： 估计器 超参数空间 交叉验证方案 打分函数 搜寻或采样方法（网格搜索法或随机搜索法） 优化模型的常见方法包括 网格搜索法，随机搜索法，模型特定交叉验证， 信息准则优化。 四， 信息准则优化 模型选择主要由两个思路。 解释性框架：好的模型应该是最能解释现有数据的模型。可以用似然函数来度量模型对数据集描述能力。 预测性框架：好的模型应该是最能预测结果的模型。 所以，模型选择问题在模型复杂度与模型对数据集描述能力（即似然函数）之间寻求最佳平衡。 AIC(赤池信息准则)和BIC(贝叶斯信息准则)对模型的选择提供了一种判据。 linear_model.LassoLarsIC 采用了信息准则进行优化。
85321发布于 2020-07-17 - 来自专栏Java知识点
第10章_索引优化与查询优化
关联查询优化 # 3.1 数据准备 # 分类 CREATE TABLE IF NOT EXISTS `type` ( `id` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT ` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT, `card` INT(10) UNSIGNED NOT NULL, PRIMARY KEY (`bookid`) B 的记录进行判断： 可以看到这种方式效率是非常低的，以上述表 A 数据 100 条，表 B 数据 1000 条计算，则 A*B=10 万次。 # 9.2 前缀索引对覆盖索引的影响 结论： 使用前缀索引就用不上覆盖索引对查询性能的优化了，这也是你在选择是否使用前缀索引时需要考虑的一个因素。 # 10. 在实际使用中会发现， 普通索引 和 change buffer 的配合使用，对于 数据量大 的表的更新优化 还是很明显的。
99230编辑于 2023-08-02 - 来自专栏张善友的专栏
10步骤优化SQL Server 数据库性能
作者从基础的数据库索引开始全面讲述了SQL Server数据库应用程序的性能优化，包括数据库设计和数据访问代码。 系列文章如下： Top 10 steps to optimize data access in SQL Server. optimization steps in SQL Server, this article focuses on using indexing to optimize data access Top 10 Top 10 steps to optimize data access in SQL Server. Top 10 steps to optimize data access in SQL Server.
1.4K50发布于 2018-01-22 - 来自专栏Java项目实战
架构优化：实现每秒处理10万+订单热点数据
引言在当今数字化世界中，数据是企业的生命线。对于在线零售商和电子商务平台来说，订单数据是最宝贵的资产之一。每秒处理10万+订单数据不仅可以提高业务的效率，还可以为企业带来更多机会和竞争优势。 本文将探讨如何通过优化架构来实现这一目标，并提供代码示例以供参考。架构设计要实现每秒处理10万+订单数据的目标，我们需要一个高度可扩展且高性能的架构。 优化步骤1. 消息队列的选择选择一个高性能的消息队列系统对于处理大量订单数据至关重要。Apache Kafka和RabbitMQ都是流行的选择，它们可以处理每秒数十万条消息。 数据存储优化选择适当的数据库系统，如MySQL、PostgreSQL或NoSQL数据库（如MongoDB）。使用数据库连接池来管理连接，以提高性能。此外，可以使用分区和索引来优化数据查询。 ')总结通过以上架构和优化步骤，我们可以实现每秒处理10万+订单数据的目标。
1.5K30编辑于 2023-09-04 - 来自专栏IT技术分享社区
数据库知识：SQL优化10个经典案例场景实战
优化SQL语句：修改SQL、IN 查询分段、时间查询分段、基于上一次数据过滤 改用其他实现方式：ES、数仓等 数据碎片处理 场景分析 案例1、最左匹配 索引 KEY `idx_shopid_orderno ; 对于大分页的场景，可以优先让产品优化需求，如果没有优化的，有如下两种优化方式， 一种是把上一次的最后一条数据，也即上面的c传过来，然后做“c < xxx”处理，但是这种一般需要改接口协议，并不一定可行 >、NOT EXISTS、NOT IN、NOT LIKE等 案例7、优化器选择不使用索引的情况 如果要求访问的数据量很小，则优化器还是会选择辅助索引，但是当访问的数据占整个表中数据的蛮大一部分时 （一般是20%左右），优化器会选择通过聚集索引来查找数据。 案例9、asc和desc混用 select * from _t where a=1 order by b desc, c asc desc 和asc混用时会导致索引失效 案例10、大数据
2.2K60发布于 2021-09-30 - 来自专栏call_me_R
10个JS优化小技巧
.markdown-body h4,.markdown-body h5,.markdown-body h6{line-height:1.5;margin-top:35px;margin-bottom:10px #f8f8f8}.markdown-body blockquote:after{display:block;content:""}.markdown-body blockquote>p{margin:10px let test: boolean; if (x > 100) { test = true; } else { test = false; } // 简洁 let test = x > 10 冗余 let test = ''; for(let i = 0; i < 5; i ++) { test += 'test '; } // 简洁 'test '.repeat(5); 10
77930发布于 2021-02-05 - 来自专栏glm的全栈学习之路
2021-10-10-Acwing1087(单调队列优化dp）
content/1089/ 思路见下图： 代码： #include<iostream> using namespace std; #define int long long const int N=1e5+10
38010发布于 2021-10-13 - 来自专栏cjz的专栏
Windows10 关闭传递优化
传递优化是什么? 你一定有一个疑问,那就是没有网络的时候,也会提示更新系统,因为传递优化就是在局域网里,其它的wind版本比你的高,就回自动去拉去下载,最后让你更新 关闭传递优化步骤 按 wini+i调出设置 进入更新与安全 或者直接搜索: 传递优化
1.3K30编辑于 2022-12-21 - 来自专栏测试开发干货
【简历优化平台开发教程-10】
目前，我们已经完成 4条优化意向的设计和前端部分，本节课将进行如下： 技术路线 的选择： 技术栈，目前我计划是分为python系和java系，这二者实际上，在工作中95%的工作都是相同的，尤其是简历上 后端算法中，会按照不同工龄等其他优化设置，提供默认的二者的关键字技术，来检查待优化简历中是否足够。 而第三个选项“无”，则代表了一众暂时还未涉及到代码的简历，比如纯手工测试，性能，安全测试，管理等。 所以选择了无，并不代表简历要求就降低了，相反，针对于其他非代码方面的要求和优化力度会加大！
35940编辑于 2023-08-14 - 来自专栏Vue中文社区
10个JavaScript 优化小技巧
let test: boolean; if (x > 100) { test = true; } else { test = false; } // 简洁 let test = x > 10 冗余 let test = ''; for(let i = 0; i < 5; i ++) { test += 'test '; } // 简洁 'test '.repeat(5); 10
40910发布于 2021-02-26 - 来自专栏ytkah
discuz优化10个小技巧
discuz有那么多的粉丝，跟它完善的功能有很大关系，开箱即用，很多优化可以直接在后台设置，应对高并发/大数据量，那么discuz怎么优化呢？可以从以下几点来进行，跟ytkah一起来看看吧。 延迟更新附件的浏览量，可明显降低访问量很大的站点的服务器负担，建议开启本功能 最大在线人数:范围 10～65535，建议设置为平均在线人数的 10 倍左右 在线保持时间(分钟):根据访问情况设置合理的数值 7、discuz开启Gzip 假设我们访问的一个页面有100kb，如果已经开启Gzip了，服务器会把这个页面压缩成zip文件，可能只有10kb或更小，就会节省带宽和下载时间。 8、discuz数据库优化。 数据表优化可以去除数据文件中的碎片，使记录排列紧密，提高读写速度。 后台 - 站长 - 数据库 - 优化 后台 - 站长 - 帖子分表/用户表优化/主题分表。 分表功能可以将帖子分在不同的数据表中，适合帖子数很多并且运行效率受到影响的站点使用 9、discuz插件筛选 在没有必要的情况尽量少装插件，有些插件调用很多sql反而降低效率 10、discuz模板优化
7.1K21发布于 2018-12-28 - 来自专栏小工匠聊架构
Oracle优化10-SQL_TRACE
---- Oracle优化10-SQL_TRACE解读 Oracle优化11-10046事件 ---- 概述 当我们想了解一条SQL或者是PL/SQL包的运行情况时，特别是当他们的性能非常差时，比如有的时候看起来就好好像卡在什么地方一样 Current:通常是修改数据使用的方式，当前操作的current的方式读取的数据块数 Rows：当前操作处理的数据记录数 ---- 在SQL的解析过程中，需要访问一些数据字典视图，通常来讲我们可能不需要用到 从上图中我们可以看到这条SQL 被分析了一次，被执行了一次，数据提取了1次（数据提取也有可能多次提取完成）。 Misses in library cache during parse: 1–shared pool中没有命中，说明这是一次硬解析，软解析这里为0 Optimizer mode: ALL_ROWS–当前的优化器模式 , og=1：optimizer goal优化器模式, plh=282154677：, tim=1481751318263300：时间戳 ---- STATS部分 id=2 ：执行计划的行源号
1.3K30发布于 2021-08-16 - 来自专栏PHP在线
数据优化
数据优化 读写分离,在X2的版本中，我们引入了多SQL服务器的支持，在主从服务器中，你可以配置写服务器跟读服务器，这样对于负载高的站点中可以使用这个 功能达到读写分离，降低由于写过程序中造成的MySQL 例如： /** * 数据库主服务器设置, 支持多组服务器设置, 当设置多组服务器时, 则会根据分布式策略使用某个服务器 * @example * $_config['db']['1']['dbhost / 字符集 * $_config['db']['1']['pconnect'] = '0';// 是否持续连接 * $_config['db']['1']['dbname'] = 'x1';// 数据库 2、查看帖子时，如果增量点击数到100，则使用进程锁将数据更新到thread表并更新增量点击数为0。 3、回贴时将增量点击数和回复数一起更新到thread表，并更新增量点击数为0。 4、执行计划任务：每天3点，5分钟一次，一次取500条数据更新到thread表， 并删除此500条数据，以减少forum_threadaddviews表的大小。
78480发布于 2018-03-07 - 来自专栏智能大数据分析
【深度学习优化算法】10：Adam算法
它是在统计机器学习、人工神经网络等算法模型基础上，结合当代大数据和大算力的发展而发展出来的。深度学习最重要的技术特征是具有自动提取特征的能力。神经网络算法、算力和数据是开展深度学习的三要素。 深度学习在计算机视觉、自然语言处理、多模态数据分析、科学探索等领域都取得了很多成果。本专栏介绍基于PyTorch的深度学习算法实现。 本章我们已经学习了许多有效优化的技术。在本节讨论之前，我们先详细回顾一下这些技术： 在随机梯度下降中，我们学习了：随机梯度下降在解决优化问题时比梯度下降更有效。 不出预料，作为深度学习中使用的更强大和有效的优化算法之一，它非常受欢迎。但是它并非没有问题，尤其有时Adam算法可能由于方差控制不良而发散。 通常，我们选择 \epsilon = 10^{-6} ，这是为了在数值稳定性和逼真度之间取得良好的平衡。
77610编辑于 2025-08-02 - 来自专栏用户6741135的专栏
教你win10系统优化教程
系统优化就是将电脑里不需要用到的程序，数据进行清理，可以帮助我们更有效的分配系统资源，提高系统的整体运转性能。 下面，我就给大家介绍一下win10系统优化的详细步骤 win10系统是微软2015年发布的，提升了系统流畅度，但是有些朋友升级win10没多长时间就反映系统速度慢，其实这和我们的时候习惯有很大的关系。 我给大家带来了win10系统优化的小技巧，赶紧来瞧瞧吧 方法一、 1、右击此电脑，选择属性 系统优化电脑图解1 2、点击左侧的高级系统设置 win10如何优化电脑图解2 3、点击性能栏目向下的设置按钮 win10电脑图解3 4、如图所示，选择新窗口下的调整为最佳性能后点击确定 win10优化教程电脑图解4 方法二、 1、双击进入此电脑，右击C盘，选择属性 win10如何优化电脑图解5 2、选择工具选项卡 ，点击优化按钮 win10电脑图解6 3、点击优化驱动器下的更改设置按钮 win10电脑图解7 4、将频率更改为每月，也可以取消优化计划的勾选，频率多了会磨损硬盘 win10电脑图解8 以上就是win10
2.5K20发布于 2020-08-07 - 来自专栏针针小站
【Soft】Advanced SystemCare 10 系统优化清理
现已更新至 Advanced SystemCare 11 Link ---- Advanced SystemCare 10 是一款易于使用的Windows电脑优化工具。 它帮助用户清洁、优化、加速和保护系统,以及保护用户的在线隐私。 一款能分析系统性能瓶颈的优化软件。 通过对系统全方位的诊断,找到系统性能的瓶颈所在,然后针对性地进行修改、优化您的PC ---- Advanced SystemCare 10 是老牌IObit厂商开发的一款优化清理软件 大量工具集合于一体的它能胜任许多工具不能完成的任务 清理 优化 一步到位 ?
91830发布于 2018-06-25 - 来自专栏程序员修炼之路
10个Android性能优化工具
常见工具 在Android性能优化方面，以下是一些常见工具： Android Studio Profiler：这是一个集成在Android Studio中的性能分析工具，它提供了CPU、内存、网络和电池使用情况的实时数据 Perfetto提供了强大的数据分析功能，包括可视化分析和数据库分析。 分析请求的延迟、响应时间和数据传输量。 4. 能耗分析器（Energy Profiler） Energy Profiler帮助开发者了解应用的能耗情况，并提供优化建议。 分析能耗数据，寻找优化点。 技巧和最佳实践 定期分析：定期使用Profiler来监控应用性能。 实时分析：使用即时分析功能快速定位问题。 深入分析：对于复杂的性能问题，深入分析调用栈和内存分配。 优化代码：根据Profiler提供的数据优化代码，如减少计算、优化算法、减少IO操作。 通过上述方法，你可以充分利用Android Studio Profiler来优化你的应用性能。
3.4K11编辑于 2024-09-29 - 来自专栏编程微刊
10个前端性能优化实用技能
图片优化 1.减少像素点 2.减少每个像素点能够显示的颜色 图片加载优化 不用图片。很多时候会使用到很多修饰类图片，其实这类修饰图片完全可以用 CSS 去代替。 因为 WebP 格式具有更好的图像数据压缩算法，能带来更小的图片体积，而且拥有肉眼识别无差异的图像质量，缺点就是兼容性并不好 小图使用 PNG，其实对于大部分图标这类图片，完全可以使用 SVG 代替 照片使用 该技术可以用于首屏优化，对于某些耗时逻辑并不需要在首屏就使用的，就可以使用懒执行。懒执行需要唤醒，一般可以通过定时器或者事件的调用来唤醒。 懒加载 懒加载就是将不关键的资源延后加载。 CDN CDN 的原理是尽可能的在各个地方分布机房缓存数据，这样即使我们的根服务器远在国外，在国内的用户也可以通过国内的机房迅速加载资源。
64700发布于 2020-11-26 - 来自专栏架构师成长之路
java(10）-JVM性能监控和优化
基于以上信息，我们可以修改应用程序或者调整GC算法（GC优化）。 使用/usr/java/bin/jstat -gcutil 17551 100 10就可以。 最常见的情况是线程在等待网络的读写，比如当网络数据没有准备好读时，线程处于这种等待状态，而一旦有数据准备好读之后，线程会重新激活，读取并处理数据。 比如，在程序中有多个服务线程，设计成从一个队列里面读取请求数据。这个队列就是 lock以及 waiting on的对象。 当队列为空的时候，这些线程都会在这个队列上等待，直到队列有了数据，这些线程被notify，当然只有一个线程获得了 lock，继续执行，而其它线程继续等待。
1.7K11编辑于 2022-04-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号