- 综合排序
- 最热优先
- 最新优先
导出任务耗时怎么优化？
大量数据的导入导出时，请求一定非常耗时，页面一定会不停转圈圈，不可能让用户一直停留在这个页面转圈圈，这样并不友好。 比较好的方式就事通过异步的方式，先提交任务，然后通过线程的处理数据。 大量数据查询拆分成批量任务查询 导出数据可能会导出大量数据，通常情况下，一次性查询大量数据导致负载压力的原因是在一次查询中同时检索了太多数据，并在内存中进行处理，这会占用大量系统资源，造成系统响应变慢和崩溃等问题 ); PageQueryBean<T> result = function.apply(pageParam); logger.keyword("分页批次任务 ，分页批次任务：{}，获取总记录数：{}，总耗时：{}秒", current, results.size(), stopWatch.getTotalTimeSeconds()); return ，总耗时：{}秒", stopWatch.getTotalTimeSeconds()); } }
40610编辑于 2024-07-30- 来自专栏IMWeb前端团队
如果被耗时任务拖累，可能是姿势不对
如果被耗时任务拖累，可能是姿势不对 在业务中，有时候需要处理一些相对耗时的事情，而且还有一些其他的逻辑还可能会依赖这个耗时任务。诚然，太久的耗时会对用户体验不好。 经过多次测试，获取一次的耗时在 2s ~ 5s 左右，即便可以使用其缓存，也需要花费 200ms 以上，而且还很不稳定。要知道当时测试的环境是 wifi 下，而且测试机是比较新的配置中等的小米4。 除了客户端的接口会耗时之外，还需要调用一次后台CGI，由于这个CGI接口已经在现网运行过一段时间，从检测的数据来说，wifi下请求一次耗时大概在 50ms ~ 150ms 左右，如果在非wifi场景下 ，这个时间肯定会更耗时。 很典型的还有我们常见的进度条或者菊花loading图，也是从另外的方面的努力，来“掩盖”耗时的问题，而耗时问题有时候是无法避免的。
978100发布于 2017-12-29 - 来自专栏IMWeb前端团队
如果被耗时任务拖累，可能是姿势不对
本文作者：IMWeb helinjiang 原文出处：IMWeb社区 未经同意，禁止转载 如果被耗时任务拖累，可能是姿势不对 在业务中，有时候需要处理一些相对耗时的事情，而且还有一些其他的逻辑还可能会依赖这个耗时任务 经过多次测试，获取一次的耗时在 2s ~ 5s 左右，即便可以使用其缓存，也需要花费 200ms 以上，而且还很不稳定。要知道当时测试的环境是 wifi 下，而且测试机是比较新的配置中等的小米4。 除了客户端的接口会耗时之外，还需要调用一次后台CGI，由于这个CGI接口已经在现网运行过一段时间，从检测的数据来说，wifi下请求一次耗时大概在 50ms ~ 150ms 左右，如果在非wifi场景下 ，这个时间肯定会更耗时。 很典型的还有我们常见的进度条或者菊花loading图，也是从另外的方面的努力，来“掩盖”耗时的问题，而耗时问题有时候是无法避免的。
89810发布于 2019-12-04 - 来自专栏码猴小明
多任务编程 - 2
——肖乾旭 线程 1、线程的介绍 在Python中，想要实现多任务除了使用进程，还可以使用线程来完成，线程是实现多任务的另外一种方式。 3、线程的作用 多线程可以完成多任务 多线程效果图： 说明：程序启动默认会有一个主线程，程序员自己创建的线程可以成为子线程，多线程可以完成多任务。 ]]]]]) group：线程组，目前只能使用None target：执行的目标任务名 args：以元组的方式给执行任务传参 kwargs：以字典方式给执行任务传参 name：线程名，一般不用设置 3、 sing_thread.start() dance_thread.start() 运行结果： 线程执行带有参数的任务 1、线程执行带有参数的任务的介绍 Thread类执行任务并给任务传参数的方式有两种 ： args表示以元组的方式给执行任务传参 kwargs表示以字典的方式给执行任务传参 2、args参数的使用 代码演示： # -*- codeing = utf-8 -*- # @Time : 2021
57420编辑于 2022-01-20 - 来自专栏FluentStudy
每日一题：如何实现异步任务处理来解决耗时操作问题
今天说一个在实际项目中特别实用的解决并发耗时问题的办法：异步任务处理。这里采用 redis list 结构来实现。 涉及知识点： 1、redis list 结构 2、阻塞、非阻塞、同步、异步的概念 3、如何实现一个异步处理任务 实战 同步、异步、阻塞、非阻塞 首先来说同步和异步，这两个概念是针对通信双方消息传送的响应来说的 通常有以下两个作用： 1、存储最近的数据，比如用一个列表存储用户访问的记录，每次访问时插入，而如果需要取最近访问的 10 条，只需要使用 lrange(key, 0, 9) 来获取即可 2、存储任务，即作为一个要处理的任务列表 我们先来看一下 brpop 使用示例： # 如果没有数据，停 5s > brpop tasks 5 1) "tasks" 2) "do_something" 异步任务处理代码实现 实现的原理其实也很简单 ，当客户端发起请求，服务端接收到请求，可能需要完成很多复杂的逻辑，有些甚至是包括一些耗时的操作，这个时候我们可以将这个耗时的操作当作一个任务，把它塞到 redis 的 list 中，而在另一边开启一个常驻脚本
1.3K20发布于 2020-08-21 - 来自专栏小洁叫你mysql
耗时2个月搞懂Linux日志
. * 第一个 *代表日志类型 第二个 *代表日志级别 *代表全部的意思 日志类型分为： auth pam产生的日志 authpriv ssh，ftp等登录信息的验证信息 corn 时间任务相关 kern 保证日志服务为自启动状态） systemctl list-unit-files | grep rsyslog 由日志服务rsyslogd 记录的日志文件，其格式包含一下4种 1.事件产生的时间 2. prerotate/endscripts 在日志轮替之前执行脚本命令 postrotate/endscripts 在日志轮替之后执行脚本命令 日志轮替机制原理： 日志轮替之所以在指定的时间备份日志，是依赖系统定时任务 在/etc/cron.daily/目录，就会发现这个目录中是有logrotate文件（可执行） logrotate通过这个文件依赖定时任务执行。
66820编辑于 2023-10-10 - 来自专栏Devops专栏
还在为需要执行耗时的任务头疼？给你介绍介绍神器Celery
前言 在开发运维平台、爬虫平台、自动化测试平台、大数据任务执行中，总会有各种各样的耗时任务需要处理。 有什么好的队列任务执行工具可以使用呢？ 这时候就可以使用神器celery来帮我们解决这些耗时任务的执行问题。 我们将耗时任务放到后台异步执行。不会影响用户其他操作。除了注册功能，例如上传，图形处理等等耗时的任务，都可以按照这种思路来解决。如何实现异步执行任务呢？ pidbox: Connected to redis://127.0.0.1:6379/8. [2019-08-03 00:33:18,805: INFO/MainProcess] celery@USC2VG2F9NPB650 ready. 2.调用任务 任务加入到broker队列中，以便刚才我们创建的celery workder服务器能够从队列中取出任务并执行。
1.6K20编辑于 2022-01-17 - 来自专栏JNing的专栏
python: 记录耗时
模板 这是我日常总结出的代码模板，用于记录某一段程序的具体耗时： # 记录起始时间 start_time = time.time() # 所需计算耗时的主程序 main() # 计算时间差值
1.1K30发布于 2018-09-27 - 来自专栏wfaceboss
运行耗时统计
Task>(); （1）给taskList添加启动是线程 taskList.Add(task.StartNew(()=>{});); ( 2)
80130发布于 2019-04-08 - 来自专栏全栈程序员必看
使用StopWatch计算耗时
一、传统计算耗时方式 一般采用 System.currentTimeMillis() 来获取时间，然后打印当前时间与任务开始执行时间的差值。 Spring 计时器 StopWatch StopWatch是位于 org.springframework.util包下的一个工具类，通过它可方便的对程序部分代码进行计时(ns级别),可以很方便的计算出任务的耗时 void main(String[] args) throws InterruptedException { StopWatch sw = new StopWatch("xx任务的耗时 void main(String[] args) throws InterruptedException { StopWatch sw = new StopWatch("xx任务的耗时 统一归纳，展示每项任务耗时与占用总时间的百分比，展示结果直观。
2.1K10编辑于 2022-09-09 - 来自专栏数据科学（冷冻工厂）
Python｜玩转 Asyncio 任务处理（2）
Starting job 0 Starting job 1 Starting job 2 Starting job 3 Finished job 3 Finished job 0 Finished job 1 Finished job 2 Results: [0, 1, 2, 3] 在下一个示例中，我将两个协程直接放入 Gather 中，并将 return_exceptions 设置为 True，这会在同一结果列表中优雅地返回异常 ： import asyncio async def task1(): raise ValueError() async def task2(): raise KeyError() async def main(): results = await asyncio.gather(task1(), task2(), return_exceptions=True) print .result()}, {task2.result()}’) asyncio.run(main()) Output: Everything done: 1, 2 总结 我们已经探讨了多种处理可等待对象
76110编辑于 2024-07-05 - 来自专栏我就是马云飞
RxJava2 实战(1) - 后台执行耗时操作，实时通知 UI 更新
最近刚好也在学习rxjava2，So，一起学习咯。 偶然的机会看到了开源项目 RxJava-Android-Samples，这里一共介绍了十六种RxJava2的使用场景，它从实际的应用场景出发介绍RxJava2的使用，特别适合对于RxJava2已经有初步了解的开发者进一步地去学习如何将其应用到实际开发当中 2.2 示例代码 我们的界面上有一个按钮mTvDownload，点击之后会发起一个耗时的任务，这里我们用Thread.sleep来模拟耗时的操作，每隔500ms我们会将当前的进度通知主线程，在mTvDownloadResult Schedulers.immediate( )：在当前线程执行任务 Schedulers.io( )：用于IO密集型任务，例如访问网络、数据库操作等，也是我们最常使用的。 Schedulers.newThread( )：为每一个任务创建一个新的线程。 Schedulers.trampoline( )：当其它排队的任务完成后，在当前线程排队开始执行。
2.5K80发布于 2018-02-05 - 来自专栏lib库
OkHttp请求耗时统计
请求开始结束监听 04.dns解析开始结束监听 05.连接开始结束监听 06.TLS连接开始结束监听 07.连接绑定和释放监听 08.request请求监听 09.response响应监听 10.如何监听统计耗时 11.应用实践之案例 01.先提问一个问题 OkHttp如何进行各个请求环节的耗时统计呢？ 通过继承此接口，调用者可以监视整个应用中网络请求次数、流量大小、耗时(比如dns解析时间，请求时间，响应时间等等)情况。 - 在http2版本中，一个连接上允许打开多个流，OkHttp使用StreamAllocation来作为流和连接的桥梁。 同时Http1与Http2也有不同的解析方式。下面以Http1为例。
2.9K00发布于 2020-09-23 - 来自专栏C/C++基础
Golang 函数耗时统计
1.朴素方法 在函数起始位置计算当前时间，在函数结束位置算出耗时。 { count := sum(100) fmt.Printf("count = %v\n", count) } 编译运行输出： time cost = 350ns count = 5050 2. 简洁方法 计算当前时间与计算耗时放在两处，难免显得丑陋，且不易阅读。 如果有多个函数需要统计耗时，那么多处书写重复的两行代码会造成代码冗余。由于 Golang 提供了函数延时执行的功能，借助 defer ，我们可以通过函数封装的方式来避免代码冗余。 不过相比于函数封装带来的便利与代码美观，新增的耗时是微不足道可以接受的。
8.8K42发布于 2019-06-19 - 来自专栏look Java
Springboot打印接口耗时
Springboot 打印 接口 耗时 三种方式 下面为大家一一对应 aop切面的方式 过滤器的方式 拦截器的方式 1 aop切面的方式 1.1 实现思路 引入aop依赖 自定义注解 定义切面，采用环绕通知 ===================log end================================"); } } 1.3 功能测试 在接口上添加注解即可，还有描述信息 2 filterChain.doFilter(servletRequest, servletResponse); LOG.info("------------- LogFilter 结束 耗时 --------", System.currentTimeMillis() - startTime); } } 结果 总结 1.过滤器用来实现通用的功能，减少代码冗余，提高可维护性； 2. (Long) request.getAttribute("requestStartTime"); LOG.info("------------- LogInterceptor 结束 耗时
86410编辑于 2023-12-07 - 来自专栏鸿蒙开发笔记
OpenHarmony 轻内核M核源码分析系列六 任务及任务调度（2）任务模块
uwResved; /** 保留 */} TSK_INIT_PARAM_S;2、任务模块初始化在系统启动时，在kernel\src\los_init.c中调用OsTaskInit 3.1 创建和删除任务3.1.1 创建任务鸿蒙轻内核提供了2个创建任务的函数，有LOS_TaskCreate、LOS_TaskCreateOnly。 ，我们分析下函数OsSchedTaskWait()和OsSchedTaskWake()，这2个函数定义在文件kernel\src\los_sched.c中。 任务在申请互斥锁、信号量、出入队列、读写事件时，都可能导致任务进入阻塞状态，对应地也需要任务唤醒重新进入就绪队列状态。这2个函数就负责任务的阻塞和唤醒，我们分析下他们的代码。 3.5.1 任务阻塞我们分析下任务阻塞的函数OsSchedTaskWait()，需要2个参数：LOS_DL_LIST *list是互斥锁等资源的阻塞链表，阻塞的任务会挂这个链表里；UINT32 ticks
34920编辑于 2025-05-21 - 来自专栏Crossin的编程教室
耗时2天，我自制了一台体感游戏机
将以上这些全部合在一起，就得到了我们想要的功能： 一个可以用动作来玩游戏的系统 视频演示：耗时 2 天，我自制了一台体感游戏机_哔哩哔哩_bilibili 对于 Orin 来说，用在这个项目上其实有点大炮打蚊子了 NVIDIA-AI-IOT/trt_pose_hand 运行环境： NVIDIA Jetson AGX Orin JetPack 5.0 Python 3.8.10 代码已开源：http://python666.cn/c/2
1.4K30编辑于 2022-05-10 - 来自专栏pythonista的日常
业务代码耗时操作优化
我为每个功能都用 time 方法打印了各自操作的耗时，通过比对耗时发现是获取用户 openid 的操作比较耗时，因为涉及到了向微信发送 request 的请求以及等待微信的请求响应，所有我就把获取用户 test_timer(): print("start=======") t1 = time.time() time.sleep(3) print("ok") t2 = time.time() t21 = t2 - t1 print('t21====', t21) def async_test_timer(): Timer(1, test_timer () if __name__ == "__main__": tm1 = time.time() time.sleep(1) async_test_timer() tm2 它是异步的，用它处理耗时的操作很方便。第一个参数是多少秒后执行，第二个参数是函数名，第三个参数是要异步执行的函数所需的参数。 下面附 Timer 类的源码，它继承了 Thread 类。
84530发布于 2020-06-16 - 来自专栏微信终端开发团队的专栏
耗时还能这么优化？？
1.5 总结和推论 A推论：低分辨率时，2-3段任务并行效果基本优秀30%以上；大于等于4段任务并行时，失败率增加（优化率<=0），优化效果降低。 内容很长，你忍一忍 2.实现计划 v1.简单多实例导出任务，并行合成，合并多段h264文件。 导出任务用完即释放，任务时间区间大。实现起来较简单，可行性可以快速上线验证。 v2.细化导出任务粒度（导出时间区间），复用导出任务。 按照v1的方式，可能会发生，均分两段合成任务，但是其中一段合成快，另一段合成慢的情况，形成木桶短板效应。 比如视频分了4段，但是并行任务同时只有3个在运行，假设前3段任务基本同时完成，此时整体时间就变成了“2段”转码的耗时，优化效率大大降低。 2.预测效果，长视频均分多段，同时多实例运行转码任务，大部分手机有着不错的增益，预估耗时提升超过30%。
6.5K82发布于 2021-08-26 - 来自专栏Crossin的编程教室
耗时2天，我自制了一台体感游戏机
几天不见，Crossin 又去做什么游戏去了呢？这次我做的不是游戏，而是游戏机！而且是体感游戏机。
1.8K10编辑于 2022-06-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号