Java8 中,默认创建线程池的方法多了一个——Executors.newWorkStealingPool(),newWorkStealingPool 的文档描述: “Creates a work-stealing pool using all available processors as its target parallelism level.” newWorkStealingPool 会创建一个含有足够多线程的线程池 ,来维持相应的并行级别,它会通过工作窃取的方式,使得多核的 CPU 不会闲置,总会有活着的线程让 CPU 去运行。 所谓工作窃取,指的是闲置的线程去处理本不属于它的任务。 每个处理器核,都有一个队列存储着需要完成的任务。对于多核的机器来说,当一个核对应的任务处理完毕后,就可以去帮助其他的核处理任务。
,最左边3位表示线程池状态。 3 //注:简单的说,3个二进制位可以表示从0-7的8个不同的数值(第1处) 4 private static final int COUNT_BITS = Integer.SIZE 用于位的与运算 6 //得到最左边的3位,还是右边的29位 7 private static final int CAPACITY = (1 << COUNT_BITS) - 1; 8 /** * 根据当前线程池状态,检查是否可以添加新的任务线程,如果可以则创建并启动任务 * 如果一切正常则返回true。 返回false 的可能如下: * 1.线程池没有处于RUNNING状态 * 2.线程工程创建新的任务线程失败 * @param firstTask 外部启动线程池时需要构造的第一个线程
所以需要通过线程池协调多个线程,并实现类似主次线程隔离、定时执行、周期执行等任务。线程池的作用包括: 利用线程池管理并复用线程、控制最大并发数等。 实现任务线程队列缓存策略和拒绝机制。 隔离线程环境。比如,交易服务和搜索服务在同一台服务器上,分别开启两个线程池,交易线程的资源消耗明显要大;因此,通过配置独立的线程池,将较慢的交易服务与搜索服务隔开,避免个服务线程互相影响。 在了解线程池的基本作用后,我们学习一下线程池是如何创建线程的。 Executors核心方法有5个: Executors.newWorkStealingPool:JDK8 引入,创建持有足够线程的线程池,支持给定的并行堵,并通过使用对个队列减少竞争,此构造方法中把cpu invite_code=5cjrpedpyda8
文章目录 一、线程池作用 二、线程池种类 三、线程池工作机制 四、线程池任务调度源码解析 一、线程池作用 ---- 线程池作用 : ① 避免创建线程 : 避免每次使用线程时 , 都需要 创建线程对象 ; ---- 线程池种类 : ① newCachedThreadPool : 可缓存线程池 , 如果 线程池线程个数已满 , 回收空闲线程 , 如果没有空闲线程 , 此时会创建新线程 ; ② newFixedThreadPool 后到的后执行 ) , LIFO 后入先出 ( 后到的先执行 ) ; 三、线程池工作机制 ---- 线程池线程相关概念: 线程数 : 线程池的 有 最大线程数 MaxSzie , 核心线程数 CoreSize , 非核心线程数就是 MaxSize - CoreSize ; 示例 : 最大线程数 ( MaxSize ) 是 8 个 , 有 3 个核心线程 ( CoreSize ) , 5 个非核心线程 , 任务拒绝后 , 处理善后 ; 四、线程池任务调度源码解析 ---- 在 AsyncTask.java 中 , 在静态代码块中 , 自己 自定义创建了线程池 , 没有使用上述四种线程池 ; 创建线程池时传入的参数
文章目录 一、线程池简介 二、线程池初始化方法简介 三、线程池使用示例 一、线程池简介 ---- 线程池一般是实现了 ExecutorService 接口的类 , 一般使用 ThreadPoolExecutor 是 自己配置的线程池 , 没有使用 Java 默认提供的四种线程池 , Java 提供的四种线程池是 可缓存线程池 , 定长线程池 , 定长周期任务线程池 , 单线程线程池 ; THREAD_POOL_EXECUTOR : 线程池线程分类 : 线程池的线程分为 核心线程 , 非核心线程 两类 ; 非核心线程闲置时间 : 非核心线程 超过一定的闲置时间 , 就会被回收 ; 假设线程池最大线程数是 8 , 核心线程数 抛出异常 ; 开发者应该通过回调处理被拒绝的任务 ; 线程池从任务队列取出任务并执行 : 线程数量 C 线程数量 C < 3 : 创建核心线程执行任务 ; 线程数量 3 \leq C < 8 : 创建非核心线程执行任务 ; 用户调用 Executor 的 execute 执行任务 : 线程数量 C 线程数 C = 8 , 任务队列没满 : 将任务放入任务队列 ; 线程数 C = 8
concurrent.futures --- 启动并行任务 — Python 3.7.13 文档concurrent.futures 模块提供异步执行可调用对象高层接口异步执行可以由 ThreadPoolExecutor 使用线程或由 **Executor**ThreadPoolExecutor 线程池```pythonimport concurrent.futuresimport urllib.requestURLS = ['http exc)) else: print('%r page is %d bytes' % (url, len(data)))```ProcessPoolExecutor 进程池使用进程池来实现异步执行调用 任何向池提交更多工作的尝试, initializer 都将引发一个异常,当前所有等待的工作都会引发一个 BrokenProcessPool。 在 3.7 版更改: 添加 mp_context 参数允许用户控制由进程池创建给工作者进程的开始方法 。加入 initializer 和initargs 参数。
int corePoolSize = 2; /* 核心线程池的最大线程数 */ int maxPoolSize = 4; /* 线程最大空闲时间 */ 不推荐使用Executors的静态方法创建线程池 !!! 第2节 ForkJoinPool ---- ForkJoin线程池处理无返回值任务。 :" + (endTask - startTask) + "纳秒, 线程池执行结果:" + future.get()); //关闭多线程 pool.shutdown(); 初始化数组用时:1847192纳秒, 初始化数组总和:493016 线程池计算用时:4220889纳秒, 线程池执行结果:493016 ?
原理 在一个可执行程序内部存在多个线程和一个任务队列。如果任务队列里长时间没有任务,这些线程就会休眠,如果此时来了一个任务,那么线程就会被唤醒。 像这种,提前创建好线程,需要的时候直接使用,我们称之为线程池。这种本质上就是一个生产消费模型。 线程池实现 //ThreadPool.hpp #pragma once #include<iostream> #include<unistd.h> #include<string> #include< lg.Enable(SCREEN_TYPE);}while(0) #define EnableFile() do{lg.Enable(FILE_TYPE);}while(0) }; 携带日志的线程池设计 Task>(); tp->Init(); tp->Start(); int cnt=10; while (cnt) { // 不断地向线程池推送任务
线程池 作用: 增加了线程的复用,降低了系统的开销 原理: 每当一个新的任务要执行的时候,系统会创建一个新的线程去执行任务,直到池中的线程数达到了设置的核心线程数,此时当新的任务要执行的时候,如果线程池中有空闲的线程 如果无法将任务加入队列(比如使用的是有界队列),则创建新的线程,如果此时线程数大于等于了线程池预设的最大线程数,那么任务将被拒绝。 java.util.concurrent包对线程池的支持: ExecutorService ThreadPoolExecutor (ExecutorService的默认实现类) 1、单线程的线程池实现 Executors.newSingleThreadExecutor 2、固定大小的线程池实现 Executors.newFixedThreadPool 3、可缓存的线程池实现 Executors.newCachedThreadPool 4、可定时执行任务的无大小限制的线程池实现 Executors.newScheduleThreadPool
* * 二、线程池的体系结构: * java.util.concurrent.Executor : 负责线程的使用与调度的根接口 * |--**ExecutorService 子接口: 线程池的主要接口 * |--ThreadPoolExecutor 线程池的实现类 * |--ScheduledExecutorService 子接口:负责线程的调度 * |--ScheduledThreadPoolExecutor * ExecutorService newCachedThreadPool() : 缓存线程池,线程池的数量不固定,可以根据需求自动的更改数量。 * ExecutorService newSingleThreadExecutor() : 创建单个线程池。 throws InterruptedException, ExecutionException { Number1 number1 = new Number1(); //1 创建长度5个线程的线程池
什么是线程池 把线程进行池化,调用的时候直接去池里面去取,而不是每次去重新创建,不用的时候放回线程池,而不是直接销毁,从而达到复用。 为什么使用线程池 ①复用线程,降低创建以及销毁导致的资源消耗。 ③提高线程的可管理性,提升系统稳定性。 ThreadPoolExecutor JDK提供的线程池 ThreadPoolExecutor的构造方法有七个参数 int corePoolSize核心线程数 int maximumPoolSize约定的线程最大数量 long keepAliveTime线程空闲的时候存活多久(但会保留核心线程数的线程数量) TimeUnit unit时间单位 BlockingQueue<Runnable>workQueue线程超过核心线程数的部分放到阻塞队列中 DiscardOldestPolicy最早放入的先丢弃 AbortPolicy直接抛出异常,也是默认的策略 CallerRunsPolicy谁提交的谁执行 DiscardPolicy直接丢弃 合理配置线程池
为什么要用线程池? 降低资源消耗。通过重复利用已创建的线程降低创建和销毁造成的消耗; 提高响应速度。当任务到达时,无须等待线程创建完成就能立即执行任务; 提高线程的可管理性。 如果要让线程池执行任务,需要实现的 Runnable 接口或 Callable 接口。 如何创建线程池 《阿里巴巴Java开发手册》中,强制线程池不允许使用 Executors 去创建,而是通过 ThreadPoolExecutor 的方式,这样的处理方式更加明确线程池的运行规则,规避资源耗尽的风险 若有新的任务被提交到该线程池,则任务会被保存在一个任务队列中,待线程空闲时,按先入先出的顺序执行队列中的任务; CachedThreadPool:该方法返回一个可根据实际情况调整线程数量的线程池。 线程池的线程数量不确定,但若有空闲线程可以复用,则会优先使用可复用的线程;若所有线程均在工作,又有新的任务提交,则会创建新的线程处理任务。所有线程在当前任务执行完毕后,将返回线程池进行复用。
cpu密集型与IO密集型 业务时加密,计算hash等,cpu密集型的话,就可以设置大小为cpu的1~2倍,8核cpu的话,就可以将核心线程数设置为8-16 数据库的读写,文件,网络id这样的,io密集型的话 ,延时功能 jdk8新的线程池 workStealingPool 特点:子任务 窃取 这里这样理解,三个线程,各个有自己的队列,他们也有公共的队列, 第一个线程自己创建了3个子任务,执行,另外两个线程会帮线程 "); } } 线程池实现源码 上面了解了下线程池的使用注意点,现在看下线程池怎么实现的 线程池的组成部分 线程池管理器:创建、管理线程池 工作线程:就是线程池中存在的线程 任务队列:这个就是参数里重要之一的工作队列 当我们使用@Async的时候,没有自定义线程池,他会使用默认的线程池 默认8个核心线程数,核心线程处理不了,就会进入阻塞队列,阻塞队列是默认的Integer.MAX_VALUE,21亿! 采用的是LinkedBlokingQueue,最大线程数也是21亿,但是根本不会大于8,因为阻塞队列满了才会到达,但是不可能满的 所以就要自定义线程池, 但是!
Java 线程池的作用 现在服务器端的应用程序几乎都采用了“线程池”技术,这主要是为了提高系统效率。 线程池就是为了尽量减少这种情况的发生。 下面我们来看看怎么用Java实现一个线程池。一个比较简单的线程池至少应包含线程池管理器、工作线程、任务队列、任务接口等部分。 其中线程池管理器(ThreadPool Manager)的作用是创建、销毁并管理线程池,将工作线程放入线程池中;工作线程是一个可以循环执行任务的线程,在没有任务时进行等待;任务队列的作用是提供一种缓冲机制 另外,通过适当的调整线程中的线程数目可以防止出现资源不足的情况。 2.线程池的组成部分 一个比较简单的线程池至少应包含线程池管理器、工作线程、任务列队、任务接口等部分。 线程池管理器至少有下列功能:创建线程池,销毁线程池,添加新任务。 工作线程是一个可以循环执行任务的线程,在没有任务时将等待。
,线程池BUG在JDK8中就已经存在但是直到JDK11才被修复,这里在原文的基础上补充相关的知识点,算是给自己做一个笔记。 Executors.newSingleThreadExecutor的实现里通过finalize来自动关闭线程池的做法是有Bug的,在经过优化后可能会导致线程池的提前shutdown从而导致异常。 问题介绍 下面我们从原文直接介绍一下这个线程池的BUG带来的奇怪现象。 问题:线上偶发线程池的问题,线程池执行带有返回结果的任务,但是发现被拒绝执行。 ,下面给出一段模拟线程池的操作代码,在模拟代码中虽然futureTask显然是在线程池里面,同时按照正常的理解思路线程池对象肯定是在栈帧中存活的,但是实际上对象却在方法执行的周期内直接被GC线程给回收了 下面是手册的介绍,这里直接贴过来了: ❝线程池「不允许使用 Executors 去创建」,而是通过ThreadPoolExecutor 的方式,这样的处理方式让写的同学更加明确线程池的运行规则,规避资源耗尽的风险
线程池基本概念线程池线程池本质上是一种对象池,用于管理线程资源。在任务执行前,需要从线程池中拿出线程来执行。在任务执行完成之后,把线程放回线程池。 核心线程池(corePool) 通常状况下,线程池最多能创建的线程数。当有新任务等待处理时,线程池会首先判断核心线程池是否已满,如果没满则创建线程执行任务。 即使有其他核心线程空闲也会创建新的核心线程来执行。任务队列(BlockQueue) 线程池中等待被线程执行的任务队列。如果核心线程池已满,线程池会判断队列是否已满。 最大线程池(maximumPool) 任务量很大时,线程池最多能创建的线程数。如果队列已满,说明当前任务量已经非常大,仅靠核心线程池内的线程数量已无法处理。 线程池会判断最大线程池是否已满,如果没满则创建更多线程,从等待队列首部取得任务并执行。拒绝策略(RejectedExecutionHandler) 线程池拒绝过量任务的方式。
为什么要用线程池? 线程池可以管理和控制线程,因为线程是稀缺资源,如果无限制的创建,不仅会消耗系统资源,还会降低系统的稳定性,使用线程池可以进行统一的分配,调优和监控。 线程池提供队列,存放缓冲等待执行的任务。 通过线程池创建线程从调用 API 角度来说分为两种,一种是原生的线程池,另外该一种是通过 Java 提供的并发包来创建,后者其实是对原生的线程池创建方式做了一次简化包装,让调用者使用起来更方便,但道理都是一样的 利用Executors框架可以非常方便的创建一个线程池,Java通过Executors提供四种线程池,分别为: newSingleThreadExecutor:创建一个线程的线程池,在这个线程池中始终只有一个线程存在 每次提交一个任务就创建一个线程,直到线程达到线程池的最大大小。线程池的大小一旦达到最大值就会保持不变,如果某个线程因为执行异常而结束,那么线程池会补充一个新线程。
image.png image.png image.png image.png public static void main(String[] args) throws Executi
否则就抛异常,关闭线程池,等待任务都执行完,包括队列中的 shutdownNow():关闭线程池,不等待任务执行完。 执行该方法,线程池的状态立刻变成STOP状态,并试图停止(interrupt()方法)所有正在执行的线程,不再处理还在池队列中等待的任务。 getTaskCount():线程池已执行和未执行的任务总数 getCompletedTaskCount():已完成的任务数量 getPoolSize():线程池当前线程数量 getActiveCount ():当前线程池中正在执行任务的线程数量 池这个概念? 其他的线程池 创建方式:Executors类方法点出来的,一般用ExecutorService去接 CachedThreadPool 可缓存的线程池,该线程池中没有核心线程,非核心线程的数量为Integer.max_value
目录 线程池 1. 并发队列:阻塞队列和非阻塞队列 2. 线程池原理:ThreadPoolExecutor 底层原理解析 3. 线程池的分类 线程池 1. 并发队列:阻塞队列和非阻塞队列 ? 2.3 举个例子 package com.test.jdk8; import java.util.concurrent.LinkedBlockingDeque; import java.util.concurrent.ThreadPoolExecutor 线程池的分类 1. newCachedThreadPool 可缓存线程池 创建一个可缓存线程池,如果线程池长度超过处理需要,可灵活回收空闲线程,若无可回收,则新建线程。 创建一个定长线程池,可控制线程最大并发数,超出的线程会在队列中等待。 1-thread-1 3. newScheduledThreadPool 定时线程池 创建一个定时线程池,支持定时及周期性任务执行。