在最近的面试中,我曾被多次问到,怎么实现一个最近最少使用(LRU)的缓存。缓存可以通过哈希表来实现,然而为这个缓存增加大小限制会变成另一个有意思的问题。现在我们看一下怎么实现。 最近最少使用缓存的回收 为了实现缓存回收,我们需要很容易做到: 查询出最近最晚使用的项 给最近使用的项做一个标记 链表可以实现这两个操作。检测最近最少使用的项只需要返回链表的尾部。 Java的捷径 据我所知,很少有一种编程语言的标准库中有通用的数据结构能提供上述功能的。这是一种混合的数据结构,我们需要在哈希表的基础上建立一个链表。 但是Java已经为我们提供了这种形式的数据结构-LinkedHashMap!它甚至提供可覆盖回收策略的方法(见removeEldestEntry文档)。 无需多说: import java.util.LinkedHashMap; import java.util.Map; public LRUCache<K, V> extends LinkedHashMap
在最近的面试中,我曾被多次问到,怎么实现一个最近最少使用(LRU)的缓存。缓存可以通过哈希表来实现,然而为这个缓存增加大小限制会变成另一个有意思的问题。现在我们看一下怎么实现。 最近最少使用缓存的回收 为了实现缓存回收,我们需要很容易做到: 查询出最近最晚使用的项 给最近使用的项做一个标记 链表可以实现这两个操作。检测最近最少使用的项只需要返回链表的尾部。 Java的捷径 据我所知,很少有一种编程语言的标准库中有通用的数据结构能提供上述功能的。这是一种混合的数据结构,我们需要在哈希表的基础上建立一个链表。 但是 Java已经为我们提供了这种形式的数据结构-LinkedHashMap!它甚至提供可覆盖回收策略的方法(见removeEldestEntry文档)。 无需多说: import java.util.LinkedHashMap; import java.util.Map; public LRUCache<K, V> extends LinkedHashMap
10. MyBatis缓存 前言 上一篇章我们已经了解了 MyBatis 加载策略,本篇章再来认识一下 MyBatis 缓存。 什么是缓存? # 缓存和缓冲的区别 1. 第一次听歌, 这首歌在本地缓存中没有, 要从网络上下载,会下载到硬盘上,作为缓存(比较慢) 2. 再次听歌, 这首歌本地缓存有了, 不需要网络上下载(比较快) ) 为什么使用缓存? “经常访问但又不经常修改的数据... ” 缓存是用来提高再次查询效率的,所有的持久层框架基本上都有缓存机制 Mybatis也提供了缓存策略,分为一级缓存,二级缓存 一级缓存 介绍 MyBatis 一级缓存是 而二级缓存则是针对一个映射查询的多次会话的查询缓存。 为true代表开启二级缓存;为false代表不开启二级缓存。
缓存 什么是缓存? 平常的开发项目中,多多少少都会使用到缓存,因为一些数据我们没有必要每次查询的时候都去查询到数据库。 缓存的使用场景: 在Java应用中,对于访问频率高,更新少的数据,通常的方案是将这类数据加入缓存中,相对从数据库中读取,读缓存效率会有很大提升。 在集群环境下,常用的分布式缓存有Redis等。 但在某些业务场景上,可能不需要去搭建一套复杂的分布式缓存系统,在单机环境下,通常是会希望使用内部的缓存(LocalCache)。 使用map缓存 方案: 基于ConcurrentHashMap实现数据缓存,实现线程安全要求 SoftReference:当内存不够的时候,GC会回收SoftReference所引用的对象 SoftReference 对于Cache,我们希望被缓存的对象最好始终常驻内存,但是如果JVM内存吃紧,为了不发生OutOfMemoryError导致系统崩溃,必要的时候也允许JVM回收Cache的内存,待后续合适的时机再把数据重新
Mybatis 的一级缓存 一级缓存是 SqlSession 级别的,通过同一个 SqlSession 查询的数据会被缓存,下次查询相同的数据,就会从缓存中直接获取,不会从数据库重新访问 , 一级缓存时默认开启的 当应用程序执行查询操作时,首先查询一级缓存,如果命中缓存,则直接返回命中的结果,否则查询数据库,并将查询结果缓存到一级缓存中。 一级缓存是 SqlSession 级别的缓存,意味着同一个 SqlSession 中的所有操作共享缓存,但不同的 SqlSession 中缓存是相互独立的。 它将数据缓存在应用程序进程的内存中,相比于一级缓存的局部缓存,二级缓存是全局性的进程内缓存,可以被多个 SqlSession 共享,并且可以跨越多个 SqlSession 的生命周期。 如果二级缓存没有命中,再查询一级缓存 如果一级缓存也没有命中,则查询数据库 SqlSession 关闭之后,一级缓存中的数据会写入二级缓存 5.
本文将介绍 Java 缓存机制 的基本原理,结合 Redis、Ehcache 等框架的应用,深入探讨缓存的常见策略和缓存失效的处理方法。 缓存的使用可以分为三个步骤: 查询缓存:首先从缓存中查找数据,如果缓存命中,直接返回结果。 更新缓存:如果缓存未命中,查询数据库或进行计算,得到结果后更新缓存。 二、Java 缓存框架介绍 缓存框架 适用场景 特点 常用功能 Ehcache 本地缓存 轻量级,支持内存和磁盘 TTL、TTI、LRU 缓存失效策略 Redis 分布式缓存、高并发 支持多种数据结构, Ehcache Ehcache 是一个轻量级的 Java 缓存框架,支持内存缓存和磁盘缓存,可以集成到 Spring 等框架中,应用于本地缓存。 代码示例: <! 1000" timeToLiveSeconds="300" timeToIdleSeconds="300"> </cache> </ehcache> Java
Map 在Java中,实现本地缓存通常使用key/value形式的数据结构,可以选择使用Map集合来作为存储容器。 Guava Cache(也称为Guava缓存)是Google开源的一个Java库,用于实现本地缓存。它是Guava项目的一部分,是Google对Java集合框架的扩展和增强。 .initialCapacity(5) // 缓存的最大条数 .maximumSize(10) .expireAfterWrite(4, TimeUnit.SECONDS = Caffeine.newBuilder() // 设置缓存有效期为 10 秒,从最后一次写入开始计时 .expireAfterWrite(Duration.ofSeconds(10 Ehcache是一种广泛使用的开源Java分布式缓存。主要面向通用缓存,Java EE和轻量级容器。
HTTP/1.1中缓存的目的是为了在很多情况下减少发送请求,也即直接返回缓存;同时在许多情况下可以不需要发送完整响应。 缓存如何工作 所有的缓存都用一套规则来帮助他们决定什么时候使用缓存中的副本提供服务(假设有副本可用的情况下);一些规则在协议中有定义(HTTP协议1.0和1.1),一些规则由缓存的管理员设置(浏览器的用户或者代理服务器的管理员 ); 一般说来:遵循以下基本的规则(不必担心,你不必知道所有的细节,细节将随后说明) 如果响应头信息:告诉缓存器不要保留缓存,缓存器就不会缓存相应内容; 如果请求信息是需要认证或者安全加密的,相应内容也不会被缓存 一个缓存的副本如果含有以下信息:内容将会被认为是足够新的 含有完整的过期时间和寿命控制头信息,并且内容仍在保鲜期内; 浏览器已经使用过缓存副本,并且在一个会话中已经检查过内容的新鲜度; 缓存代理服务器近期内已经使用过缓存副本 ,并且内容的最后更新时间在上次使用期之前; 够新的副本将直接从缓存中送出,而不会向源服务器发送请求; 如果缓存的副本已经太旧了,缓存服务器将向源服务器发出请求校验请求,用于确定是否可以继续使用当前拷贝继续服务
Java 缓存工具类 Cache 工具类定义 工具类定义 package com.demo.utils; import org.springframework.util.StringUtils; import java.util.LinkedList; import java.util.List; import java.util.Map; import java.util.concurrent.*; import java.util.concurrent.atomic.AtomicInteger; /** * Description: 缓存工具类 * 1.部分方法未验证,如有问题请自行修改 * 2.其他方法请自行添加 while (CLEAN_RUN_FLAG){ Cache.deleteTimeOut(); } } catch (Exception e) { e.printStackTrace(); } },10 ,Cache.CACHE_HOLD_TIME_1H, TimeUnit.SECONDS); } } /** * 缓存对象类 */ public static class Node{ /** * 缓存值
查询缓存的原理是:当一个查询请求到达数据库时,系统会先查看查询缓存中是否已经存在该查询结果,如果存在,则直接返回缓存结果;如果不存在,则进行数据库查询并将查询结果缓存到内存中,下次请求同一查询时,就可以直接从缓存中获取结果 查询缓存的命中率对性能的影响是非常大的,需要合理地设置缓存策略,避免缓存污染和缓存击穿等问题。 查询缓存会占用一定的内存资源,需要根据实际情况进行缓存大小的设置。 一、Mybatis缓存 1.一级缓存 一级缓存是Mybatis默认开启的缓存机制,对于单个SqlSession的多次查询操作,只要查询语句和参数都相同,则只会执行一次查询,后续查询会直接从缓存中获取结果 2.二级缓存 Mybatis的二级缓存是指将同一会话中执行的SQL语句的查询结果缓存到内存中,以提高查询效率。二级缓存是全局缓存,多个会话可以共享同一个二级缓存。 birthday; // 生日 private String sex; // 性别 private String address; // 地址 // 省略其他 } //UserDao.java
面试官心理分析 其实这是问到缓存必问的,因为缓存雪崩和穿透,是缓存最大的两个问题,要么不出现,一旦出现就是致命性的问题,所以面试官一定会问你。 面试题剖析 缓存雪崩 对于系统 A,假设每天高峰期每秒 5000 个请求,本来缓存在高峰期可以扛住每秒 4000 个请求,但是缓存机器意外发生了全盘宕机。 这样的话,缓存中不会有,请求每次都“视缓存于无物”,直接查询数据库。这种恶意攻击场景的缓存穿透就会直接把数据库给打死。 ? 然后设置一个过期时间,这样的话,下次有相同的 key 来访问的时候,在缓存失效之前,都可以直接从缓存中取数据。 缓存击穿 缓存击穿,就是说某个 key 非常热点,访问非常频繁,处于集中式高并发访问的情况,当这个 key 在失效的瞬间,大量的请求就击穿了缓存,直接请求数据库,就像是在一道屏障上凿开了一个洞。
Cache 二、缓存的分类 1、基于web应用的系统架构图 2、在系统架构的不同层级之间,为了加快访问速度,都可以存在缓存 操作系统磁盘缓存->减少磁盘机械操作 数据库缓存->减少文件系统I/O 应用程序缓存 ,使用对象缓存将会极大降低Web系统对于数据库的访问请求 良好的设计数据库结构和利用对象缓存,能够提供极高的性能,对象缓存适合OLTP(联机事务处理)应用 2、查询缓存 对数据库查询结果集进行缓存,类似数据库的 查询缓存和对象缓存适用的场景不一样,是互为补充的 当查询结果集涉及的表记录被修改以后,需要注意清理缓存 3、页面缓存 a、作用 针对页面的缓存技术不但可以减轻数据库服务器压力,还可以减轻应用服务器压力 OScache提供了简单的Servlet缓存(通过web.xml中的配置) 也可以自己编程实现Servlet缓存 III、页面内部缓存 针对动态页面的局部片断内容进行缓存,适用于一些个性化但不经常更新的页面 (例如博客) OSCache提供了简单的页面缓存 可以自行扩展JSP Tag实现页面局部缓存 六、web服务器端缓存 基于代理服务器模式的Web服务器端缓存,如squid/nginx Web服务器缓存技术被用来实现
java创建本地缓存,模拟redis的使用 在一般的小项目中,数据量不大.但是有的时候需要使用缓存记录一些标识或者票据之类的,比如我这边想实现,可以记录系统同时在线的用户数据,或者对其他数据的缓存记录, 创建缓存实体类 package com.adingxiong.cft.entity; import java.io.Serializable; /** * @author xiongc * @date ; import org.slf4j.LoggerFactory; import org.springframework.util.CollectionUtils; import java.io.*; import java.util.Map; import java.util.concurrent.ConcurrentHashMap; import java.util.concurrent.TimeUnit getValue("name"); if(a == null){ LocalCache.getInstance().putValue("name" ,"张三",10
为什么要用缓存 ? 场景 在Java应用中,对于访问频率高,更新少的数据,通常的方案是将这类数据加入缓存中,相对从数据库中读取,读缓存效率会有很大提升。 方案 基于JSR107规范自研 基于ConcurrentHashMap实现数据缓存 JSR107规范目标 为应用程序提供缓存Java对象的功能。 定义了一套通用的缓存概念和工具。 最小化开发人员使用缓存的学习成本。 最大化应用程序在使用不同缓存实现之间的可移植性。 支持进程内和分布式的缓存实现。 小例子 使用Map来实现一个简单的缓存功能 MapCacheDemo.java package me.xueyao.cache.java; import java.lang.ref.SoftReference ; import java.util.Optional; import java.util.concurrent.ConcurrentHashMap; /** * @author simon *
value=”licence”) //清除缓存 3、缓存设置在service层生效 4、config目录下建ehcache.xml 5、ehcache.xml配置如下 <ehcache xmlns:xsi false” xsi:noNamespaceSchemaLocation=”http://ehcache.sf.net/ehcache.xsd“> <diskStore path=”java.io.tmpdir – 默认的管理策略 maxElementsOnDisk: 在磁盘上缓存的element的最大数目,默认值为0,表示不限制。 eternal:设定缓存的elements是否永远不过期。 如果为true,则缓存的数据始终有效,如果为false那么还要根据timeToIdleSeconds,timeToLiveSeconds判断。
代码如下: package me.xueyao.cache.java.guava; import com.google.common.cache.*; import me.xueyao.cache.java.pojo.User ; import java.util.concurrent.ExecutionException; import java.util.concurrent.TimeUnit; /** * @author } } ); // 第一次读取 for (int i = 0; i < 10 + i); System.out.println(user); } // 第二次读取 for (int i = 0; i < 10 情况 System.out.println(userCache.stats().toString()); } } User.java 代码如下: package me.xueyao.cache.java.pojo
---- 0、缓存 最近开发涉及很多缓存的编写,所以聊聊缓存可能会出现的问题 1、缓存处理流程 前台请求,后台先从缓存中取数据,取到直接返回结果,取不到时从数据库中取,数据库取到更新缓存,并返回结果,数据库也没取到 2、缓存穿透 请求缓存中不存在的数据,从而去数据库中查,数据库中也没有,所以无法加到缓存,下次还是直接怼到数据库,所以高并发的时候就导致数据库崩了。 这样可以防止攻击用户反复用同一个id暴力攻击 缓存雪崩 即缓存同一时间大面积的失效,这个时候又来了一波请求,结果请求都怼到数据库上,从而导致数据库连接异常。 和缓存击穿不同的是缓存击穿指并发查同一条数据,缓存雪崩是不同数据都过期了,很多数据都查不到从而查数据库。 解决方案: 给缓存失效时间,加上一个随机值,避免大量缓存集体失效。 设置热点数据永远不过期 缓存击穿 缓存击穿是指缓存中没有但数据库中有的数据(一般是缓存时间到期),是指一个key非常热点(类似于爆款),在不停的扛着大并发,大并发集中对这一个点进行访问,当这个key在失效的瞬间
guava cache的缓存结构 常用的guava cache缓存 根据上图中的缓存框架,我们常用的一些缓存实例有:LocalManualCache和LocalLoadingCache,两者唯一的区别就是 // expireAfterWrite 缓存加载指定时间后,自动失效 // maximumSize 缓存数量超出指定数量后,加载新的缓存,会根据指定策略淘汰老的缓存 // (LocalCache.java:2285) at com.google.common.cache.LocalCache$Segment.get(LocalCache.java:2200) at com.google.common.cache.LocalCache.get (LocalCache.java:3947) at com.google.common.cache.LocalCache.getOrLoad(LocalCache.java:3951) at com.google.common.cache.LocalCache (LocalCache.java:4880) 这就是LoadingCache的load方法,不能返回null。
说起缓存,首先映入我们脑海的好像有很多种,比如说java自带的map,业界流行的分布式缓存服务器redis,其实还有mc了,但是mc很少用到,至少自己从未用到过,了解一下就可以了,有的时候,你知道的仅仅需要了解 com.google.common.cache.CacheBuilder; import lombok.*; import lombok.experimental.Accessors; import lombok.extern.slf4j.Slf4j; import java.time.Duration ; import java.util.HashSet; import java.util.Set; import java.util.concurrent.ConcurrentMap; import java.util.concurrent.TimeUnit
1.mybatis自带缓存功能。分为一级缓存,二级缓存。 2.一级缓存为 session 缓存,在一个 session中 ,一个查询的 select 语句只会执行一次,根据 <select></select>语句的id来判断。 cn.sxt.vo.UserMapper.findUser",1); System.out.println(u); session.close(); } 3.二级缓存 ,是 sessionFactory 级别的缓存,在 mybatis 中实现二级缓存的步骤 a) 首先实体类要序列化,二级缓存存储的是数据文件 b) 在映射中添加 cache 标签 <cache