缓存梗概 缓存技术几乎存在于网络技术发展的各个角落,从数据库到服务器,从服务器到网络,再从网络到客户端,缓存随处可见。 跟前端有关的缓存技术主要有:DNS 缓存,HTTP 缓存,浏览器缓存,HTML5 缓存(localhost/manifest)和 service worker 中的 cache api。 LDNS 会缓存这个域名和 IP 的对应关系,缓存时间由 TTL 值控制。LDNS 会把解析结果返回给用户,DNS 解析结束。 还记得之前Web 性能优化-页面重绘和回流(重排)中提到的 Google 1s 终端首屏渲染标准,假如 DNS 解析出现问题,那可能几秒甚至几十秒都首屏不了了。 DNS-over-HTTPS 参考资料 DNS域名解析过程 无线性能优化:域名收敛 提升页面访问速度的前端优化大法:DNS预解析 也谈 HTTPS - HTTPDNS + HTTPS
浏览器缓存 HTTP 缓存通常要配合客户端(浏览器)使用才能发挥效果,所以又被称之为浏览器缓存,是 Web 性能优化的一大利器。 缓存类型 浏览器缓存分为强缓存和协商缓存。 (2) 协商缓存:当强缓存没有命中的时候,浏览器向服务器发送请求,服务器端依据资源的另外一些 HTTP Header 验证这个资源是否命中协商缓存,如果协商缓存命中,服务器会将这个请求返回 304,浏览器从缓存中加载这个资源 另外一种分类方式,可以将浏览器缓存分成 HTTP 协议缓存和非 HTTP 协议缓存。 (1) 非 HTTP 协议缓存:使用 HTML Meta 标签,开发者可以告诉浏览器是否缓存当前页面。 HTTP 缓存 HTTP/1.0 缓存字段 (1) Pragma:设置资源是否缓存,no-cache 表示不缓存。 参考资料 HTTP Headers 浅谈浏览器http的缓存机制 Web缓存相关知识整理 浅谈Web缓存 详谈Web缓存
MySQL的优化指的是一个很大的系统,面试的时候我之前是从sql的语句优化方面去说的,这种优化也有作用,不过是从逻辑方面去优化。 MySQl是非常耗费内存的,线上服务器的MySQL内存要吃到80%左右,内存过小,其他的优化空间其实很小。 另外连接(connection)也是影响MySQL性能的重要一方面。 而MySQL的缓存机制就是把刚刚访问的数据(时间局部性)以及未来即将访问到的数据(空间局部性)保存到缓存中,甚至是高速缓存中。从而提高I/O效率。 按照缓存读写功能的不同,MySQL将缓存分为Buffer缓存和Cache缓存。 Buffer缓存。由于硬盘的写入速度过慢,或者频繁的I/O,对于硬盘来说是极大的效率浪费。 那么可以等到缓存中储存一定量的数据之后,一次性的写入到硬盘中。Buffer 缓存主要用于写数据,提升I/O性能。 Cache 缓存。
缓存介绍 这里是列表文本在高并发多用户的系统中常常会使用缓存来提升读写性能 这里是列表文本常见的如memcached, redis, 内存缓存等 现象 这里是列表文本某产品上线后不久 0x0000000725b5f7c8, 0x00000007384c03f8, 0x00000007231683a8, 0x0000000723168450, 0x0000000731980608, 0x0000000725d27ab8 0x0000000738471170, 0x000000072e8fabd8, 0x000000072e8f8af8, 0x0000000732c51a38, 0x00000007319c69a8, com.xxxx.xxxx.web.controller.login.LoginController.login(LoginController.java:119) 分析 仔细分析对应代码逻辑,可发现有如下的缓存策略 每一个线程都会去执行getFromDb()这个方法,每个请求都会穿透到db上 当用户请求较大时,对数据库的压力会非常大【上面的stack仅为多台应用web中的一台】 解决 当数据库中无数据时,可以在缓存中放一个无效的对象表明
网上关于这个方面的文章也不少,基本的思路是线程+缓存来解决。 下面提出一些优化: 1、采用线程池 2、内存缓存+文件缓存 3、内存缓存中网上很多是采用SoftReference来防止堆溢出,这儿严格限制只能使用最大JVM内存的1/4 4、对下载的图片进行按比例缩放 "; // 放入缓存时是个同步操作 // LinkedHashMap构造方法的最后一个参数true代表这个map里的元素将按照最近使用次数由少到多排列,即LRU // 这样的好处是如果要将缓存中的元素替换 ,初始0,将通过此变量严格控制缓存所占用的堆内存 private long size = 0;// current allocated size // 缓存只能占用的最大堆内存 private ,若没有再开线程,从文件缓存中查找都没有则从指定的url中查找,并对bitmap进行处理,最后通过下面方法对UI进行更新操作。
这段代码中, Mybatis一共发了两条SQL,这就好像说, Mybatis中没有缓存,然后我们打开Mybatis的文档一看,顿时震惊 ? 这难道是骗人的,说好的默认开启缓存呢….. 看完这个图,就明白为什么get(1L)->add()->get(1L)这个过程会发3条SQL了,因为insert的时候,清空了缓存 但是就算insert,并没有影响到get(1L)的结果,但是你却把他的缓存也清空了 ,这明显不合理,那么我们怎么优化呢? 也就是我们做了两件事 list由于缓存命中率低,那么我们就不加入到缓存中 insert我们不清空缓存 那么在代码中,我们具体是怎么实现的呢? UserMapper.xml ? 公益:开放一台Nacos服务端 Nacos部署中的几个常见问题 永远不要在 MySQL 中使用“utf8” 号外:最近整理了之前编写的一系列内容做成了PDF,关注我并回复相应口令获取: - 001
import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; import redis.clients.jedis.JedisPoolConfig;
Redis缓存穿透、缓存击穿问题优化 + 内存缓存 1 背景 广交会线上举办,在第三方服务不能保证稳定性的情况下,为保证官网稳定性,新增数据聚合服务,用于缓存数据,并保护第三方服务,且在第三方服务失败的情况下 (缓存击穿)。 2 实例 [hedox8syra.png] 品牌橱窗、CF奖展品 这两个接口,其中品牌橱窗是个性化数据,当用户未登录时(游客),看到的是相同的数据,用户登录之后,看到的是个性化的数据(每个人看到的不同) [yam5rjyvbk.png] 经过内存缓存的优化之后,压测接口的响应时间从ms级提升到了µs级,且压测锯齿明显减少。 5 结束 本文介绍了广交会项目后台用到的两种缓存和相关的优化方法。使用两级缓存还有一个问题就是缓存数据的实时性的问题,这里缓存的过期时间和更新时间需要设置好,不然会出现一致性的问题。
缓存 为什么要使用缓存 在没有使用缓存的情况下,我们每次发送请求都会调用一次doGetAuthorizationInfo方法来进行用户的授权操作,但是我们知道,一个用户具有的权限一般不会频繁的修改, 也就是每次授权的内容都是一样的,所以我们希望在用户登录成功的第一次授权成功后将用户的权限保存在缓存中,下一次请求授权的话就直接从缓存中获取,这样效率会更高一些。 xml version="1.0" encoding="UTF-8"? 3 LRU,最近最少使用的,缓存的元素有一个时间戳,当缓存容量满了,而又需要腾出地方来缓存新的元素的时候,那么现有缓存元素中时间戳离当前时间最远的元素将被清出缓存。 当调用清空缓存方法后,再次请求的时候因为缓存已经空了,所以会再次授权, 场景: 权限修改生效后,立即刷新清空缓存,则可以实现用户不退出生效新的权限
nscd(Name Service Cache Daemon)是一种能够缓存 passwd、group、hosts 的本地缓存服务,分别对应三个源 /etc/passwd、/etc/hosts、/etc 这里利用 nscd 的 hosts 缓存服务来实现 清除 CentOS 8 Linux 下的 DNS 缓存。 清缓存命令: 有可能nscd没装,下面讲解一下,安装,启动,清缓存的命令 1. 启动nscd 服务后,清缓存 开启 nscd 的 hosts 缓存服务后,每次内部接口请求不会都发起 dns 解析请求,而是直接命中 nscd 缓存散列表,从而获取对应服务器 ip 地址,这样可以在大量内部接口请求时减少接口的响应时间
# 瑞吉外卖-缓存优化 缓存优化 问题说明 使用git管理代码 环境搭建 maven坐标 配置文件 配置类 缓存短信验证码 实现思路 缓存菜品数据 实现思路 Spring Cache 框架 Spring Cache介绍 Spring Cache 常用注解 Spring Cache使用方式 缓存套餐数据 实现思路 代码改造 # 缓存优化 # 问题说明 用户数量多,系统访问量大频繁访问数据库,系统性能下降 现在需要对此方法进行缓存优化,提高系统的性能。 针对不同的缓存技术需要实现不同的CacheManager: # Spring Cache 常用注解 在spring boot项目中,使用缓存技术只需在项目中导入相关缓存技术的依赖包,并在启动类上使用 现在需要对此方法进行缓存优化,提高系统的性能。
---- 缓存穿透 定义 查询一个根本不存在的数据, 缓存和DB都不会命中, 白嫖了缓存层和DB 。 通常出于容错的考虑, 如果从存储层查不到数据则不写入缓存层。 缓存穿透将导致不存在的数据每次请求都要到存储层去查询, 失去了缓存保护后端存储的意义。 ---- 原因 通常缓存穿透的原因如下: 自身业务代码或者数据出现问题。 由于缓存层承载着大量请求, 有效地保护了存储层, 但是如果缓存层由于某些原因不能提供服务(比如超大并发过来,缓存层支撑不住,或者由于缓存设计不好,类似大量请求访问bigkey,导致缓存能支撑的并发急剧下降 ---- 缓存击穿 ( 热点缓存key重建优化 ) 一般情况下,我们使用“缓存+过期时间”的策略既可以加速数据读写, 又保证数据的定期更新, 这种模式基本能够满足绝大部分需求。 缓存击穿的解决方案 (热点缓存key重建优化) 要解决这个问题主要就是要避免大量线程同时重建缓存。
很小的内存就能实现过滤,适用于固定的数据,不适频繁更新的数据
TableView优化之高度缓存 系列文章: TableView优化之高度缓存功能 TableView优化之加载图片的优化逻辑 TableView优化之快速滑动下的忽略加载 ---- 呐,也好久没写博客了 ---- tableView优化之高度缓存功能 日常开发中,tableView的使用率很高,所以相对tableView的优化来说可以做很多很多的事情。 如果说我能通过某种手段,在首次计算的时候,将每个cell对应的高度保存下载,当下次需要用到cell高度的时候再从保存的地方取出,从而减少了计算量,来达到优化的目的。 因此应运而生了这套高度缓存的算法。 在此声明,这套算法不是老司机原创,是整合并优化了外国一位大神的源码。 * dicHeightCurrent;//当前状态行高缓存字典(中间量) 为什么三个字典呢?
Zuul提供了多种缓存机制,例如本地缓存、分布式缓存等,可以根据实际需求选择适合的缓存机制。 wrapper.get().toString()); ctx.getResponse().setContentType("application/json;charset=UTF-8" ctx.setResponseBody(response.getBody()); ctx.getResponse().setContentType("application/json;charset=UTF-8" 请求失败:" + e.getMessage()); ctx.getResponse().setContentType("application/json;charset=UTF-8" 如果缓存中已经存在响应结果,则直接将响应结果设置到Zuul的响应中返回。 如果缓存中不存在响应结果,则继续执行请求,并将响应结果缓存起来。
今天分享一下Emlog网站优化,如何加快网站的缓存速度,加快文章发布速度的方法 Emlog是基于PHP+MYSQL的运行环境,那么缓存来源于MYSQL数据库,加快缓存速度,就是要加快MYSQL的查询速度 针对MYSQL的查询优化,有建索引等等,还有重要一点“SELECT * ”类似这样的SQL查询语句要少用 当表内某字段存在“NULL”值时,查询就会很慢,当数据量大了之后会更慢! 所以有两个优化方向,尽量减少数据库中的NULL值(空字符串) 其二就是优化SQL查询语句,建立索引 那么针对EMLOG缓存,我们就可以针对性优化 本站的优化就需要在用户表数据这里处理,因为用户过多导致用户缓存数据特别慢 1、用户缓存修改方法: 打开根目录下的“include\lib\cache.php”将用户数据缓存这里替换一下,代码如下: 未修改前: /** * 用户信息缓存 */ private function } $cacheData = serialize($user_cache); $this->cacheWrite($cacheData, 'user'); } 2、emlog核心优化方法
前言: 在上一篇文章中介绍了内存缓存,内存缓存的长处就是非常快。可是它又有缺点: 空间小,内存缓存不可能非常大; 内存紧张时可能被清除; 在应用退出时就会消失,做不到离线。 基于以上的缺点有时候又须要第二种缓存,那就是磁盘缓存。大家应该都用过新闻client,非常多都有离线功能,功能的实现就是磁盘缓存。 第一个參数是数据的缓存文件地址,第二个參数是当前应用程序的版本,第三个參数是同一个key能够相应多少个缓存文件。一般都是传1,第四个參数是最多能够缓存多少字节的数据,10M? //创建磁盘缓存文件。 在实际操作中内存缓存和磁盘缓存是配合起来使用的。一般先从内存缓存中读取数据,假设没有再从磁盘缓存中读取。
1、Tomcat8优化 tomcat服务器在JavaEE项目中使用率非常高,所以在生产环境对tomcat的优化也变得非常重要了。 1.1 Tomcat配置优化 1.1.1、部署安装tomcat8 下载并安装: https://tomcat.apache.org/download-80.cgi ? 推荐使用nio,不过,在tomcat8中有最新的nio2,速度更快,建议使用nio2. 注意:这里在测试时,我们使用一个新的tomcat,进行测试,后面再对其进行优化调整,再测试。 1.5、调整JVM参数进行优化 接下来,测试通过jvm参数进行优化,为了测试一致性,依然将最大线程数设置为500, 启用nio2运行模式。
WordPress:Memcached 内存缓存优化 ,加速WordPress 后台媒体库加载 WordPress网站媒体库的图片随着文章的增长,会越来越多,有时候不断的去翻几个月前的图片进行引用,发现显示特别慢 ,原来这个内存缓存并没有缓存媒体库月份筛选附件功能这里。 今天就跟大家分享下如何使用 Memcached 内存缓存优化 WordPress 后台媒体库加载。 使用内存缓存优化媒体库月份获取 虽然不会造成很大的问题,但是附件如果不新增删除,这个月份的数据基本不会变化,站长是用 WPJAM 插件配合 Memcached 将其缓存起来。 将下面的代码复制到当前主题的 functions.php 文件中,就可以使用内存来缓存媒体库的月份了: // 使用 Memcached 内存缓存优化 WordPress 后台媒体库月份获取加载 - https
Confluence 的运行状态与缓存状态有这密切的关系。针对 Confluence 的管理员来说,尤其是大型站点的 Confluence 管理员,设置好缓存尤其显得关键。 希望修改缓存的大小: 进入 ? > 基本配置(General Configuration) > 缓存管理(Cache Management。) 在你希望修改缓存的边上,选择 调整大小(Adjust Size)。 https://www.cwiki.us/display/CONF6ZH/Cache+Performance+Tuning