Hugo 网站优化(9): 实时更新与缓存加速兼顾, 使用 Github Action 主动预热 CDN 缓存 原文链接: https://tangx.in/posts/2023/01/04/hugo-qcloud-cdn-purge-and-push 缓存时间设置短了, 回源网站打开慢。 缓存时间设置长了, 发布新文章又很长时间无法展示。 于是, 我又盯上了 Github Action 的实现发布文章后主动预热网站, 这样在 CDN 中的缓存配置就更通用了。 以下是文章的元数据信息 --- title: "Hugo 网站优化(9): 预热网站, 使用 Github Action 主动刷新 DNS 缓存" subtitle: "Hugo Qcloud Cdn
缓存一直是构建高性能且可扩展应用程序的关键组件。在.NET 9 中,微软推出了混合缓存(Hybrid Cache),这是一种革命性的缓存方式,它弥合了内存缓存和分布式缓存之间的差距。 .NET 9 中的混合缓存结合了内存缓存(快速的本地访问)和分布式缓存(持久性以及跨服务器的共享状态)的优势。 这种抽象使得各种缓存层能够无缝集成,让开发人员可以编写简洁、可扩展且易于维护的代码。其主要特性包括: 多级缓存:将内存缓存层和分布式缓存层相结合,以优化性能。 ###.NET 9 中混合缓存的优势 性能优化:通过利用内存缓存来处理热点数据,减少对数据库的访问以及网络延迟。 成本效益:通过优化数据存储和检索机制,最大限度地降低云基础设施成本。 无论你是在优化电子商务平台、构建微服务架构还是开发内容分发网络,混合缓存都能提供灵活性和强大功能,提升你的应用程序性能。
缓存梗概 缓存技术几乎存在于网络技术发展的各个角落,从数据库到服务器,从服务器到网络,再从网络到客户端,缓存随处可见。 跟前端有关的缓存技术主要有:DNS 缓存,HTTP 缓存,浏览器缓存,HTML5 缓存(localhost/manifest)和 service worker 中的 cache api。 LDNS 会缓存这个域名和 IP 的对应关系,缓存时间由 TTL 值控制。LDNS 会把解析结果返回给用户,DNS 解析结束。 还记得之前Web 性能优化-页面重绘和回流(重排)中提到的 Google 1s 终端首屏渲染标准,假如 DNS 解析出现问题,那可能几秒甚至几十秒都首屏不了了。 DNS-over-HTTPS 参考资料 DNS域名解析过程 无线性能优化:域名收敛 提升页面访问速度的前端优化大法:DNS预解析 也谈 HTTPS - HTTPDNS + HTTPS
浏览器缓存 HTTP 缓存通常要配合客户端(浏览器)使用才能发挥效果,所以又被称之为浏览器缓存,是 Web 性能优化的一大利器。 缓存类型 浏览器缓存分为强缓存和协商缓存。 (2) 协商缓存:当强缓存没有命中的时候,浏览器向服务器发送请求,服务器端依据资源的另外一些 HTTP Header 验证这个资源是否命中协商缓存,如果协商缓存命中,服务器会将这个请求返回 304,浏览器从缓存中加载这个资源 另外一种分类方式,可以将浏览器缓存分成 HTTP 协议缓存和非 HTTP 协议缓存。 (1) 非 HTTP 协议缓存:使用 HTML Meta 标签,开发者可以告诉浏览器是否缓存当前页面。 HTTP 缓存 HTTP/1.0 缓存字段 (1) Pragma:设置资源是否缓存,no-cache 表示不缓存。 参考资料 HTTP Headers 浅谈浏览器http的缓存机制 Web缓存相关知识整理 浅谈Web缓存 详谈Web缓存
MySQL的优化指的是一个很大的系统,面试的时候我之前是从sql的语句优化方面去说的,这种优化也有作用,不过是从逻辑方面去优化。 MySQl是非常耗费内存的,线上服务器的MySQL内存要吃到80%左右,内存过小,其他的优化空间其实很小。 另外连接(connection)也是影响MySQL性能的重要一方面。 而MySQL的缓存机制就是把刚刚访问的数据(时间局部性)以及未来即将访问到的数据(空间局部性)保存到缓存中,甚至是高速缓存中。从而提高I/O效率。 按照缓存读写功能的不同,MySQL将缓存分为Buffer缓存和Cache缓存。 Buffer缓存。由于硬盘的写入速度过慢,或者频繁的I/O,对于硬盘来说是极大的效率浪费。 那么可以等到缓存中储存一定量的数据之后,一次性的写入到硬盘中。Buffer 缓存主要用于写数据,提升I/O性能。 Cache 缓存。
缓存介绍 这里是列表文本在高并发多用户的系统中常常会使用缓存来提升读写性能 这里是列表文本常见的如memcached, redis, 内存缓存等 现象 这里是列表文本某产品上线后不久 com.xxxx.xxxx.web.controller.login.LoginController.login(LoginController.java:119) 分析 仔细分析对应代码逻辑,可发现有如下的缓存策略 每一个线程都会去执行getFromDb()这个方法,每个请求都会穿透到db上 当用户请求较大时,对数据库的压力会非常大【上面的stack仅为多台应用web中的一台】 解决 当数据库中无数据时,可以在缓存中放一个无效的对象表明
网上关于这个方面的文章也不少,基本的思路是线程+缓存来解决。 下面提出一些优化: 1、采用线程池 2、内存缓存+文件缓存 3、内存缓存中网上很多是采用SoftReference来防止堆溢出,这儿严格限制只能使用最大JVM内存的1/4 4、对下载的图片进行按比例缩放 "; // 放入缓存时是个同步操作 // LinkedHashMap构造方法的最后一个参数true代表这个map里的元素将按照最近使用次数由少到多排列,即LRU // 这样的好处是如果要将缓存中的元素替换 ,初始0,将通过此变量严格控制缓存所占用的堆内存 private long size = 0;// current allocated size // 缓存只能占用的最大堆内存 private ,若没有再开线程,从文件缓存中查找都没有则从指定的url中查找,并对bitmap进行处理,最后通过下面方法对UI进行更新操作。
HybridCache是什么 在 .NET 9 中,Microsoft 将 HybridCache 带入了框架体系。 HybridCache 是一种新的缓存模型,设计用于封装本地缓存和分布式缓存,使用者无需担心选择缓存类型,从而优化性能和维护效率。 HybridCache 的好处 性能优化: 本地缓存速度超过分布式,使用 HybridCache 可以减少读取分布缓存库时的延迟。 精简化工程: 使用者不需再自行核实选择哪个缓存,增加了工程效率。 = new List<string> { "tag1" }; await _cache.RemoveByTagAsync(tags); return true; } 小结 .NET 9 如果你正在使用 .NET 9,尝试将 HybridCache 应用于你的项目中,体验其高效与简洁! 需要注意的是,HybridCache仍处于preview阶段。
这段代码中, Mybatis一共发了两条SQL,这就好像说, Mybatis中没有缓存,然后我们打开Mybatis的文档一看,顿时震惊 ? 这难道是骗人的,说好的默认开启缓存呢….. 看完这个图,就明白为什么get(1L)->add()->get(1L)这个过程会发3条SQL了,因为insert的时候,清空了缓存 但是就算insert,并没有影响到get(1L)的结果,但是你却把他的缓存也清空了 ,这明显不合理,那么我们怎么优化呢? 也就是我们做了两件事 list由于缓存命中率低,那么我们就不加入到缓存中 insert我们不清空缓存 那么在代码中,我们具体是怎么实现的呢? UserMapper.xml ? 这样之后,我们Mybatis中的缓存就更高效了 ---- 推荐阅读: 推荐一款让你纵横Github的读码神器 还在使用 SimpleDateFormat?你的项目崩没?
import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; import redis.clients.jedis.JedisPoolConfig;
();****将缓存内容写入html文件*****Ob_end_clean(); 2、页面部分缓存 该 种方式,是将一个页面中不经常变的部分进行静态缓存,而经常变化的块不缓存,最后组装在一起显示;可以使用类似于 ; 4、查询缓存 其实这跟数据缓存是一个思路,就是根据查询语句来缓存;将查询得到的数据缓存在一个文件中,下次遇到相同的查询时,就直接先从这个文件里面调数据,不会再去查数据库;但此处的缓存文件名可能就需要以查询语句为基点来建立唯一标示 ; 按时间变更进行缓存 其 实,这一条不是真正的缓存方式;上面的2、3、4的缓存技术一般都用到了时间变更判断;就是对于缓存文件您需要设一个有效时间,在这个有效时间内,相同的 访问才会先取缓存文件的内容, 但是超过设定的缓存时间,就需要重新从数据库中获取数据,并生产最新的缓存文件;比如,我将我们商城的首页就是设置2个小时 更新一次; 5、按内容变更进行缓存 这个也并非独立的缓存技术,需结合着用;就是当数据库内容被修改时 max_input_time = 600 ; 每个PHP页面接收数据所需的最大时间,默认60 memory_limit = 128M ; 每个PHP页面所吃掉的最大内存,默认8M 9、
Redis缓存穿透、缓存击穿问题优化 + 内存缓存 1 背景 广交会线上举办,在第三方服务不能保证稳定性的情况下,为保证官网稳定性,新增数据聚合服务,用于缓存数据,并保护第三方服务,且在第三方服务失败的情况下 (缓存击穿)。 (压测)服务稳定性,我们考虑在redis缓存之前,加上一层内存缓存,将前20页的数据缓存在本地内存,请求若命中内存则直接返回,这样使得请求响应更快更稳定。 [yam5rjyvbk.png] 经过内存缓存的优化之后,压测接口的响应时间从ms级提升到了µs级,且压测锯齿明显减少。 5 结束 本文介绍了广交会项目后台用到的两种缓存和相关的优化方法。使用两级缓存还有一个问题就是缓存数据的实时性的问题,这里缓存的过期时间和更新时间需要设置好,不然会出现一致性的问题。
();****将缓存内容写入html文件*****Ob_end_clean(); 2、页面部分缓存 该 种方式,是将一个页面中不经常变的部分进行静态缓存,而经常变化的块不缓存,最后组装在一起显示;可以使用类似于 ; 4、查询缓存 其实这跟数据缓存是一个思路,就是根据查询语句来缓存;将查询得到的数据缓存在一个文件中,下次遇到相同的查询时,就直接先从这个文件里面调数据,不会再去查数据库;但此处的缓存文件名可能就需要以查询语句为基点来建立唯一标示 ; 按时间变更进行缓存 其 实,这一条不是真正的缓存方式;上面的2、3、4的缓存技术一般都用到了时间变更判断;就是对于缓存文件您需要设一个有效时间,在这个有效时间内,相同的 访问才会先取缓存文件的内容, 但是超过设定的缓存时间,就需要重新从数据库中获取数据,并生产最新的缓存文件;比如,我将我们商城的首页就是设置2个小时 更新一次; 5、按内容变更进行缓存 这个也并非独立的缓存技术,需结合着用;就是当数据库内容被修改时 30秒 max_input_time =600;每个PHP页面接收数据所需的最大时间,默认60 memory_limit =128M;每个PHP页面所吃掉的最大内存,默认8M 9、
3-5-3 读写缓存流 ——BufferedStream类 类BufferedStream就是给另一流上的读写操作添加一个缓冲区。缓冲区是内存中的字节块,用于缓存数据,从而减少对操作系统的调用次数。 案例学习:通过缓冲区交换数据 本案例您将学习到:如何通过使用缓存流的来读写文件。
使用缓存是一项有效工具。我们可以把多数前端请求的回复response存入缓存,特别是一些需要大量计算才能获取的回复值,更可以大大提高后端的反应速度。 值得庆幸的是akka-http已经提供了对缓存的支持,是基于java8 caffein的一套缓存操作工具包的。下面就介绍一下akka-http的caching。 akka-http caching 有个依赖: "com.typesafe.akka" %% "akka-http-caching" % akkaHttpVersion, 先从缓存存储结构开始,看看下面的一段缓存结构定义 我们来看看如何实现缓存管理: 在akka-http里可以用两种方式来实现缓存管理:1、直接用cache工具,2、用akka-http提供的Directive: cache, alwaysCache 我们先看看如何直接使用 这两个是同一个东西,只是cache多了个是否使用缓存这么个控制,是通过request-header Cache-Control来实现的,如:Cache-Control`(`no-cache`)。
# 瑞吉外卖-缓存优化 缓存优化 问题说明 使用git管理代码 环境搭建 maven坐标 配置文件 配置类 缓存短信验证码 实现思路 缓存菜品数据 实现思路 Spring Cache 框架 Spring Cache介绍 Spring Cache 常用注解 Spring Cache使用方式 缓存套餐数据 实现思路 代码改造 # 缓存优化 # 问题说明 用户数量多,系统访问量大频繁访问数据库,系统性能下降 现在需要对此方法进行缓存优化,提高系统的性能。 针对不同的缓存技术需要实现不同的CacheManager: # Spring Cache 常用注解 在spring boot项目中,使用缓存技术只需在项目中导入相关缓存技术的依赖包,并在启动类上使用 现在需要对此方法进行缓存优化,提高系统的性能。
---- 缓存穿透 定义 查询一个根本不存在的数据, 缓存和DB都不会命中, 白嫖了缓存层和DB 。 通常出于容错的考虑, 如果从存储层查不到数据则不写入缓存层。 缓存穿透将导致不存在的数据每次请求都要到存储层去查询, 失去了缓存保护后端存储的意义。 ---- 原因 通常缓存穿透的原因如下: 自身业务代码或者数据出现问题。 由于缓存层承载着大量请求, 有效地保护了存储层, 但是如果缓存层由于某些原因不能提供服务(比如超大并发过来,缓存层支撑不住,或者由于缓存设计不好,类似大量请求访问bigkey,导致缓存能支撑的并发急剧下降 ---- 缓存击穿 ( 热点缓存key重建优化 ) 一般情况下,我们使用“缓存+过期时间”的策略既可以加速数据读写, 又保证数据的定期更新, 这种模式基本能够满足绝大部分需求。 缓存击穿的解决方案 (热点缓存key重建优化) 要解决这个问题主要就是要避免大量线程同时重建缓存。
很小的内存就能实现过滤,适用于固定的数据,不适频繁更新的数据
TableView优化之高度缓存 系列文章: TableView优化之高度缓存功能 TableView优化之加载图片的优化逻辑 TableView优化之快速滑动下的忽略加载 ---- 呐,也好久没写博客了 ---- tableView优化之高度缓存功能 日常开发中,tableView的使用率很高,所以相对tableView的优化来说可以做很多很多的事情。 如果说我能通过某种手段,在首次计算的时候,将每个cell对应的高度保存下载,当下次需要用到cell高度的时候再从保存的地方取出,从而减少了计算量,来达到优化的目的。 因此应运而生了这套高度缓存的算法。 在此声明,这套算法不是老司机原创,是整合并优化了外国一位大神的源码。 * dicHeightCurrent;//当前状态行高缓存字典(中间量) 为什么三个字典呢?
缓存 在微服务架构中,有些请求的响应结果是不变的,例如一些静态文件或公共数据。这些请求的响应结果可以被缓存起来,减少重复计算和请求,提高性能。 Zuul提供了多种缓存机制,例如本地缓存、分布式缓存等,可以根据实际需求选择适合的缓存机制。 在CustomFilter的run方法中,先检查缓存中是否已经存在响应结果,如果存在,则直接返回缓存中的结果;否则,继续执行请求并将响应结果缓存起来: public class CustomFilter ,并根据请求URL作为key从缓存中获取响应结果。 如果缓存中已经存在响应结果,则直接将响应结果设置到Zuul的响应中返回。 如果缓存中不存在响应结果,则继续执行请求,并将响应结果缓存起来。