首页
学习
活动
专区
圈层
工具
发布

#缓存

缓存就是数据交换的缓冲区(称作Cache),当某一硬件要读取数据时,会首先从缓存中查找需要的数据,如果找到了则直接执行,找不到的话则从内存中找。缓存的作用是帮助硬件更快地运行。

同样都是Linux,为什么有人夸"轻量",有人骂"吃内存"?

芸知

你刚装好一台 Linux 服务器,跑了一行 free -h,结果吓了一跳:total 4G,used 3.8G,free 0.1G。

4810

2nm双芯加持!“苏妈”放出大杀器,全面超越Vera Rubin?

芯智讯

这样每个FCD包含一个L2缓存实例。单个L2缓存的带宽是MI355X上单个Infinity Cache的1.5倍,两个L2缓存的聚合带宽则达到MI355X的3倍...

4810

用 Node.js 连接数据库:一次请求是怎么跑起来的?

Lihua奏

下面这个接口是查用户资料。它会先查 Redis,有缓存就直接返回;没有缓存才去查 PostgreSQL,然后把结果写回 Redis。

3810

大模型进了银行,为什么还是答不对客户的问题?万字方案讲透 RAG 落地 | 建议收藏

机器学习之禅

缓存失效是经典难题:知识库更新了,缓存的旧答案还在——返回过时信息。知识库频繁更新的场景,缓存就是颗定时炸弹(对策:库版本号绑定缓存键、短 TTL)

5510

API 缓存设计指南

FunTester

缓存错误往往比不缓存更危险。个性化数据必须使用用户维度的缓存键,且不能泄露到共享缓存;余额、实时库存等数据应使用很短的 TTL,或干脆避免缓存;认证令牌、会话信...

9800

从3s到25ms!看看人家的接口优化技巧,确实很优雅!

程序员小猿

一个很好理解的空间换时间的例子是合理使用缓存,针对一些频繁使用且不频繁变更的数据,可以提前缓存起来,需要时直接查缓存,避免频繁地查询数据库或者重复计算。

5800

美国掌握芯片,中国争夺开放生态: Kimi K3 把大模型竞争推向系统架构时代

anzhsoft

K3 官方披露,其 API 编程负载的缓存命中率超过 90%,缓存命中输入价格为 0.30 美元/百万 Token,未命中输入为 3 美元,输出为 15 美元。...

11110

transformers v5.14.1最新发布:修复Inkling集成关键问题,辅助生成与缓存机制两大故障一次解决

福大大架构师每日一题

这意味着缓存相关机制在该问题中扮演了重要角色,尤其是静态缓存路径下的行为与预期之间出现了偏差。

6910

2.8万亿参数的 Kimi K3,到底堆了什么?

乐小野

石化盈科信息技术有限责任公司 | 算法工程师 (已认证)

标准 Transformer 的自注意力复杂度是 O(n²),上下文越长,KV 缓存膨胀越厉害。100 万 token 的情况下,传统注意力几乎不可行。KDA ...

22510

Win电脑C盘清理全攻略:从入门到精通的深度优化技巧

目的地-Destination

修改“Desktop”“My Documents”等键值为新路径 3. 重启生效(需管理员权限)

9410

别再裸用workbuddy了,我把八类专家,拉成了一条生产线

瑭宋元

效率侧佐证:平台侧统计本月累计调用 8 亿+ tokens,缓存命中率 93.9%。长上下文复用把单位成本压到极低——用得越狠,边际越便宜。

14111

ollama v0.32.1发布详解:工具调用更稳、多轮推理更强、内存泄漏修复、模型加载超时生效与交互体验全面升级

福大大架构师每日一题

缓存快照性能的优化,虽然在版本说明里只有短短一句,但它依然值得单独关注。因为缓存快照通常与状态记录、复用效率、运行过程中的资源管理紧密相关。只要性能更好,就意味...

12810

大部分token根本不该重复计算,不止于KVCache

用户11563501

前缀缓存要求缓存内容必须是新请求一字不差的前缀。改一个字符,整个缓存全废。实际生产里,三种常见场景直接让缓存失效:

12910

从 200K 到 1M:长上下文管理的原理

柏拉图的美工刀

最近我们团队做了一个销售AI助手,以问答为主,慢慢加上了识别文档功能。最开始的需求很小:识别一张图片——销售在客户现场拍一张资料或名片的截图,模型提取关键信息。...

8810

工具站还在每次请求打回源站?先别急着上Edge · Day 62

袁锐钦

✅ Cloudflare Workers、Vercel Edge / Middleware 一类能力,是 2026 年主流托管平台都在推的边缘运行时。 ⚠ 下文...

9310

ARP协议工作原理与ARP欺骗防御技术详解

程序员古德

ARP全称Address Resolution Protocol,中文译为地址解析协议。它工作在OSI模型的数据链路层与网络层之间。RFC 826对ARP的定义...

10500

一行代码引发的线上事故,复盘Python生产环境那些隐患

用户11081884

Python里falsy值可不止 None——0、""、[]、False,统统被 or 当作“没取到”。而这些都是完全合法的缓存值。用户余额为0?缓存击穿。查询...

10110

Python 装饰器10种高级用法,用完后悔没早知道

用户11081884

使用场景:需要根据配置动态调整装饰行为的场景,如不同环境的日志级别、缓存时间等。

9400

Python @property装饰器10种高级用法,让你的代码更优雅高效!

用户11081884

场景:当某个属性的值需要基于其他属性计算得出,且计算成本较高时,可以使用@property结合缓存机制。

6700

实战DNS:从理论到线上应用,收藏

用户11081884

DNS(Domain Name System)是因特网上作为域名和IP地址相互映射的一个分布式数据库。通过主机名获取对应的IP地址的过程称为域名解析。DNS协议...

9610
领券