首页
学习
活动
专区
圈层
工具
发布

#缓存

缓存就是数据交换的缓冲区(称作Cache),当某一硬件要读取数据时,会首先从缓存中查找需要的数据,如果找到了则直接执行,找不到的话则从内存中找。缓存的作用是帮助硬件更快地运行。

2026年全球LLM定价权演进、商业模式重构与成本效益分析深度报告

jeffery_jcm

在人工智能发展史上,2026年被视为大语言模型(LLM)从“技术奇点”转向“产业奇点”的关键节点。这一转变的核心驱动力已不再仅仅是模型参数规模的线性扩张,而是围...

500

使用 kkRepo 搭建 Maven 私服

kl博主

在团队开发中,Maven 私服几乎是 Java 工程的基础设施标配。它可以缓存中央仓库依赖、托管公司内部组件、统一 CI/CD 发布入口,也能减少公网网络抖动对...

500

大模型 API 到底在卖什么?把 Token 成本一次讲透

唐国梁Tommy

同样是 100 万 token,有的模型只卖几美元,有的能卖到几十美元,价差能拉到三十多倍。

1800

想让LLM多想几轮,又不想显存爆炸?MELT 把循环 Transformer 的 KV 缓存解耦了

唐国梁Tommy

过去两年,让大模型"会思考"的主流路径是 Chain-of-Thought:模型在给答案前先把推理过程一段段地"说出来"。它有效,但也有清晰的代价——输出越长,...

2210

Claude Code 源码曝光 :1884 个文件拆完之后,Claude Code 到底是什么?

唐国梁Tommy

Claude Code 的官方定位是"AI 编程助手"。但如果你把它的 1884 个 TypeScript 源文件完整拆开看一遍——架构、记忆、安全、多 Age...

1100

MoR如何通过动态递归深度实现模型轻量化与高性能?参数共享与自适应计算的完美融合

唐国梁Tommy

今天我们要深入探讨一篇来自KAIST、Mila和Google等顶尖机构的最新研究——《Mixture-of-Recursions》(混合递归,简称MoR)。在当...

2110

LRU算法在Redis和MySQL中的区别

码农戏码

LRU(least recently used-最近最少使用算法),是一种内存数据淘汰策略,使用常见是当内存不足时,需要淘汰最近最少使用的数据。LRU常用作缓存...

1900

生成式AI这一年,我踩过的坑和你可能也会遇到

用户12493922

1900

RAG和长上下文,正在联手骗你

乐小野

石化盈科信息技术有限责任公司 | 算法工程师 (已认证)

Long Context 的第三个问题是成本不可压缩。即使使用 Prompt Caching(Anthropic 缓存读取 0.30/M tokens),200...

5410

ECCV 2026 | Fast-dVLA:实时离散扩散VLA加速方案

Amusi

部分引入辅助训练目标的高级微调方案虽能提升模型效果、减少收敛迭代步数,但辅助任务带来的额外损失项会产生巨大计算开销。

6100

列表滑动卡到飞起?把图片加载库的默认值全调一遍

陆业聪

Coil 默认内存缓存是「可用内存的 25%」,听起来挺合理,但实际上对中低端机非常激进。我们生产数据:1.5GB RAM 的红米 9A,Coil 默认会吃掉 ...

4610

ollama v0.30.8 最新更新解读:修复启动提供方选择错误,提示词缓存更稳,MLX 推理与递归模型全面增强

福大大架构师每日一题

可以看到,这次更新不是单纯的功能堆叠,而是更偏向于底层稳定性、缓存效率和推理流程可靠性的强化。它覆盖了启动逻辑、缓存机制、推理执行、运行快照以及模型结构支持等多...

5010

WPS被骂上热搜!

TechMiel

6月21日,#被wps背刺了冲上微博热搜,大批用户集中吐槽WPS多项损害用户体验的行为:即便安装至非系统盘,软件依旧强制将缓存、备份文件写入C盘,占用数十G存储...

7510

缓存技术:从CPU Cache到AI KV Cache (五)KV Cache

霞姐聊IT

比如,K1 V1、K2 V2...K10 V10可以直接缓存成KV Cache。在生成第 11 个 Token 时,只需要计算:Q11 K11 V11,然后结合...

3610

面试了500个程序员后,我偷偷记下了这5个打分维度

灬沙师弟

他愣了一下说「没想过」。我故意改了题目条件——把栈换成优先队列——他头也不抬,继续按栈写。

6210

Codex 是最好的电脑管家

Ai学习的老章

Codex 中,仅需一句话:清理 uv 缓存,它自己会看目录、判断缓存大小、停止卡住的等待命令、调用 uv 自带清理能力,最后告诉我释放了多少空间

10110

我把360里真正用得到的功能拆出来,做个轻量工具

不脱发的程序猿

但 C 盘不是垃圾桶。很多目录看起来能删,实际有风险。比如 Windows.old 能释放很多空间,但删掉后就失去了系统回滚能力;Windows Update ...

6610

[工具软件] 任务管理器只显示"已用/可用"? 微软 RAMMap,把物理内存切成 13 层给你看!

科控物联

这是 RAMMap 最独特的功能之一!显示哪些文件被缓存进了内存、缓存了多少 MB、哪些正在使用、哪些是 Standby 可释放的。解决"为什么内存占用这么高但...

9710

Token 节省 60% 到 95% 零侵入的压缩利器

勇哥AI笔记

在这篇文章讲了针对工具调用的压缩工具 content-mode:这个开源工具把 token 消耗节省了98%,

11710
领券