- 综合排序
- 最热优先
- 最新优先
- 来自专栏圣杰的专栏
.NET+AI | MEAI | 上下文压缩（7）
Chat Reducer：让 AI 对话突破上下文限制 一句话简介 Microsoft.Extensions.AI 的 Chat Reducer 通过智能压缩策略,在保持对话质量的前提下,有效控制上下文长度 核心价值 ✅ 突破限制:解决 LLM 上下文窗口限制(如 GPT-4 的 8K/32K tokens) ✅ 成本优化:减少输入 token,显著降低 API 调用成本 ✅ 性能提升:缩短上下文长度,加快模型推理速度 在多轮对话场景中,我们面临三大挑战: 挑战 问题 Chat Reducer 方案 上下文限制 超出模型限制导致请求失败 智能压缩到安全范围 成本失控 输入 token 越多费用越高 过滤冗余,只保留必要信息 SummarizingChatReducer(摘要压缩器) 利用 AI 自动生成摘要压缩历史对话。 核心特性: 超过阈值时自动调用 AI 生成摘要 摘要存储在 AdditionalProperties 中 渐进式压缩(新摘要包含旧摘要) 保留完整语义上下文 适用场景: 医疗咨询(完整病史重要)
23810编辑于 2025-12-28 - 来自专栏#大模型热点基础知识
什么是上下文压缩？如何减少Token消耗？
这就是上下文压缩要解决的核心问题：在保留关键信息的前提下，把输入token从几万降到几千，甚至几百。 二、什么是上下文压缩？上下文压缩（ContextCompression）是指在保证回答质量的前提下，减少输入上下文的token数量的技术。 ：普通摘要：把长文本压缩成短文本，目的是给人阅读上下文压缩：把上下文压缩成更适合大模型推理的形式，目的是提高推理效率和质量三、上下文压缩如何工作过滤型技术过滤型技术的核心是相似度计算，把不相关的内容直接删掉 解决方案：根据上下文长度和延迟预算选择压缩策略短文本（<2000字）：不用压缩中等长度：用Embedding过滤超长文本：用递归摘要延迟敏感：用快速过滤，牺牲一些准确率上下文碎片化问题：检索出来的5个文档片段 上下文压缩的技术演进，从简单的截断到智能的语义压缩，本质上反映了我们对"信息价值"理解的深化。
63010编辑于 2026-03-31 - 来自专栏AI SPPECH
85_多轮对话：上下文管理与压缩
这使得上下文管理与压缩技术成为提升多轮对话性能的关键因素。 本教程将深入探讨2025年多轮对话上下文管理与压缩的最新技术进展，包括核心算法原理、实现方法、性能优化策略以及实际应用案例。 3.2 上下文压缩技术 上下文压缩是在有限token预算内保留关键信息的核心技术。 针对上下文管理中的模型组件进行压缩和加速： 量化技术：将模型权重从FP32降至INT8或INT4，减少内存占用和加速推理 知识蒸馏：训练小型学生模型模仿大型教师模型的行为 模型剪枝：移除模型中不重要的连接或神经元 量子计算加速：利用量子计算处理超大规模对话历史 7.2 新兴研究方向 7.2.1 理论研究热点 上下文理论模型：建立更完善的对话上下文理论模型 信息压缩极限：探索语义信息压缩的理论极限 认知启发架构： 8.
1.1K10编辑于 2025-11-16 - 来自专栏YOLO大作战
DeepSeek-OCR：基于光学压缩的上下文处理
论文核心摘要： 提出上下文光学压缩新范式 - 首次验证通过视觉模态压缩文本的可行性，在10倍压缩比下实现97%的解码精度 设计DeepEncoder创新架构 - 通过串联SAM-CLIP和16倍卷积压缩 - 光学压缩的渐进模糊特性为模拟人类遗忘机制、解决长上下文挑战提供了创新思路 这些贡献为VLM和LLM的长上下文处理提供了全新的技术路径。 这为历史长上下文压缩、大语言模型记忆遗忘机制等研究方向展现了可观潜力。 [block_idx]) quantized_block = quantized_values.reshape((8, 8)) # 根据上下文选择相同的量化矩阵 这些实验结果进一步揭示了上下文光学压缩的边界，这可能为VLM中视觉标记优化、LLM中上下文压缩及遗忘机制的研究提供有效的参考。4.3. 定性研究4.3.1.
81131编辑于 2026-01-05 - 来自专栏铭毅天下
Elasticsearch 8.x 存储有无压缩？能压缩到多少？
1、认知前提 Elasticsearch 支持压缩，压缩方式默认为：LZ4 压缩算法。 中文翻译为： 默认值使用 LZ4 压缩压缩存储的数据，但这可以设置为 best_compression，它使用 DEFLATE 来获得更高的压缩率，但会降低存储字段的性能。 2、动手验证一下压缩比到底能压缩多少？ 2.1 样例数据准备 以 kibana_sample_flights 飞行数据为例进行验证。 LZ4 算法能压缩到一半！ 新压缩算法 best_compression 压缩后，压缩为原始空间的：35%，也就是能省65%的空间。 压缩比要求高推荐使用：best_compression。
1.1K10编辑于 2024-07-15 Go在AI对话上下文压缩处理上的实践
这是因为大模型有上下文长度限制，对话越长，历史消息越多，就越容易超限。结合我的理解，这篇文章分享一下如何实现上下文压缩，让你的 AI 应用既能"记住"关键信息，又能节省成本。 为什么需要上下文压缩？ 面对上下文压缩，我们有三种主流策略： 摘要压缩：让 AI 把历史对话总结成一段摘要。适合长对话场景，比如客服机器人、知识问答。优点是信息损失小，缺点是需要额外 API 调用。 return callAI(prompt) } 什么时候触发压缩？ 可以设置一个阈值，比如对话超过 15 轮时触发。也可以根据 Token 数量判断，超过总上下文的 70% 就压缩。 压缩前先估算当前上下文大小，别等到报错了才处理。 写在最后 今天我们介绍了三种 AI 对话上下文压缩策略： 摘要压缩：让 AI 总结历史，保留语义完整性。适合长对话场景。 滑动窗口：只保留最近 N 条，简单高效。适合实时性要求高的场景。
33610编辑于 2026-03-02- 来自专栏编程
Python模块知识8：configparser、压缩模块
importconfigparser#导入模块 config=configparser.ConfigParser()#必须的装载语句 config.read('black.txt',encoding='utf-8' importconfigparser#导入模块 config=configparser.ConfigParser()#必须的装载语句 config.read('black.txt',encoding='utf-8' importconfigparser#导入模块 config=configparser.ConfigParser()#必须的装载语句 config.read('black.txt',encoding='utf-8' () 2）解压缩 import zipfile z=zipfile.ZipFile('a.zip','r') z.extractall()#解压全部 for item in z.namelist(): print(item,type(item)) z.close() 三、tar文件夹解压 1）压缩 import tarfile tar = tarfile.open('your.tar','w')#压缩
1.1K60发布于 2018-01-11 - 来自专栏Gamma安全实验室
浅淡v8指针压缩
“详情请参考：https://en.wikipedia.org/wiki/Tagged_pointer” 对于v8中64位的对象指针，它们的高32位基本是不变的，花费4字节来储存它们会浪费内存空间；所以指针压缩将 v8关于指针压缩的实现 首先我们能想到的实现方式是从0地址开始分配4G内存，确保v8对象分配在这4G内存范围内；v8显然没有这样做，在chrome渲染进程中可能会有多个v8实例，这个方案会导致所有v8实例都来竞争这 “详情请参考：https://v8.dev/blog/pointer-compression” 指针压缩在v8漏洞利用中的影响 首先我们很难泄漏v8堆内存空间的高32位（r13寄存器），也就意味着我们用伪造 ，所以没有指针压缩。 利用思路 考虑到指针压缩，我们基本利用思路就有了： 1. 利用类型混淆把double数组变为object数组； 2. 越界读写修改布置在后面的double数组的length字段； 3.
1.7K20发布于 2020-12-23 - 来自专栏Android 开发者
使用 R8 压缩您的应用
有了 R8 编译器，您可以通过压缩、混淆和优化，更全面的缩小应用体积。 本文我们将对 R8 的特性进行一个简要的介绍，并介绍可预期的代码缩减程度以及如何在 R8 中启用这些功能。 R8 的压缩特性 R8 通过下面 4 项特性来减少 Android 应用大小: 摇树优化 (Tree shaking): 使用静态代码分析来查找和删除无法访问的代码和未实例化的类型； 优化 : 通过删除无效代码 为什么需要 R8 压缩 开发应用时，所有代码都应有目的并在应用中实现相应功能。 启用 R8 来压缩您的应用 要在 release build 上启用 R8 压缩，需要在应用的主 build.gradle 文件中将 minifyEnable 属性设置为 true，如下所示: android R8 能缩减多少应用大小？ R8 可以大大减小应用的大小。例如，去年的 Google I/O 应用大小为 18.55 MB，压缩前包含 150,220 个方法和 3 个 DEX 文件。
1.8K30发布于 2021-01-07 《数字图像处理》第 8 章-图像压缩
8.2.7 位平面编码 位平面编码将图像的每个像素的二进制位拆分到不同的位平面（如 8 位灰度图拆分为 8 个位平面），对重要的低位平面保留，高位平面压缩 / 去除。 （保留4位，压缩比=8/4=2） compression_ratio = 8 / 4 print(f"位平面编码压缩比：{compression_ratio:.2f}") h, w = image.shape h_pad = (8 - h % 8) % 8 w_pad = (8 - w % 8) % 8 img_padded = np.pad j:j+8] = quant_block # 计算压缩比（非精确，仅参考） non_zero = np.count_nonzero(compressed) total h_pad = (8 - h % 8) % 8 w_pad = (8 - w % 8) % 8 img_padded = np.pad(image, ((0, h_pad),
22510编辑于 2026-01-21- 来自专栏Java知识图谱
Nginx网络压缩 CSS压缩 图片压缩 JSON压缩
1、网络压缩原理 网络压缩的原理是消耗CPU资源，减少文件在公网传输的大小，提高响应速度。 二、网络压缩 此部分所有的压缩内容在浏览器端都会还原，特别需要指出的是图片，图片在网络间是压缩状态传输的，到达浏览器后是会被还原的。 技术实现依托gzip压缩，仅仅在服务器与客户端网络传输时对静态资源进程压缩，文件的大小在压缩前与还原后保持不变。 图片压缩分为两类：一是等比压缩；二是固定宽高压缩。根据应用场景的不同也分为两类：一是固定参数；二是动态参数。 此部分图片压缩后到达浏览器不会被还原。 （一）等比压缩 使用关键词resize实现等比压缩，指定宽度或者高度即可在原尺寸图片的基础上等比率压缩图片。如果同时指定宽度和高度，只有一个参数生效。
6.7K41编辑于 2022-02-08 - 来自专栏openclaw系列
OpenClaw插件Lossless Claw（LCM）：为 OpenClaw 带来无损上下文压缩的革命性
随着对话轮次增加，token消耗迅速逼近模型上限，导致：新消息无法加入上下文关键历史信息被截断智能体“失忆”或逻辑断裂传统解决方案如“滑动窗口”或“简单摘要”虽能缓解问题，却以牺牲信息完整性为代价——一旦压缩 1.1传统压缩方法的致命缺陷方法原理问题截断（Truncation）丢弃最早消息丢失关键前提（如“用Python写”）滑动窗口仅保留最近N轮上下文碎片化，无法回溯LLM摘要让模型生成总结信息失真、细节丢失 二、核心技术：DAG+增量压缩=无损上下文2.1对话即图：构建语义依赖DAGLCM将整个对话历史建模为一个有向无环图（DirectedAcyclicGraph）：节点（Node）：每条用户/助手消息边（ （继续10轮优化）850接近阈值（如900）15“现在改成用pandas实现”870触发压缩：•将前14轮构建DAG•压缩冗余交互•生成摘要节点（token=150）16AI返回pandas版本280上下文总 LCM执行DAG构建与增量压缩压缩后的上下文仍支持/resume、/review等操作这意味着：高级控制命令+无损压缩=可信赖的长期智能体六、性能与兼容性项目说明支持模型所有OpenClaw支持的模型（
1.5K20编辑于 2026-03-27 - 来自专栏菩提树下的杨过
spring-ai 学习系列(8)-上下文记忆-多轮对话
\n\n不过，可能题目是在某种特定的上下文中，比如在数学问题中，或者可能题目本身存在一些陷阱。比如，有时候变量可能有不同的含义，或者在某些语言中，变量名可能与实际值不一致？ } 三、使用示例 @RequestMapping(value = "/conversation-stream", produces = "text/html;charset=utf-8" 当前新问题，扔到聊天上下文中 chatMemory.add(conversationId, new UserMessage(prompt)); // 2.
98210编辑于 2025-08-22 - 来自专栏smy
webpack的css压缩不兼容IOS8问题探索
webpack使用postcss的autoprefixer插件，并在压缩css时使用了cssnano，处理不当的情况下会导致压缩css后，部分兼容前缀（比如-webkit-）被删除的问题。 ，然后css-loader会使用cssnano进行压缩，而cssnano会使用到autoprefixer进行无关前缀的清理。 然而如果你不是使用的webpack1.x，通过排查发现，在css压缩插件未使用的时候，兼容前缀正常，一旦使用了OptimizeCssAssetsPlugin来压缩css就会丢失部分的webkit前缀。 默认不兼容ios8，会去掉部分webkit前缀，比如flex //所以这里选择关闭，使用postcss的autoprefixer功能 autoprefixer: false }, canPrint: true }) 再次编译发现压缩状态时也带有全部的兼容前缀，ios8的不兼容问题即也解决
1.6K40发布于 2018-06-14 《数字图像处理》第8章-图像压缩和水印
今天给大家带来《数字图像处理》第 8 章的全面解析 —— 图像压缩和水印。 计算压缩前数据量（8位/像素） original_size = flat_img.size * 8 # 比特 # 3. 8.4.1 自适应上下文相关概率估计 自适应算术编码会根据已编码的符号动态更新概率分布，无需预先统计符号概率，更适合实时数据压缩。 8.9 块变换编码 核心原理 块变换编码是有损压缩的核心，步骤： 将图像分为若干子块（如 8x8）； 对每个子块进行正交变换（如 DCT）； 对变换系数进行量化（去除小系数，有损核心）； 对量化后的系数编码 裁剪溢出） recon = np.clip(recon, 0, 255).astype(np.uint8) # 计算压缩比：原始8位/像素，残差量化后比特数=ceil(log2(量化等级数
18910编辑于 2026-01-21- 来自专栏ACM算法日常
DP专题8 | 骨牌摆放问题 POJ 2411（状态压缩DP）
先了解一下状态压缩算法。 ? 状态压缩通常是使用一个整数来表示一个集合，比如整数3，二进制表示为11，第一位状态为1，第二位状态为1，数字2的二进制表示为10，第一位的状态为1，第二位的状态为0，数字1的二进制表示为01，第一位为0 这就是说，状态可以保存在一个整数里面，对于状态压缩DP，其实也是用状态压缩后的整数表示一个维度，然后进行状态转移。 ? ? 状态压缩DP：采用状态压缩算法的DP问题，也就是用整数表示集合，然后将该整数作为DP的一个维度来进行DP状态转移。 ? 希望理解更深的童鞋能够踊跃发言指正~ ? 继续看题，其实这道题的解法并不简单，甚至于有些晦涩，光是理解状态压缩DP并不一定能够看懂源代码。
1.6K20发布于 2019-07-19 - 来自专栏活动
DeepSeek 量化压缩实战：INT8 精度保持方案详解
知识蒸馏：通过训练一个较小的学生模型来模仿大型教师模型的行为，实现模型压缩。（三）量化压缩技术的优势量化压缩是模型压缩的重要方法之一，通过降低模型参数的精度来实现压缩。 其中，INT8 量化将模型参数从 32 位浮点数（FP32）转换为 8 位整数（INT8），显著减少了模型的存储空间和计算量。 其优势包括：存储空间减少：INT8 参数占用的存储空间仅为 FP32 的 1/4。计算速度提升：整数运算通常比浮点运算更快，尤其是在硬件支持的情况下。 卷积层 2 32 64 3x3 1 1 ReLU 池化层 2 2x2 2 全连接层 1 64x8x8 # 量化压缩示例代码import tensorflow_model_optimization as tfmot# 应用 INT8 量化quantize_annotate = tfmot.quantization.keras.quantize_annotatequantize_scope
1.6K20编辑于 2025-03-27 - 来自专栏coding for love
JS入门难点解析8-作用域，作用域链，执行上下文，执行上下文栈等分析
变量对象：变量对象是与执行上下文相关的数据作用域，存储了在执行上下文中定义的变量和函数声明。全局上下文中的变量对象就是全局对象。 ，全局上下文被压入执行上下文栈。 ，f 函数执行上下文被压入执行上下文栈。 f 函数上下文从执行上下文栈中弹出。 checkScope 函数上下文从执行上下文栈中弹出。
91810发布于 2018-08-27 - 来自专栏媒矿工厂
AAAI 2022 | OctAttention：基于八叉树的大规模上下文点云压缩模型
该框架采用八叉树结构，通过收集点云中兄弟节点和祖先节点的信息以无损方式编码八叉树符号序列，从而实现点云的压缩。 引言 基于八叉树的压缩点云的模型对分辨率具有鲁棒性，并且它还利用比基于体素的模型更广泛的上下文。然而，先前基于八叉树的方法忽略了兄弟节点（即同一八叉树级别中的节点）的特征信息。 为此，作者提出了新的基于八叉树的点云压缩方法 OctAttention。作者将点云编码为八叉树，并将当前节点的祖先节点、兄弟节点以及兄弟节点的祖先的特征纳入上下文。 不同大小的上下文窗口 N 的性能和运行时间 如表2所示，通过将上下文窗口大小从 8 扩大到 1024，可以节省 14% 的比特率。编码时间随着上下文窗口的增加而减少。 图4. 它证实了注意力机制可以利用大规模上下文中兄弟节点的相似特征来预测占用率。 结论 作者提出了新的基于八叉树的压缩模型 OctAttention，通过利用大规模上下文来进行稀疏和密集点云几何压缩。
92510编辑于 2024-02-21 - 来自专栏贾志刚-OpenCV学堂
NNCF压缩与量化YOLOv8模型与OpenVINO部署测试
NNCF介绍 OpenVINO2023版本衍生出了一个新支持工具包NNCF(Neural Network Compression Framework – 神经网络压缩框架)，通过对OpenVINO IR 格式模型的压缩与量化更好的提升模型在OpenVINO框架上部署的推理性能。 github https://github.com/openvinotoolkit/nncf 安装NNCF pip install nncf NNCF关键特性 训练后压缩算法支持权重压缩与量化，训练时压缩算法支持感知量化 图示如下： YOLOv8量化压缩 基于NNCF实现YOLOv8预训练模型的训练后量化压缩（PTQ），实现INT8量化YOLOv8模型生成。 首先需要使用YOLOv8命令行工具导出OpenVINO格式模型，命令行如下： yolo export model=yolov8n.pt format=openvino 然后基于YOLOv8框架的函数构建一个
2.2K30编辑于 2023-11-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号