- 综合排序
- 最热优先
- 最新优先
- 来自专栏人工智能
什么是大语言模型的上下文窗口
支持32k上下文的GPT模型相比于那些支持更小上下文的模型，能够处理更加复杂和深入的对话或生成任务。以往的模型可能只能处理1,000或2,000个标记，而32k则代表着一种跨越式提升。 GPT模型的上下文窗口在自然语言处理任务中，语言模型有一个“上下文窗口”（contextwindow）的概念。上下文窗口是模型能够记住的输入范围，超出这个范围的内容，模型将无法直接关联。 而且，随着上下文窗口的扩大，模型能够生成更加连贯、符合逻辑的输出，避免了过去因为上下文丢失导致的错误。但是，也有一些挑战需要考虑。首先，随着上下文窗口的增加，模型的计算资源需求也显著上升。 此外，尽管上下文窗口增大了，但模型并不一定总能在非常长的文本中保持高效的记忆。 随着GPT模型和其他大语言模型的不断演进，支持更大上下文窗口的能力将继续扩展。
28810编辑于 2026-03-07 - 来自专栏用户3645619的专栏
（2）sparkstreaming滚动窗口和滑动窗口演示
import org.apache.spark.api.java.function.Function;import org.apache.spark.api.java.function.VoidFunction2; WaterSensor waterSensor = new WaterSensor(cols[0], Long.parseLong(cols[1]), Integer.parseInt(cols[2] mapDStream.foreachRDD(new VoidFunction2<JavaRDD<WaterSensor>, Time>() { @Override return waterSensor; } }).window(Durations.minutes(4), Durations.minutes(2) ); //滑动窗口:指定窗口大小 和 滑动频率 必须是批处理时间的整数倍 mapDStream.foreachRDD(new VoidFunction2<JavaRDD<WaterSensor
1.7K20编辑于 2022-09-05 LLM架构机制管窥：作为黑板的上下文窗口
本文是【LLM架构管窥 ◆ 系列小文】的第2篇。【LLM架构管窥 ◆ 系列小文】旨在快速盘点LLM架构特点、特别是局限性，为后续【基于SDD的AI编程最佳实践】提供必要的认知准备。 二、上下文窗口 as 黑板大型语言模型（LLM）在自然语言处理领域取得了巨大成功，其强大的文本生成、理解和推理能力令人瞩目。 将LLM的上下文与黑板架构模式相结合进行理解，有助于我们探索 LLM内部上下文管理 的改进方向。 三、上下文窗口黑板模式的优点3.1 问题求解的渐进性系统通过知识源不断地对黑板数据进行更新和完善，逐步逼近问题的解。LLM就是这种渐进式的求解方式。 2.
50340编辑于 2025-12-30- 来自专栏AgenticAI
Ollama 高阶配置，如何增加上下文窗口大小？
Ollama默认的上下文窗口只有2K，多张显卡可能资源分配不均等问题，计算速度不够快。 增加上下文窗口 假设你从Ollama上拉取了大模型，其默认的窗口大小只有2048。我们可以通过如下方法，提高上下文窗口。 LICENSE AGREEMENT Tongyi Qianwen Release Date: August 3, 2023 .... """ 然后在PARAMETER处增加如下配置，32768就是上下文窗口大小 注意增加上下文窗口可能增加显存的使用，谨慎增加。 它会相应的增加上下文，比如一个请求2048 Tokens。如果是4个并行，那么就会消耗4*2048的上下文窗口。
4.6K10编辑于 2025-03-18 - 来自专栏Initial programming
初识算法 · 滑动窗口(2)
暴力解法的时间复杂度是标准的O(N^2)，这道题也是可以通过的，具体编写呢就给同学们啦。 基本题目我们已经清楚了，现在我们就进行算法原理部分。 算法原理 我们这道题目使用的是滑动窗口，那么为什么使用滑动窗口呢？或者说为什么我们根据题目解析一看就知道要使用滑动窗口呢？ 因为该题目的基本要求是一个连续的数组，也就是需要一段连续的空间，所以我们基本上可以断定为使用滑动窗口。 好了，既然需要使用滑动窗口，我们的三部曲，进窗口，出窗口，更新结果。 进窗口肯定是需要right来进的，进的时候需要注意的肯定只有0了，所以我们需要一个zero计时器，如果进窗口的时候是0，那么countzero++，出窗口的前提就是判断，判断的条件自然是如果countzero 时间复杂度也是标准的O(N^2)，优化就和之前一摸一样了，优化之后就是滑动窗口了。
25710编辑于 2024-10-16 百万 Token 上下文窗口的工程实现与实际瓶颈
本文将探讨如何在工程上实现百万Token的上下文窗口，并分析其中的实际瓶颈。 对于百万Token的上下文窗口，我们需要考虑如何高效地存储和访问这些数据。常见的数据结构如列表、字典等在处理大规模数据时可能会遇到性能瓶颈。 稀疏注意力机制原理传统Transformer模型的自注意力机制的时间复杂度为O(n^2)，这在处理百万Token时是不可接受的。 总结实现百万Token上下文窗口的工程挑战主要集中在高效的数据结构和算法、稀疏注意力机制、分块处理和并行计算以及内存优化和显存管理等方面。 总结本文深入探讨了百万 Token 上下文窗口的工程实现与实际瓶颈的相关技术，从原理到实践，从基础到进阶，希望能够帮助读者全面掌握这一技术。
19410编辑于 2025-12-24LLM架构瓶颈管窥：Transformer架构的上下文窗口瓶颈
尽管技术发展使得上下文长度从数K扩展到数百万token，但根本性瓶颈并未消失。一、 上下文窗口：不是容器，是“循环缓冲区”内容方面：上下文窗口不是一个只装“用户提问”的静态容器，而是一个循环缓冲区。 维度瓶颈一句话解释物理层KV Cache / 显存上下文越长，显存爆炸，推理越慢。算法层注意力机制 O(N2)O(N^2)O(N2)计算量随长度呈平方级增长，是速度瓶颈。 算法瓶颈：注意力机制的 O(N2)O(N^2)O(N2) 计算复杂度问题：Transformer 的核心是“自注意力机制”，即每个字都要和窗口内所有其他字计算一遍相关性。 如果上下文长度从 NNN 变成 2N2N2N，计算量不是翻倍，而是变成 4倍。后果：长文本的推理延迟（Latency）极高，导致用户等待时间急剧增加，实时交互变得困难。 3. 2、 AI编程领域，SDD（规范驱动开发）也是为了避免 上下文窗口瓶颈SDD方法的如下手段，的确是回避LLM上下文瓶颈“大坑”的有效举措，解决LLM幻觉与瞎猜，提高代码生成的可预测性：提供具体化的requirement
56340编辑于 2026-01-01- 来自专栏用户3645619的专栏
（2）FlinkSQL滚动窗口demo演示
滚动窗口（Tumbling Windows） 滚动窗口有固定的大小，是一种对数据进行均匀切片的划分方式。窗口之间没有重叠，也不会有间隔，是“首尾相接”的状态。 滚动窗口可以基于时间定义，也可以基于数据个数定义；需要的参数只有一个，就是窗口的大小（window size）。 public long getTs() { return ts; } public void setTs(long ts) { this.ts = ts; }}（2） ; //每 2s 发送一次消息 int i = 0; Random r=new Random(); String 窗口之间没有重叠，也不会有间隔， * 是“首尾相接”的状态。滚动窗口可以基于时间定义，也可以基于数据个数定义；需要的参数只有一个， * 就是窗口的大小（window size）。
61520编辑于 2022-08-08 - 来自专栏AI那点小事
CCF考试——201403-2 窗口
概要 问题描述 在某图形操作系统中,有 N 个窗口,每个窗口都是一个两边与坐标轴分别平行的矩形区域。窗口的边界上的点也属于该窗口。 窗口之间有层次的区别,在多于一个窗口重叠的区域里,只会显示位于顶层的窗口里的内容。 当你点击屏幕上一个点的时候,你就选择了处于被点击位置的最顶层窗口,并且这个窗口就会被移到所有窗口的最顶层,而剩余的窗口的层次顺序不变。 每行包含四个非负整数 x1, y1, x2, y2,表示该窗口的一对顶点坐标分别为 (x1, y1) 和 (x2, y2)。保证 x1 < x2,y1 2。 第一次点击的位置同时属于第 1 和第 2 个窗口,但是由于第 2 个窗口在上面,它被选择并且被置于顶层。
53460发布于 2020-04-18 - 来自专栏Android源码框架分析
Android窗口管理分析（2）：WindowManagerService窗口管理之Window添加流程
PopupWindow、Dialog、Activity、Toast等都有窗口的概念，但又各有不同，Android将窗口大致分为三类：应用窗口、子窗口、系统窗口。 --关键点2--> try { root.setView(view, wparams, panelParentView); } ... 接着看做关键点2，这里才是真正添加窗口的地方，虽然关键点1执行在前，但是用的是Handler发消息的方式来处理，其Runable一定是在关键点2之后执行，接着看关键点2，这里有个比较重要的对象mWindowSession --关键点2 对于子窗口类型的处理 1、必须有父窗口 2，父窗口不能是子窗口类型--> if (type >= FIRST_SUB_WINDOW && type <= LAST_SUB_WINDOW 关键点2，如果是子窗口的话，父窗口必须已被添加，由于我们分析的是系统Toast窗口，可以先不用关心；关键点3，WindowManager.LayoutParams中有一个token字段，该字段标志着窗口的分组属性
3.4K50发布于 2018-06-29 - 来自专栏深度学习与python
争夺“世界上最长的上下文窗口”背后：长上下文是否意味着 RAG 的终结？
这本质是一个输入输出窗口的问题，在具备捕捉信息和上下文能力的基础上，大文本输入的信息越多，输出也会越好。另一方面，我个人认为长文本只是大模型能力的其中之一，我是非常反对文本越长越智能的观点。 InfoQ：我们是不是必须要 200 万甚至无限长的上下文？ 张颖峰：长上下文很有意义，但无限长的上下文则是更偏向于是营销的宣传策略。上下文长度到达一定程度后，丢失的信息也会更多。 为了达到更好的长窗口无损压缩的性能，我们团队从模型的预训练到对齐再到推理环节，均进行了重新的设计和开发，并且没有走滑动窗口、降采样等常规技术捷径，而是攻克了很多底层的技术难点。 InfoQ：增加上下文窗口大小且不影响模型性能，会存在哪些挑战以及有什么应对方法？ 栾小凡：飞虎老师提到的 Transformer O(n^2) 的问题，我比较期待的是最近 LSTM 的卷土重来。我认为是需要对模型架构进行调整，才可能到达下一个阶段的。
93610编辑于 2024-07-24 - 来自专栏AI分享
动态NTK与Azure推理优化：低成本扩展LLM上下文窗口
在自然语言处理领域的广泛应用，其上下文窗口（Context Window）的限制逐渐成为制约模型性能的关键因素。 传统LLM的上下文窗口通常在2k至32k tokens之间，难以满足长文本生成、复杂推理和知识整合等场景需求。 与此同时，云平台如通过硬件优化和算法协同设计，进一步降低了扩展上下文窗口的计算开销。本文将从技术原理、实现路径及工程实践角度，探讨动态NTK与推理优化的协同效应。 这种设计虽然保证了相对位置的显式建模能力，但其隐含的周期性频谱特性（基频f=1/b^{2/d}）导致两大核心缺陷：频谱塌缩现象：当推理长度l'超过预训练窗口L时，高频分量因周期性重复出现混叠效应，导致相邻位置区分度急剧下降 动态NTK通过动态调整位置编码频率，以低成本实现了LLM上下文窗口的高效扩展，而硬件优化与资源管理技术进一步放大了其工程价值。
4.4K11编辑于 2025-04-15 - 来自专栏AI大模型应用开发炼丹房
智能体上下文窗口告急！8种策略破解AI记忆困局
引言：为什么记忆管理是AI系统的生死线当前大模型应用的致命瓶颈在于上下文窗口限制。 当对话轮数超过GPT-4 Turbo的128K上限，或本地部署模型仅支持4K上下文时，系统面临两难抉择：遗忘早期关键信息导致逻辑断层（如用户说“按上次方案处理”）突破长度限制带来的指数级计算成本增长本文将深入解析 滑动窗口（Sliding Window）from collections import deque window = deque(maxlen=5) # 保留最近5轮对话✅ 优势：固定上下文长度 工程技巧：动态调整窗口大小（根据对话复杂度在3-10轮间浮动）二、进阶策略：平衡记忆与性能3. 提示） return tfidf_score(text) + 10 if "重要" in text else 0✅ 突破点：避免重要信息被滑动窗口误删 行业方案：混合规则引擎+
1.7K52编辑于 2025-07-31 - 来自专栏量子位
百万token上下文窗口也杀不死向量数据库？CPU笑了
随着新晋大语言模型们的上下文窗口（Context Window）变得越发得长，业界人士针对“RAG终将消亡”观点的讨论也是愈演愈烈。 有网友便列举了长上下文窗口的四大通病（四个V）： Velocity（速度）：基于Transformer的大型模型，在检索长上下文时要想达到亚秒级的速度响应仍然具有挑战性。 Value（价值）：长上下文窗口毕竟属于大力出奇迹，但它高支出的特点对于日常应用来说，在成本上是不切实际的。 Volume（体量）：即使上下文窗口越发得长，但和全网庞大的非结构化数据相比就是小巫见大巫；尤其是企业级动辄GB、TB这种体量，还涉及众多私有数据的情形。 从这些特性不难看出，它恰好补齐了我们刚才提到的上下文窗口方式的一些短板。
44610编辑于 2024-03-20 - 来自专栏啥都有的专栏
rpc系列2-提供上下文RpcContext
实现要求：提供RPC上下文，客户端可以透传数据给服务端。 实现如下： /** * rpc上下文 * * @author wqx * */ public class RpcContext { private static ThreadLocal private Object[] args; //参数 private Map<String,Object> context; RpcBuilder中在发送请求前，需要从当前上下文中获取数据 RpcRequest rpcRequest = (RpcRequest)req; //关联客户端传来的上下文数据 } 测试： 业务接口增加测试方法： public interface UserService { /** * 上下文测试，透明传输数据 */ public
96720编辑于 2022-05-12 - 来自专栏Spark学习技巧
2，StructuredStreaming的事件时间和窗口操作
推荐阅读：1，StructuredStreaming简介 使用Structured Streaming基于事件时间的滑动窗口的聚合操作是很简单的，很像分组聚合。 在基于窗口的聚合的情况下，对于行的事件时间的每个窗口，维护聚合值。 如前面的例子，我们运行wordcount操作，希望以10min窗口计算，每五分钟滑动一次窗口。 也即，12:00 - 12:10, 12:05 - 12:15, 12:10 - 12:20 这些十分钟窗口中进行单词统计。 这个单词会影响12:00 - 12:10, 12:05 - 12:15两个窗口。 结果表将如下所示。 ? ._2))).toDF("word", "timestamp") val windowedCounts = words.withWatermark("timestamp", "30 seconds").
1.3K40发布于 2018-06-22 - 来自专栏小鑫同学编程历险记
客户端开发（Electron）认识窗口2
如何创建一个非矩形的窗口： 调整主进程代码 调整窗口的宽高尺寸一致，是窗口变为正方形； 调整窗口为透明，效果如下图显示； 保持frame属性为false，依然由我们自己来定义边框和标题栏； 通常这样的窗口不需要支持窗口大小的调整，我们将属性resizable设置为false； 接着我们将窗口最大化的属性也禁用一下。 ) } else { win.setIgnoreMouseEvents(false) } }) win.setIgnoreMouseEvents(true, { forward: true }) 窗口的其他控制 then((res) => { if (res.response === 0) { win.destroy() } }) return false } 开启一个模态窗口 ，我们只有在关闭新打开的模块窗口后才能在原窗口继续操作，和模态Dialog一样； this.win = new remote.BrowserWindow({ parent: remote.getCurrentWindow
1.3K20编辑于 2022-12-26 - 来自专栏机器之心
上下文窗口1.6万token、30亿参数，Stability Al代码大模型来了
官博地址：https://stability.ai/blog/stablecode-llm-generative-ai-coding 对于 StableCode，网友的期许很高，表示真的需要将整个代码库作为上下文的代码大模型 三大版本：基础、指令、长上下文窗口模型 StableCode 通过三个不同版本的模型来帮助开发者变得更加高效。 长上下文窗口模型「StableCode-Completion-Alpha-3B」可称得上完美的助手，确保用户使用单行和多行自动代码补全建议。 与以往发布的开源模型相比，该模型的上下文窗口达到了 16000 token（比任何其他模型都大），一次性可以处理的代码更多，是以往的 2-4 倍。
34830编辑于 2023-09-08 - 来自专栏自然语言处理
为什么大上下文窗口还不够（至少目前如此）
OpenAI 最近发布的 GPT-4.1 震动了 AI 社区：惊人的 100 万 token 上下文窗口、精准度大幅提升，而 Gemini 2.5 在研究模式下甚至宣称支持高达 1000 万 token 长上下文理解是法律、编程、客户支持以及许多其他领域应用的关键能力。 大上下文模型看起来像是灵丹妙药。 将此扩展到完整的 100 万 token 上下文会使成本增加 1000 倍，达到每次查询约 2 美元。不仅仅是成本，速度也会受到严重影响。 突然间，那个每次查询 2 美元的场景膨胀成了在财务和运营上对严肃应用来说不可行的方案。 引用：信任很重要 目前的大上下文模型无法有效处理引用。 结论 虽然未来可能会带来支持仅使用上下文窗口模型的突破，但现在需要实用的解决方案。目前，RAG 仍然是有意义、可扩展的 AI 应用的唯一可行选择。RAG 不仅没有消亡 —— 它正在茁壮成长。
37510编辑于 2025-04-17 - 来自专栏DeepHub IMBA
更大的上下文窗口为什么让RAG变得更重要而非更多余
在不少实际系统中，更大的上下文窗口反而拖累了模型表现。 模型需要在数学意义上判定哪些内容重要：上下文规模一大，信噪比就塌了。 用一个小上下文的场景做对照：5K token 的窗口，200 token 的相关信息，信号占比 4%，模型可以轻松锁定事实。 等语言模型介入时，它面对的只有相关性最高、密度最集中的内容：不再是 200K token 的杂乱数据，而是 1K 到 2K token 的高信号事实。 RAG + 大上下文 解决方案不在二选一。现代 AI 系统把精确检索和大上下文窗口结合在一起，用前者保证信号质量，用后者容纳旧模型放不下的多文档推理。 标准的生产管道是这样的： 接收用户查询。 筛选上下文窗口 best_chunks = reranked_results[:7] # 4.
7610编辑于 2026-03-31
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号