- 综合排序
- 最热优先
- 最新优先
- 来自专栏人工智能
什么是大语言模型的上下文窗口
GPT模型的上下文窗口在自然语言处理任务中，语言模型有一个“上下文窗口”（contextwindow）的概念。上下文窗口是模型能够记住的输入范围，超出这个范围的内容，模型将无法直接关联。 传统的模型在处理这些代码时，往往因为上下文窗口的限制，难以理解代码之间的依赖关系。 而且，随着上下文窗口的扩大，模型能够生成更加连贯、符合逻辑的输出，避免了过去因为上下文丢失导致的错误。但是，也有一些挑战需要考虑。首先，随着上下文窗口的增加，模型的计算资源需求也显著上升。 此外，尽管上下文窗口增大了，但模型并不一定总能在非常长的文本中保持高效的记忆。 随着GPT模型和其他大语言模型的不断演进，支持更大上下文窗口的能力将继续扩展。
28810编辑于 2026-03-07 LLM架构机制管窥：作为黑板的上下文窗口
二、上下文窗口 as 黑板大型语言模型（LLM）在自然语言处理领域取得了巨大成功，其强大的文本生成、理解和推理能力令人瞩目。 将LLM的上下文与黑板架构模式相结合进行理解，有助于我们探索 LLM内部上下文管理 的改进方向。 它们在处理上下文信息时，具有各自的特定功能和运算规则。LLM的上下文是一组动态变化的数据，它贯穿于模型处理输入数据的整个过程。 三、上下文窗口黑板模式的优点3.1 问题求解的渐进性系统通过知识源不断地对黑板数据进行更新和完善，逐步逼近问题的解。LLM就是这种渐进式的求解方式。 四、“上下文”在LLM各层眼中的样子（逻辑含义）高层（深层FFN附近）：上下文 = 语义逻辑与意图。Token已经高度抽象化，不再是具体的词，而是“概念”。
50340编辑于 2025-12-30- 来自专栏AgenticAI
Ollama 高阶配置，如何增加上下文窗口大小？
Ollama默认的上下文窗口只有2K，多张显卡可能资源分配不均等问题，计算速度不够快。 增加上下文窗口 假设你从Ollama上拉取了大模型，其默认的窗口大小只有2048。我们可以通过如下方法，提高上下文窗口。 LICENSE AGREEMENT Tongyi Qianwen Release Date: August 3, 2023 .... """ 然后在PARAMETER处增加如下配置，32768就是上下文窗口大小 注意增加上下文窗口可能增加显存的使用，谨慎增加。 它会相应的增加上下文，比如一个请求2048 Tokens。如果是4个并行，那么就会消耗4*2048的上下文窗口。
4.6K10编辑于 2025-03-18 - 来自专栏CSDN搜“看，未来”
【C++】算法集锦（7）滑动窗口
示例: 输入: s = 7, nums = [2,3,1,2,4,3] 输出: 2 解释: 子数组 [4,3] 是该条件下的长度最小的连续子数组。 ---- 这是暴力解法吧，不知道为什么他们要叫这种解法为滑动窗口，还给出了不低的难度系数。。 如果看不懂我上面的表述，可以看图：（一图胜千言） ---- 通过归纳，我们可以勾勒出滑动窗口法的大体框架（只是基本框架，根据不同的问题应适当变动，重在把握精神） 初始化窗口端点L，R，一般L为0，R为 思路： 这道题主要用到思路是：滑动窗口 什么是滑动窗口？ 其实就是一个队列,比如例题中的 abcabcbb，进入这个队列（窗口）为 abc 满足题目要求，当再进入 a，队列变成了 abca，这时候不满足要求。所以，我们要移动这个队列！ 如何移动？
1.1K10发布于 2021-09-18 百万 Token 上下文窗口的工程实现与实际瓶颈
本文将探讨如何在工程上实现百万Token的上下文窗口，并分析其中的实际瓶颈。 对于百万Token的上下文窗口，我们需要考虑如何高效地存储和访问这些数据。常见的数据结构如列表、字典等在处理大规模数据时可能会遇到性能瓶颈。 内存优化和显存管理原理处理百万Token的上下文窗口时，内存和显存的管理非常重要。可以通过以下几种方式来优化内存和显存的使用：梯度累积：在训练过程中，通过累积多个批次的梯度来减少显存使用。 总结实现百万Token上下文窗口的工程挑战主要集中在高效的数据结构和算法、稀疏注意力机制、分块处理和并行计算以及内存优化和显存管理等方面。 总结本文深入探讨了百万 Token 上下文窗口的工程实现与实际瓶颈的相关技术，从原理到实践，从基础到进阶，希望能够帮助读者全面掌握这一技术。
19410编辑于 2025-12-24LLM架构瓶颈管窥：Transformer架构的上下文窗口瓶颈
尽管技术发展使得上下文长度从数K扩展到数百万token，但根本性瓶颈并未消失。一、 上下文窗口：不是容器，是“循环缓冲区”内容方面：上下文窗口不是一个只装“用户提问”的静态容器，而是一个循环缓冲区。 二、 上下文窗口的五重瓶颈标称窗口 ≠ 有效上下文 (Effective Context)我们看到的参数，不代表模型真正的能力厂商宣传的“128k 窗口”是理论最大值（Theoretical Max）， 应用层有限增强窗口有限，通常只把RAG (检索增强)的部分片段塞进上下文。 1. 硬件瓶颈：KV Cache 与显存爆炸显存占用随上下文长度线性增长。 长上下文窗口的瓶颈突破并非单一技术维度所能解决，而是需要架构创新、训练策略、硬件优化和工程实现的协同演进。 有人认为，真正的目标并非“无限长上下文”，而是实现“按需适配的高效长上下文能力”，在扩展窗口的同时保障性能稳定与成本可控。
56340编辑于 2026-01-01- 来自专栏圣杰的专栏
.NET+AI | MEAI | 上下文压缩（7）
Chat Reducer：让 AI 对话突破上下文限制 一句话简介 Microsoft.Extensions.AI 的 Chat Reducer 通过智能压缩策略,在保持对话质量的前提下,有效控制上下文长度 核心价值 ✅ 突破限制:解决 LLM 上下文窗口限制(如 GPT-4 的 8K/32K tokens) ✅ 成本优化:减少输入 token,显著降低 API 调用成本 ✅ 性能提升:缩短上下文长度,加快模型推理速度 在多轮对话场景中,我们面临三大挑战: 挑战 问题 Chat Reducer 方案 上下文限制 超出模型限制导致请求失败 智能压缩到安全范围 成本失控 输入 token 越多费用越高 过滤冗余,只保留必要信息 性能下降 过长上下文增加推理时间 减少处理负担,提升响应速度 典型场景: 长时间客服对话(用户反复咨询) 医疗咨询(需要完整病史) ⚖️ 法律咨询(案情细节不能丢失) 教育辅导(需要追踪学习进度 baseChatClient.AsBuilder() .UseChatReducer(reducer: summarizingReducer) .Build(); 工作原理: 原始消息(7条
22210编辑于 2025-12-28 - 来自专栏深度学习与python
争夺“世界上最长的上下文窗口”背后：长上下文是否意味着 RAG 的终结？
这本质是一个输入输出窗口的问题，在具备捕捉信息和上下文能力的基础上，大文本输入的信息越多，输出也会越好。另一方面，我个人认为长文本只是大模型能力的其中之一，我是非常反对文本越长越智能的观点。 InfoQ：我们是不是必须要 200 万甚至无限长的上下文？ 张颖峰：长上下文很有意义，但无限长的上下文则是更偏向于是营销的宣传策略。上下文长度到达一定程度后，丢失的信息也会更多。 为了达到更好的长窗口无损压缩的性能，我们团队从模型的预训练到对齐再到推理环节，均进行了重新的设计和开发，并且没有走滑动窗口、降采样等常规技术捷径，而是攻克了很多底层的技术难点。 InfoQ：增加上下文窗口大小且不影响模型性能，会存在哪些挑战以及有什么应对方法？ 然后预填充的延迟会随着你上下文长度的增长而平方级别的增长，然后解码延迟和上下文切换的开销也会随着你上下文长度的增加而线性的增加啊。
93610编辑于 2024-07-24 - 来自专栏AI分享
动态NTK与Azure推理优化：低成本扩展LLM上下文窗口
在自然语言处理领域的广泛应用，其上下文窗口（Context Window）的限制逐渐成为制约模型性能的关键因素。 传统LLM的上下文窗口通常在2k至32k tokens之间，难以满足长文本生成、复杂推理和知识整合等场景需求。 与此同时，云平台如通过硬件优化和算法协同设计，进一步降低了扩展上下文窗口的计算开销。本文将从技术原理、实现路径及工程实践角度，探讨动态NTK与推理优化的协同效应。 ONNX Runtime推理引擎，利用 AI芯片组的NPU进行算子融合部署分级缓存系统，对高频查询模式的positional encoding进行预计算缓存3.2 全生命周期成本效益模型针对LLaMA-7B 动态NTK通过动态调整位置编码频率，以低成本实现了LLM上下文窗口的高效扩展，而硬件优化与资源管理技术进一步放大了其工程价值。
4.4K11编辑于 2025-04-15 - 来自专栏AI大模型应用开发炼丹房
智能体上下文窗口告急！8种策略破解AI记忆困局
引言：为什么记忆管理是AI系统的生死线当前大模型应用的致命瓶颈在于上下文窗口限制。 当对话轮数超过GPT-4 Turbo的128K上限，或本地部署模型仅支持4K上下文时，系统面临两难抉择：遗忘早期关键信息导致逻辑断层（如用户说“按上次方案处理”）突破长度限制带来的指数级计算成本增长本文将深入解析 滑动窗口（Sliding Window）from collections import deque window = deque(maxlen=5) # 保留最近5轮对话✅ 优势：固定上下文长度 工程技巧：动态调整窗口大小（根据对话复杂度在3-10轮间浮动）二、进阶策略：平衡记忆与性能3. CREATE (u:User)-[:HAS_PREFERENCE]->(p:Preference {name:'咖啡'})") 创新应用：医疗助手通过图谱关联症状-药品禁忌四、前沿混合架构7.
1.7K52编辑于 2025-07-31 - 来自专栏量子位
百万token上下文窗口也杀不死向量数据库？CPU笑了
随着新晋大语言模型们的上下文窗口（Context Window）变得越发得长，业界人士针对“RAG终将消亡”观点的讨论也是愈演愈烈。 有网友便列举了长上下文窗口的四大通病（四个V）： Velocity（速度）：基于Transformer的大型模型，在检索长上下文时要想达到亚秒级的速度响应仍然具有挑战性。 Value（价值）：长上下文窗口毕竟属于大力出奇迹，但它高支出的特点对于日常应用来说，在成本上是不切实际的。 Volume（体量）：即使上下文窗口越发得长，但和全网庞大的非结构化数据相比就是小巫见大巫；尤其是企业级动辄GB、TB这种体量，还涉及众多私有数据的情形。 从这些特性不难看出，它恰好补齐了我们刚才提到的上下文窗口方式的一些短板。
44610编辑于 2024-03-20 - 来自专栏golang算法架构leetcode技术php
golang刷leetcode 滑动窗口（7）最小覆盖子串
给定一个字符串 S 和一个字符串 T，请在 S 中找出包含 T 所有字母的最小子串。
46430编辑于 2022-08-02 - 来自专栏机器之心
上下文窗口1.6万token、30亿参数，Stability Al代码大模型来了
官博地址：https://stability.ai/blog/stablecode-llm-generative-ai-coding 对于 StableCode，网友的期许很高，表示真的需要将整个代码库作为上下文的代码大模型 三大版本：基础、指令、长上下文窗口模型 StableCode 通过三个不同版本的模型来帮助开发者变得更加高效。 长上下文窗口模型「StableCode-Completion-Alpha-3B」可称得上完美的助手，确保用户使用单行和多行自动代码补全建议。 与以往发布的开源模型相比，该模型的上下文窗口达到了 16000 token（比任何其他模型都大），一次性可以处理的代码更多，是以往的 2-4 倍。
34830编辑于 2023-09-08 - 来自专栏自然语言处理
为什么大上下文窗口还不够（至少目前如此）
OpenAI 最近发布的 GPT-4.1 震动了 AI 社区：惊人的 100 万 token 上下文窗口、精准度大幅提升，而 Gemini 2.5 在研究模式下甚至宣称支持高达 1000 万 token GPT-4.1 能够可靠地处理 100 万 token 上下文长度的信息，并在注意相关文本和忽略长短上下文干扰项方面比 GPT-4o 更加可靠。 长上下文理解是法律、编程、客户支持以及许多其他领域应用的关键能力。 大上下文模型看起来像是灵丹妙药。 引用：信任很重要 目前的大上下文模型无法有效处理引用。与 RAG 能够轻松引用源文本块不同，大上下文方法失去了关键的透明度。 结论 虽然未来可能会带来支持仅使用上下文窗口模型的突破，但现在需要实用的解决方案。目前，RAG 仍然是有意义、可扩展的 AI 应用的唯一可行选择。RAG 不仅没有消亡 —— 它正在茁壮成长。
37510编辑于 2025-04-17 - 来自专栏DeepHub IMBA
更大的上下文窗口为什么让RAG变得更重要而非更多余
在不少实际系统中，更大的上下文窗口反而拖累了模型表现。 模型需要在数学意义上判定哪些内容重要：上下文规模一大，信噪比就塌了。 用一个小上下文的场景做对照：5K token 的窗口，200 token 的相关信息，信号占比 4%，模型可以轻松锁定事实。 RAG + 大上下文 解决方案不在二选一。现代 AI 系统把精确检索和大上下文窗口结合在一起，用前者保证信号质量，用后者容纳旧模型放不下的多文档推理。 标准的生产管道是这样的： 接收用户查询。 按新的相关性分数筛出最优的 5 到 7 个片段。 将筛选后的上下文发送给 LLM。 Python 实现如下： # 1. 筛选上下文窗口 best_chunks = reranked_results[:7] # 4.
7610编辑于 2026-03-31 - 来自专栏新智元
刚刚，百川智能Baichuan2-192K发布，上下文窗口全球最长！一次读完《三体》，拿下7个SOTA
今天，百川智能正式发布全球上下文窗口长度最长的大模型——Baichuan2-192K。 与以往不同的是，此次模型的上下文窗口长度高达192K，相当于约35万个汉字。 10项权威评测，拿下7个SOTA LongEval是由加州大学伯克利分校联合其他高校发布的针对长窗口模型评测的榜单，主要衡量模型对长窗口内容的记忆和理解能力。 其中，有7项取得了SOTA，性能显著超过其他长窗口模型。 在文本生成质量方面，困惑度是一个非常重要的标准。 通过AI产业界和学术界对上下文窗口的多方面研究，足见其对于LLM的重要性。 而这一次，国内的大模型迎来了最长上下文窗口的历史高光时刻。 成立于2023年4月的百川智能，用了仅仅6个月的时间，便接连发布了Baichuan-7B/13B，Baichuan2-7B/13B四款开源可免费商用大模型，以及Baichuan-53B、Baichuan2
1.6K40编辑于 2023-11-02 - 来自专栏DeepHub IMBA
超越上下文窗口：CodeAct与RLM，两种代码驱动的LLM扩展方案
我们先看看上下文窗口里到底装了些什么。 Claude的内存结构拆解 拿 Claude 举例，它的上下文窗口大致是这么分配的：系统提示词占 1.4%系统工具（包括 MCP 工具）占 8.3%，Agent 上下文（技能、工具描述、对话历史）吃掉约 一个缓解思路是 Ralph Wiggum Loop，可以更合理地利用上下文窗口。 不同上下文长度下的性能表现 RLM 的核心主张是能把推理能力扩展到标准 LLM 固定上下文窗口之外。实验数据很支持这个论断。 Image from [7] OpenAI 当前最强模型的上下文窗口是 400,000 Token，我实验用的 GPT-4.1-mini 是 1,047,576 Token。
18610编辑于 2026-02-27 - 来自专栏新智元
LLM上下文窗口突破200万！无需架构变化+复杂微调，轻松扩展8倍
个微调步骤即可，同时还能保持原始短上下文窗口的性能。 值得注意的是，YaRN 在 PG19 上的表现不如 PI 和 NTK，因为其达不到非微调 LLM 的目标上下文窗口长度。 例如，在 8k 上下文大小的情况下，YaRN 的困惑度在 7k 后达到峰值。 因此使用搜索到的RoPE对LLaMA2-7B的64k上下文窗口大小进行了微调。 实验结果 研究人员将LongRoPE应用于LLaMA2-7B和Mistral-7B模型上，并从三个方面对其性能进行了评估： 1. 长文档中扩展上下文 LLM 的困惑度； 2. 从结果中可以看出，LongRoPE成功地将LLaMA2-7B和Mistral-7B的上下文窗口扩展到2048k，同时还在8k-128k的较短长度内实现了与基线相当或更好的困惑度。
61810编辑于 2024-05-06 - 来自专栏黄腾霄的博客
2019-7-16-为什么MessageBox会跑到窗口下面
我们在一个窗口调用MessageBox.Show方法会在，该窗口制造出一个模态的消息框。但是有小伙伴最近问我他发现这个消息框经常会到窗口下面显示。 然后我们在主窗口显示后立刻点击其他程序窗口 public MainWindow() { InitializeComponent(); 这个其实是跟点击其他程序窗口这一操作有关。其实你只要启动时点击其他窗口的手速够快，也能出现。 我们看看MessageBox的源码。 而我们通过只要在程序执行到这里之前点击其他程序窗口，就会出现上述问题 ? 94%A8c-%E6%89%BE%E5%88%B0%E7%89%A9%E7%90%86%E7%BD%91%E5%8D%A1%E7%9A%84Mac%E5%9C%B0%E5%9D%80.html ，以避免陈旧错误知识的误导
73840发布于 2020-06-10 - 来自专栏linux百科小宇宙
Ubuntu 16.04虚拟机调整窗口大小自适应Windows 7
Windows 7上Ubuntu 16.04虚拟机安装成功后，默认的虚拟机窗口比较小，需要适当调整，才能把虚拟机的屏幕放大， 适合使用，以下介绍调整方法。
2.7K20发布于 2021-06-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号