- 综合排序
- 最热优先
- 最新优先
- 来自专栏人工智能
什么是大语言模型的上下文窗口
GPT模型的上下文窗口在自然语言处理任务中，语言模型有一个“上下文窗口”（contextwindow）的概念。上下文窗口是模型能够记住的输入范围，超出这个范围的内容，模型将无法直接关联。 传统的模型在处理这些代码时，往往因为上下文窗口的限制，难以理解代码之间的依赖关系。 而且，随着上下文窗口的扩大，模型能够生成更加连贯、符合逻辑的输出，避免了过去因为上下文丢失导致的错误。但是，也有一些挑战需要考虑。首先，随着上下文窗口的增加，模型的计算资源需求也显著上升。 此外，尽管上下文窗口增大了，但模型并不一定总能在非常长的文本中保持高效的记忆。 随着GPT模型和其他大语言模型的不断演进，支持更大上下文窗口的能力将继续扩展。
28810编辑于 2026-03-07 LLM架构机制管窥：作为黑板的上下文窗口
二、上下文窗口 as 黑板大型语言模型（LLM）在自然语言处理领域取得了巨大成功，其强大的文本生成、理解和推理能力令人瞩目。 将LLM的上下文与黑板架构模式相结合进行理解，有助于我们探索 LLM内部上下文管理 的改进方向。 它们在处理上下文信息时，具有各自的特定功能和运算规则。LLM的上下文是一组动态变化的数据，它贯穿于模型处理输入数据的整个过程。 三、上下文窗口黑板模式的优点3.1 问题求解的渐进性系统通过知识源不断地对黑板数据进行更新和完善，逐步逼近问题的解。LLM就是这种渐进式的求解方式。 四、“上下文”在LLM各层眼中的样子（逻辑含义）高层（深层FFN附近）：上下文 = 语义逻辑与意图。Token已经高度抽象化，不再是具体的词，而是“概念”。
50340编辑于 2025-12-30- 来自专栏AgenticAI
Ollama 高阶配置，如何增加上下文窗口大小？
Ollama默认的上下文窗口只有2K，多张显卡可能资源分配不均等问题，计算速度不够快。 增加上下文窗口 假设你从Ollama上拉取了大模型，其默认的窗口大小只有2048。我们可以通过如下方法，提高上下文窗口。 this, replace FROM with: # FROM qwen2:72b FROM C:\Users\Administrator\.ollama\models\blobs\sha256-f6ac28d6f58ae1522734d1df834e6166e0813bb1919e86aafb4c0551eb4ce2bb 注意增加上下文窗口可能增加显存的使用，谨慎增加。 它会相应的增加上下文，比如一个请求2048 Tokens。如果是4个并行，那么就会消耗4*2048的上下文窗口。
4.6K10编辑于 2025-03-18 - 来自专栏编码视界
PySide6 GUI 编程（5）：模态窗口与非模态窗口
模态窗口与非模态窗口 from PySide6.QtWidgets import QApplication, QDialog, QMainWindow app = QApplication([]) # 创建一个主窗口实例 main_window = QMainWindow() main_window.setWindowTitle('主窗口') dialog = QDialog(main_window ) # 设置父窗口为main_window dialog.setWindowTitle('PySide6 原生模态窗口') # 在 MacOS 上，模态窗口并不会阻止用户与其他窗口交互，只会阻止与父窗口的交互 # dialog.setModal(True) # 显式设置其为模态窗口 main_window.show() # 以非模态运行 dialog.exec() # 以模态运行 app.exec()
1.2K75编辑于 2024-05-21 百万 Token 上下文窗口的工程实现与实际瓶颈
本文将探讨如何在工程上实现百万Token的上下文窗口，并分析其中的实际瓶颈。 对于百万Token的上下文窗口，我们需要考虑如何高效地存储和访问这些数据。常见的数据结构如列表、字典等在处理大规模数据时可能会遇到性能瓶颈。 内存优化和显存管理原理处理百万Token的上下文窗口时，内存和显存的管理非常重要。可以通过以下几种方式来优化内存和显存的使用：梯度累积：在训练过程中，通过累积多个批次的梯度来减少显存使用。 总结实现百万Token上下文窗口的工程挑战主要集中在高效的数据结构和算法、稀疏注意力机制、分块处理和并行计算以及内存优化和显存管理等方面。 总结本文深入探讨了百万 Token 上下文窗口的工程实现与实际瓶颈的相关技术，从原理到实践，从基础到进阶，希望能够帮助读者全面掌握这一技术。
19410编辑于 2025-12-24LLM架构瓶颈管窥：Transformer架构的上下文窗口瓶颈
尽管技术发展使得上下文长度从数K扩展到数百万token，但根本性瓶颈并未消失。一、 上下文窗口：不是容器，是“循环缓冲区”内容方面：上下文窗口不是一个只装“用户提问”的静态容器，而是一个循环缓冲区。 二、 上下文窗口的五重瓶颈标称窗口 ≠ 有效上下文 (Effective Context)我们看到的参数，不代表模型真正的能力厂商宣传的“128k 窗口”是理论最大值（Theoretical Max）， 应用层有限增强窗口有限，通常只把RAG (检索增强)的部分片段塞进上下文。 1. 硬件瓶颈：KV Cache 与显存爆炸显存占用随上下文长度线性增长。 6. 有限增强：有容量限制的RAG增强这是一个核心的工程现实：尽管检索系统能获取海量相关信息，但大模型的上下文窗口存在硬性容量限制。 有人认为，真正的目标并非“无限长上下文”，而是实现“按需适配的高效长上下文能力”，在扩展窗口的同时保障性能稳定与成本可控。
56340编辑于 2026-01-01- 来自专栏归思君的技术博客
从 ECMAScript 6 角度谈谈执行上下文
，用ES6规范解读的比较少，所以想从ES6的角度看一下执行上下文。 下面我尝试用ECMAScript 6规范文档，来聊聊执行上下文，文章主要从这几个方面介绍： ES6规范中的词法环境 ES6规范中定义的执行上下文结构 从ES6规范看实际代码的执行流程 一、 什么是执行上下文 下面根据上下文中的抽象方法，来看看执行上下文中的this值是怎样变化的： 6. 从ES6规范我们知道： 执行上下文栈是用来跟踪执行上下文的，当前处于栈顶的是正在运行的执行上下文 调用其他关联的可执行代码时，会创建一个新的执行上下文，并将这个新的执行上下文压入栈顶 借助一个例子来说明 第四步：执行完a()后，将a()函数执行上下文出栈： 第五步：执行完b()后，将b()函数执行上下文出栈，最后只留下全局执行上下文 五、从 ECMAScript6 角度看代码的执行流程 代码的执行主要分为两个阶段
40110编辑于 2023-12-22 - 来自专栏布衣者博客
LeetCode-算法-滑动窗口-第6天
给你两个字符串 s1 和 s2 ，写一个函数来判断 s2 是否包含 s1 的排列。换句话说，s1 的排列之一是 s2 的 子串 。 具体题目链接
28920发布于 2021-09-07 - 来自专栏深度学习与python
争夺“世界上最长的上下文窗口”背后：长上下文是否意味着 RAG 的终结？
这本质是一个输入输出窗口的问题，在具备捕捉信息和上下文能力的基础上，大文本输入的信息越多，输出也会越好。另一方面，我个人认为长文本只是大模型能力的其中之一，我是非常反对文本越长越智能的观点。 InfoQ：我们是不是必须要 200 万甚至无限长的上下文？ 张颖峰：长上下文很有意义，但无限长的上下文则是更偏向于是营销的宣传策略。上下文长度到达一定程度后，丢失的信息也会更多。 为了达到更好的长窗口无损压缩的性能，我们团队从模型的预训练到对齐再到推理环节，均进行了重新的设计和开发，并且没有走滑动窗口、降采样等常规技术捷径，而是攻克了很多底层的技术难点。 InfoQ：增加上下文窗口大小且不影响模型性能，会存在哪些挑战以及有什么应对方法？ 然后预填充的延迟会随着你上下文长度的增长而平方级别的增长，然后解码延迟和上下文切换的开销也会随着你上下文长度的增加而线性的增加啊。
93610编辑于 2024-07-24 - 来自专栏AI分享
动态NTK与Azure推理优化：低成本扩展LLM上下文窗口
在自然语言处理领域的广泛应用，其上下文窗口（Context Window）的限制逐渐成为制约模型性能的关键因素。 传统LLM的上下文窗口通常在2k至32k tokens之间，难以满足长文本生成、复杂推理和知识整合等场景需求。 与此同时，云平台如通过硬件优化和算法协同设计，进一步降低了扩展上下文窗口的计算开销。本文将从技术原理、实现路径及工程实践角度，探讨动态NTK与推理优化的协同效应。 通过预定义滑动窗口（Sliding Window）和局部敏感哈希（LSH）两种稀疏模式，使FLOPs减少65%的情况下仍保持98.5%的原始准确率。 动态NTK通过动态调整位置编码频率，以低成本实现了LLM上下文窗口的高效扩展，而硬件优化与资源管理技术进一步放大了其工程价值。
4.4K11编辑于 2025-04-15 - 来自专栏AI大模型应用开发炼丹房
智能体上下文窗口告急！8种策略破解AI记忆困局
引言：为什么记忆管理是AI系统的生死线当前大模型应用的致命瓶颈在于上下文窗口限制。 当对话轮数超过GPT-4 Turbo的128K上限，或本地部署模型仅支持4K上下文时，系统面临两难抉择：遗忘早期关键信息导致逻辑断层（如用户说“按上次方案处理”）突破长度限制带来的指数级计算成本增长本文将深入解析 滑动窗口（Sliding Window）from collections import deque window = deque(maxlen=5) # 保留最近5轮对话✅ 优势：固定上下文长度 工程技巧：动态调整窗口大小（根据对话复杂度在3-10轮间浮动）二、进阶策略：平衡记忆与性能3. text) collection.add(embedding=embedding, document=text) 性能对比：百万级记忆检索延迟 < 200ms准确率比关键词搜索高63%6.
1.7K52编辑于 2025-07-31 - 来自专栏机器学习与统计学
上下文工程比提示词工程更重要，6种上下文管理策略
而在每一个工业级的 LLM 应用中，上下文工程是填充上下文窗口以提供恰到好处的信息的艺术和科学，以便为下一步提供正确的背景信息。 通过文件系统读写包含大量 token 的上下文（参考：Manus[4]）。 将文件用于存储长期记忆（参考：Ambient Agents course[5]/repo[6]）。 正如Andrej Karpathy所说： 除了上下文工程本身之外，一个 LLM 应用还需要： 将问题恰当地拆分成控制流 把上下文窗口调整得刚刚好 分配合适的 LLM 调用 处理生成-验证的 UI/UX 先回顾长上下文失效的四种模式： 上下文中毒，即幻觉或错误进入上下文并被反复引用； 上下文干扰，上下文过长使模型过度关注上下文而忽视训练内容； 上下文混淆，模型利用上下文中多余信息生成低质量回复； 上下文冲突 Context-Engineering-for-AI-Agents-Lessons-from-Building-Manus [5] course: https://academy.langchain.com/courses/ambient-agents/ [6]
77810编辑于 2025-07-27 - 来自专栏量子位
百万token上下文窗口也杀不死向量数据库？CPU笑了
随着新晋大语言模型们的上下文窗口（Context Window）变得越发得长，业界人士针对“RAG终将消亡”观点的讨论也是愈演愈烈。 有网友便列举了长上下文窗口的四大通病（四个V）： Velocity（速度）：基于Transformer的大型模型，在检索长上下文时要想达到亚秒级的速度响应仍然具有挑战性。 Value（价值）：长上下文窗口毕竟属于大力出奇迹，但它高支出的特点对于日常应用来说，在成本上是不切实际的。 Volume（体量）：即使上下文窗口越发得长，但和全网庞大的非结构化数据相比就是小巫见大巫；尤其是企业级动辄GB、TB这种体量，还涉及众多私有数据的情形。 从这些特性不难看出，它恰好补齐了我们刚才提到的上下文窗口方式的一些短板。
44610编辑于 2024-03-20 - 来自专栏.NET企业级解决方案应用与咨询
Visual Studio 调试系列6 监视变量（使用监视窗口和快速监视窗口）
当你进行调试时，可以使用 监视窗口 和 快速监视窗口 来监视变量和表达式。 仅在调试会话期间，这两个窗口才可用。 监视窗口可以在调试时一次显示多个变量。 打开监视窗口，通过选择窗口调试 > Windows > 监视 > 观看 1，或按Ctrl+Alt+W > 1. 可以打开其他Watch窗口中的，选择 windows 2， 3，或者4。 02 在监视窗口中使用表达式 在监视窗口中，可以使用任何有效的表达式以计算其值。 例如，对于前面部分中的代码，可以获取三个值的平均值通过输入(a + b + c) / 3，观看窗口： ? 例如，在上述表达式中的有拼写错误生成中的出现此错误监视窗口： ? 监视窗口中可能会显示一个带有两个波浪条纹图标圆圈。 此图标表示调试器会计算该表达式，因为潜在的跨线程依赖关系。 03 在监视窗口中搜索 该功能请参考《Visual Studio 调试系列5 检查变量（使用自动窗口和局部变量窗口）》03 在自动或局部变量。完成相同。
4.7K10发布于 2019-09-17 PySide6 GUI 编程（31）：多个 QWidget 窗口展示
Cloud Studio代码运行from __future__ import annotationsimport sysfrom datetime import datetimefrom PySide6. ，这可以证明 init_new_window() 返回的对象是可以正常展示的进程启动时初始化出两个窗口在点击按钮显示第二个 QWidget 窗口后，并没有第三个窗口展示出来，Console 也只打印了： __ import annotationsimport sysfrom datetime import datetimefrom PySide6.QtWidgets import QApplication sysfrom datetime import datetimefrom PySide6.QtWidgets import QApplication, QLabel, QMainWindow, QPushButton hashlibimport sysfrom datetime import datetimefrom PySide6.QtWidgets import QApplication, QLabel, QLineEdit
56310编辑于 2024-08-24- 来自专栏编码视界
PySide6 GUI 编程（31）：多个 QWidget 窗口展示
对象作为临时变量进行展示示例代码from __future__ import annotationsimport sysfrom datetime import datetimefrom PySide6. from __future__ import annotationsimport sysfrom datetime import datetimefrom PySide6.QtWidgets import self.tmp_window 窗口 # 因此每次都会新生成一个窗口对象覆盖 self.tmp_window self.tmp_window = init_new_window ：控制另一个窗口的展示或隐藏示例代码from __future__ import annotationsimport sysfrom datetime import datetimefrom PySide6 datetimefrom PySide6.QtWidgets import QApplication, QLabel, QLineEdit, QMainWindow, QVBoxLayout, QWidgetdef
1.1K44编辑于 2024-08-21 - 来自专栏机器之心
上下文窗口1.6万token、30亿参数，Stability Al代码大模型来了
官博地址：https://stability.ai/blog/stablecode-llm-generative-ai-coding 对于 StableCode，网友的期许很高，表示真的需要将整个代码库作为上下文的代码大模型 三大版本：基础、指令、长上下文窗口模型 StableCode 通过三个不同版本的模型来帮助开发者变得更加高效。 长上下文窗口模型「StableCode-Completion-Alpha-3B」可称得上完美的助手，确保用户使用单行和多行自动代码补全建议。 与以往发布的开源模型相比，该模型的上下文窗口达到了 16000 token（比任何其他模型都大），一次性可以处理的代码更多，是以往的 2-4 倍。
34830编辑于 2023-09-08 - 来自专栏自然语言处理
为什么大上下文窗口还不够（至少目前如此）
OpenAI 最近发布的 GPT-4.1 震动了 AI 社区：惊人的 100 万 token 上下文窗口、精准度大幅提升，而 Gemini 2.5 在研究模式下甚至宣称支持高达 1000 万 token GPT-4.1 能够可靠地处理 100 万 token 上下文长度的信息，并在注意相关文本和忽略长短上下文干扰项方面比 GPT-4o 更加可靠。 长上下文理解是法律、编程、客户支持以及许多其他领域应用的关键能力。 大上下文模型看起来像是灵丹妙药。 引用：信任很重要 目前的大上下文模型无法有效处理引用。与 RAG 能够轻松引用源文本块不同，大上下文方法失去了关键的透明度。 结论 虽然未来可能会带来支持仅使用上下文窗口模型的突破，但现在需要实用的解决方案。目前，RAG 仍然是有意义、可扩展的 AI 应用的唯一可行选择。RAG 不仅没有消亡 —— 它正在茁壮成长。
37510编辑于 2025-04-17 - 来自专栏DeepHub IMBA
更大的上下文窗口为什么让RAG变得更重要而非更多余
在不少实际系统中，更大的上下文窗口反而拖累了模型表现。 模型需要在数学意义上判定哪些内容重要：上下文规模一大，信噪比就塌了。 用一个小上下文的场景做对照：5K token 的窗口，200 token 的相关信息，信号占比 4%，模型可以轻松锁定事实。 RAG + 大上下文 解决方案不在二选一。现代 AI 系统把精确检索和大上下文窗口结合在一起，用前者保证信号质量，用后者容纳旧模型放不下的多文档推理。 标准的生产管道是这样的： 接收用户查询。 筛选上下文窗口 best_chunks = reranked_results[:7] # 4. 更大的上下文窗口解决的是容量，不是相关性。 语言模型是出色的推理引擎，但前提是输入经过严格过滤。把所有东西都倒进去，换来的只是不可预测的性能衰退。
7610编辑于 2026-03-31 - 来自专栏编码视界
PySide6 GUI 编程（2）：窗口设置与基础控件
自定义窗口 代码示例 from PySide6.QtCore import QSize from PySide6.QtWidgets import QApplication, QMainWindow 最终运行效果 基础控件 QPushButton 写法一 from PySide6.QtWidgets import QApplication, QPushButton app = QApplication QLabel 写法一 from PySide6.QtWidgets import QApplication, QLabel app = QApplication([]) label = QLabel( 'Label Text 这是一个标签') label.setToolTip('Tip Info 这是标签的提示信息') label.show() app.exec() 写法二 from PySide6. app = QApplication() button = MyLabel() button.show() app.exec() QLineEdit 写法一 from PySide6.
1.9K53编辑于 2024-05-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号