- 综合排序
- 最热优先
- 最新优先
- 来自专栏人工智能
什么是大语言模型的上下文窗口
GPT模型的上下文窗口在自然语言处理任务中，语言模型有一个“上下文窗口”（contextwindow）的概念。上下文窗口是模型能够记住的输入范围，超出这个范围的内容，模型将无法直接关联。 传统的模型在处理这些代码时，往往因为上下文窗口的限制，难以理解代码之间的依赖关系。 而且，随着上下文窗口的扩大，模型能够生成更加连贯、符合逻辑的输出，避免了过去因为上下文丢失导致的错误。但是，也有一些挑战需要考虑。首先，随着上下文窗口的增加，模型的计算资源需求也显著上升。 此外，尽管上下文窗口增大了，但模型并不一定总能在非常长的文本中保持高效的记忆。 随着GPT模型和其他大语言模型的不断演进，支持更大上下文窗口的能力将继续扩展。
28810编辑于 2026-03-07 LLM架构机制管窥：作为黑板的上下文窗口
二、上下文窗口 as 黑板大型语言模型（LLM）在自然语言处理领域取得了巨大成功，其强大的文本生成、理解和推理能力令人瞩目。 将LLM的上下文与黑板架构模式相结合进行理解，有助于我们探索 LLM内部上下文管理 的改进方向。 它们在处理上下文信息时，具有各自的特定功能和运算规则。LLM的上下文是一组动态变化的数据，它贯穿于模型处理输入数据的整个过程。 三、上下文窗口黑板模式的优点3.1 问题求解的渐进性系统通过知识源不断地对黑板数据进行更新和完善，逐步逼近问题的解。LLM就是这种渐进式的求解方式。 四、“上下文”在LLM各层眼中的样子（逻辑含义）高层（深层FFN附近）：上下文 = 语义逻辑与意图。Token已经高度抽象化，不再是具体的词，而是“概念”。
50340编辑于 2025-12-30- 来自专栏AgenticAI
Ollama 高阶配置，如何增加上下文窗口大小？
Ollama默认的上下文窗口只有2K，多张显卡可能资源分配不均等问题，计算速度不够快。 OLLAMA_KEEP_ALIVE: 模型在内存中保持加载的时长（默认值：“5m”）。 OLLAMA_MAX_LOADED_MODELS: 每个 GPU 上最大加载模型数量。 增加上下文窗口 假设你从Ollama上拉取了大模型，其默认的窗口大小只有2048。我们可以通过如下方法，提高上下文窗口。 注意增加上下文窗口可能增加显存的使用，谨慎增加。 它会相应的增加上下文，比如一个请求2048 Tokens。如果是4个并行，那么就会消耗4*2048的上下文窗口。
4.6K10编辑于 2025-03-18 百万 Token 上下文窗口的工程实现与实际瓶颈
本文将探讨如何在工程上实现百万Token的上下文窗口，并分析其中的实际瓶颈。 对于百万Token的上下文窗口，我们需要考虑如何高效地存储和访问这些数据。常见的数据结构如列表、字典等在处理大规模数据时可能会遇到性能瓶颈。 内存优化和显存管理原理处理百万Token的上下文窗口时，内存和显存的管理非常重要。可以通过以下几种方式来优化内存和显存的使用：梯度累积：在训练过程中，通过累积多个批次的梯度来减少显存使用。 总结实现百万Token上下文窗口的工程挑战主要集中在高效的数据结构和算法、稀疏注意力机制、分块处理和并行计算以及内存优化和显存管理等方面。 总结本文深入探讨了百万 Token 上下文窗口的工程实现与实际瓶颈的相关技术，从原理到实践，从基础到进阶，希望能够帮助读者全面掌握这一技术。
19410编辑于 2025-12-24LLM架构瓶颈管窥：Transformer架构的上下文窗口瓶颈
尽管技术发展使得上下文长度从数K扩展到数百万token，但根本性瓶颈并未消失。一、 上下文窗口：不是容器，是“循环缓冲区”内容方面：上下文窗口不是一个只装“用户提问”的静态容器，而是一个循环缓冲区。 二、 上下文窗口的五重瓶颈标称窗口 ≠ 有效上下文 (Effective Context)我们看到的参数，不代表模型真正的能力厂商宣传的“128k 窗口”是理论最大值（Theoretical Max）， 应用层有限增强窗口有限，通常只把RAG (检索增强)的部分片段塞进上下文。 1. 硬件瓶颈：KV Cache 与显存爆炸显存占用随上下文长度线性增长。 5. 有损处理：稀疏注意力与压缩为了突破 O(N2)O(N^2)O(N2) 的算力限制，很多长文本模型采用“稀疏注意力”（只看部分关键字）或“分层压缩”（把前面的内容压缩成摘要）。 有人认为，真正的目标并非“无限长上下文”，而是实现“按需适配的高效长上下文能力”，在扩展窗口的同时保障性能稳定与成本可控。
56340编辑于 2026-01-01- 来自专栏编码视界
PySide6 GUI 编程（5）：模态窗口与非模态窗口
模态窗口与非模态窗口 from PySide6.QtWidgets import QApplication, QDialog, QMainWindow app = QApplication([]) # 创建一个主窗口实例 main_window = QMainWindow() main_window.setWindowTitle('主窗口') dialog = QDialog(main_window ) # 设置父窗口为main_window dialog.setWindowTitle('PySide6 原生模态窗口') # 在 MacOS 上，模态窗口并不会阻止用户与其他窗口交互，只会阻止与父窗口的交互 # dialog.setModal(True) # 显式设置其为模态窗口 main_window.show() # 以非模态运行 dialog.exec() # 以模态运行 app.exec()
1.2K75编辑于 2024-05-21 - 来自专栏CSDN博客专家-小蓝枣的博客
PyQt5 技术篇-窗口名、窗口图标的设置方法。
窗口名、窗口图标设置方法： Dialog.setWindowIcon(QIcon("D:/pig.ico")) # 设置窗口图标 Dialog.setWindowTitle("脚本录入") # 设置窗口名 运行效果图： ?
1.5K30发布于 2020-09-23 - 来自专栏数据技巧
Power Pivot概念(5)—理解上下文
十、 上下文的理解 (一) 查询上下文 1. 定义 简单理解就是通过筛选查询得到的结果。 2. 说明 影响的方式包括：筛选器，切片器，透视表的行和列，透视图的轴等。 (二) 行上下文 根据信息所在的行决定的，并涉及到行的信息数据来计算。 1. 定义 行上下文可以被认为是当前行，如果在当前行创建公式，其参数就对应的是当前行的值。 2. 注意 行上下文也会涉及到关系。例如在多端引用1端数据是使用Related，则会默认当前行关联的数据。 4. 复杂的行上下文 根据行上下文筛选出的表在和原表做比较计算。 例如涉及到行数Earlier (三) 筛选上下文 1. 定义 对于查询上下文的进一步定义。可以直接在公式中指定过滤器表达式或动态获取计算中使用的值的上下文。
94720发布于 2020-03-23 - 来自专栏sktj
python pyqt5 设置窗口样式
窗口类型 ? image.png 自定义窗口外观 ? image.png -- coding: utf-8 -- """ 【简介】 设置窗口样式 """ from PyQt5.QtCore import Qt import sys from PyQt5 self,parent=None): super(MainWindow,self).init(parent) self.resize(477, 258) self.setWindowTitle("设置窗口样式例子 ") #设置窗口样式为窗口无边框化 self.setWindowFlags( Qt.SubWindow ) self.setObjectName("MainWindow") self.setStyleSheet
2.1K30发布于 2019-07-22 - 来自专栏Python编程 pyqt matplotlib
PyQt5 多文档窗口界面
本篇介绍多文档窗口界面的写法。代码中并未实现关闭窗口前文档未保存的提醒对话框，因为之前已有介绍。 import sys from PyQt5.QtWidgets import * from PyQt5.QtCore import Qt from PyQt5.QtGui import QColor, self.mdi=QMdiArea() #实例化Qmidarea区域 self.setCentralWidget(self.mdi) #设置为中央窗口部件 self.windowMenu.aboutToShow.connect(self.updateWindowMenu)#用于动态更新菜 #设置主窗口的标题 () #子窗口显示 def updateWindowMenu(self):#动态显示窗口菜单 self.windowMenu.clear() # 先清空已有的菜单项
2.8K30发布于 2019-08-14 - 来自专栏sktj
python pyqt5 设置窗口背景
-- coding: utf-8 -- ''' 【简介】 界面背景图片设置 ''' import sys from PyQt5.QtWidgets import QMainWindow, QApplication /images/python.jpg"))) win.setPalette(palette) 当背景图片的宽度和高度大于窗口的宽度和高度时 win.resize(460, 255 ) 当背景图片的宽度和高度小于窗口的宽度和高度时 , 600) win.show() sys.exit(app.exec_()) ---- -- coding: utf-8 -- ''' 【简介】 界面背景颜色设置 ''' from PyQt5. QtWidgets import QApplication, QLabel ,QWidget, QVBoxLayout , QPushButton, QMainWindow from PyQt5. QtGui import QPalette , QBrush , QPixmap from PyQt5.QtCore import Qt import sys app = QApplication(
5.6K40发布于 2019-07-22 - 来自专栏深度学习与python
争夺“世界上最长的上下文窗口”背后：长上下文是否意味着 RAG 的终结？
这本质是一个输入输出窗口的问题，在具备捕捉信息和上下文能力的基础上，大文本输入的信息越多，输出也会越好。另一方面，我个人认为长文本只是大模型能力的其中之一，我是非常反对文本越长越智能的观点。 InfoQ：我们是不是必须要 200 万甚至无限长的上下文？ 张颖峰：长上下文很有意义，但无限长的上下文则是更偏向于是营销的宣传策略。上下文长度到达一定程度后，丢失的信息也会更多。 为了达到更好的长窗口无损压缩的性能，我们团队从模型的预训练到对齐再到推理环节，均进行了重新的设计和开发，并且没有走滑动窗口、降采样等常规技术捷径，而是攻克了很多底层的技术难点。 InfoQ：增加上下文窗口大小且不影响模型性能，会存在哪些挑战以及有什么应对方法？ 然后预填充的延迟会随着你上下文长度的增长而平方级别的增长，然后解码延迟和上下文切换的开销也会随着你上下文长度的增加而线性的增加啊。
93610编辑于 2024-07-24 - 来自专栏AI分享
动态NTK与Azure推理优化：低成本扩展LLM上下文窗口
在自然语言处理领域的广泛应用，其上下文窗口（Context Window）的限制逐渐成为制约模型性能的关键因素。 传统LLM的上下文窗口通常在2k至32k tokens之间，难以满足长文本生成、复杂推理和知识整合等场景需求。 与此同时，云平台如通过硬件优化和算法协同设计，进一步降低了扩展上下文窗口的计算开销。本文将从技术原理、实现路径及工程实践角度，探讨动态NTK与推理优化的协同效应。 压力测试表明，该方案可在保持模型F1分数下降不超过2%的前提下，抵御成员推理攻击的成功率至5%以下。值得关注的是，超长上下文可能引发的认知偏移风险需要新型评估体系。 动态NTK通过动态调整位置编码频率，以低成本实现了LLM上下文窗口的高效扩展，而硬件优化与资源管理技术进一步放大了其工程价值。
4.4K11编辑于 2025-04-15 - 来自专栏AI大模型应用开发炼丹房
智能体上下文窗口告急！8种策略破解AI记忆困局
引言：为什么记忆管理是AI系统的生死线当前大模型应用的致命瓶颈在于上下文窗口限制。 当对话轮数超过GPT-4 Turbo的128K上限，或本地部署模型仅支持4K上下文时，系统面临两难抉择：遗忘早期关键信息导致逻辑断层（如用户说“按上次方案处理”）突破长度限制带来的指数级计算成本增长本文将深入解析 滑动窗口（Sliding Window）from collections import deque window = deque(maxlen=5) # 保留最近5轮对话✅ 优势：固定上下文长度 工程技巧：动态调整窗口大小（根据对话复杂度在3-10轮间浮动）二、进阶策略：平衡记忆与性能3. （需添加校验机制）三、企业级解决方案5.
1.7K52编辑于 2025-07-31 - 来自专栏林德熙的博客
WPF 内部的5个窗口之 MediaContextNotificationWindow
本文告诉大家在 WPF 内部的5个窗口的 MediaContextNotificationWindow 是做什么的 在本文开始之前，希望大家先看下面的博客 WPF的消息机制（一）- 让应用程序动起来 WPF 的消息机制（二）- WPF内部的5个窗口之隐藏消息窗口 WPF的消息机制（三）- WPF内部的5个窗口之处理激活和关闭的消息窗口以及系统资源通知窗口 而 MediaContextNotificationWindow 是在 MediaContext 的构造函数创建的，用来提供给创建他的 MediaContext 可以有接收和转发向顶级窗口广播的窗口消息的能力 在 MediaContextNotificationWindow ，这个窗口是不可见的，这样就可以接受到 WM_DWMCOMPOSITIONCHANGED 和其他的 DWM 通知。 因为 DWM 通知只是广播给最顶层的窗口。
89010编辑于 2022-08-04 - 来自专栏林德熙的博客
WPF 内部的5个窗口之 MediaContextNotificationWindow
而 MediaContextNotificationWindow 是在 MediaContext 的构造函数创建的，用来提供给创建他的 MediaContext 可以有接收和转发向顶级窗口广播的窗口消息的能力 ，这个窗口是不可见的，这样就可以接受到 WM_DWMCOMPOSITIONCHANGED 和其他的 DWM 通知。 因为 DWM 通知只是广播给最顶层的窗口。 MediaContextNotificationWindow.cs,969a2072bf29a084 ---- 本文会经常更新，请阅读原文： https://lindexi.gitee.io/post/WPF-%E5% 86%85%E9%83%A8%E7%9A%845%E4%B8%AA%E7%AA%97%E5%8F%A3%E4%B9%8B-MediaContextNotificationWindow.html
1.4K30发布于 2019-03-13 - 来自专栏python3
pyqt5之简单窗口的创建
QtGui 模块包含的类用于窗口化的系统结构，事件处理，2D绘图，基本图形，字体和文本。 QtWidgets 模块包含的类提供了一套UI元素来创建经典桌面风格用户界面。 PyQT4 and Pyqt5 fifferences 不兼容pyqt4, 模块被改写，新模块的引入 三.简单窗口的建立 没有父类的组件是顶级窗口。 见例子 四.关闭窗口 QPushButton(string text, QWidget parent = None) text参数是将显示在按钮中的内容。 , QApplication) 4 from PyQt5.QtGui import QIcon 5 from PyQt5.QtGui import QFont 6 from PyQt5.QtCore 22 # 主循环用于接收来自窗口触发的事件，并且转发他们到widget应用上处理。 23 # 如果我们调用exit()方法或主widget组件被销毁，主循环将退出。
2.3K20发布于 2020-01-19 - 来自专栏python爬虫实战之路
PyQt5的主窗口QMainWindow简介
看过上一篇我们知道，在PyQt5中了，所有的控件都是继承自。在桌面应用当中，我们常用的软件都会包含一个主窗口。主窗口就是承载所有控件的一个窗体。 在PyQt5当中常用的主窗体有两种QMainWindow和QDialog。当然这两个也是继承自QWidget类。 模态指的是窗口打开的时候，它底下的父窗口是不可操作的；非模态就是当我们打开一个子窗口的时候，其下面的窗口也是可以操作的。 如果不确定或者说他会作为顶层窗口（没有父窗口的窗口就是顶层窗口）或者嵌入到其他窗口中，那么就可以使用最根本的基类QWidget类。 import sys from PyQt5.QtWidgets import QMainWindow, QApplication, QTextEdit, QPushButton, QWidget, QHBoxLayout
4.6K32发布于 2019-05-28 - 来自专栏量子位
百万token上下文窗口也杀不死向量数据库？CPU笑了
随着新晋大语言模型们的上下文窗口（Context Window）变得越发得长，业界人士针对“RAG终将消亡”观点的讨论也是愈演愈烈。 有网友便列举了长上下文窗口的四大通病（四个V）： Velocity（速度）：基于Transformer的大型模型，在检索长上下文时要想达到亚秒级的速度响应仍然具有挑战性。 Value（价值）：长上下文窗口毕竟属于大力出奇迹，但它高支出的特点对于日常应用来说，在成本上是不切实际的。 Volume（体量）：即使上下文窗口越发得长，但和全网庞大的非结构化数据相比就是小巫见大巫；尤其是企业级动辄GB、TB这种体量，还涉及众多私有数据的情形。 从这些特性不难看出，它恰好补齐了我们刚才提到的上下文窗口方式的一些短板。
44610编辑于 2024-03-20 - 来自专栏清菡软件测试
Appium上下文和H5测试(一)
目录 一、混合应用-H5 1.混合应用是什么？ 2.怎么样分辨一个 App 页面究竟是原生的还是 Web 的？ 5.想定位一个元素怎么操作？ 四、代码 一、混合应用-H5 微信小程序的前提都是基于 H5，没有 H5 的情况下来操作微信小程序您可能不太明白。H5 是混合应用，有原生应用和混合应用。 1）在手机/模拟器中点击关于手机中的版本号 5 下，出来开发者选项。 2）在开发者选项中勾选上显示布局边界，再返回到 App 界面。 识别到 Web View 的前提是：下载知乎或者豆瓣，去获取所有当前可以操作的上下文，会发现没有 web view。也就是关闭了 Web View 的显示。 5.想定位一个元素怎么操作？ 跟我们之前使用谷歌 F12 的套路是一样的。 ? 一个手机中除了这个 Web View 网页，可能还有别的 Web View 网页。
1.2K20发布于 2020-12-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号