- 综合排序
- 最热优先
- 最新优先
- 来自专栏人工智能
什么是大语言模型的上下文窗口
GPT模型的上下文窗口在自然语言处理任务中，语言模型有一个“上下文窗口”（contextwindow）的概念。上下文窗口是模型能够记住的输入范围，超出这个范围的内容，模型将无法直接关联。 传统的模型在处理这些代码时，往往因为上下文窗口的限制，难以理解代码之间的依赖关系。 而且，随着上下文窗口的扩大，模型能够生成更加连贯、符合逻辑的输出，避免了过去因为上下文丢失导致的错误。但是，也有一些挑战需要考虑。首先，随着上下文窗口的增加，模型的计算资源需求也显著上升。 此外，尽管上下文窗口增大了，但模型并不一定总能在非常长的文本中保持高效的记忆。 随着GPT模型和其他大语言模型的不断演进，支持更大上下文窗口的能力将继续扩展。
28810编辑于 2026-03-07 LLM架构机制管窥：作为黑板的上下文窗口
二、上下文窗口 as 黑板大型语言模型（LLM）在自然语言处理领域取得了巨大成功，其强大的文本生成、理解和推理能力令人瞩目。 将LLM的上下文与黑板架构模式相结合进行理解，有助于我们探索 LLM内部上下文管理 的改进方向。 它们在处理上下文信息时，具有各自的特定功能和运算规则。LLM的上下文是一组动态变化的数据，它贯穿于模型处理输入数据的整个过程。 三、上下文窗口黑板模式的优点3.1 问题求解的渐进性系统通过知识源不断地对黑板数据进行更新和完善，逐步逼近问题的解。LLM就是这种渐进式的求解方式。 3.
50340编辑于 2025-12-30- 来自专栏AgenticAI
Ollama 高阶配置，如何增加上下文窗口大小？
Ollama默认的上下文窗口只有2K，多张显卡可能资源分配不均等问题，计算速度不够快。 增加上下文窗口 假设你从Ollama上拉取了大模型，其默认的窗口大小只有2048。我们可以通过如下方法，提高上下文窗口。 2023 .... """ 然后在PARAMETER处增加如下配置，32768就是上下文窗口大小，设置成你想要的即可。 注意增加上下文窗口可能增加显存的使用，谨慎增加。 它会相应的增加上下文，比如一个请求2048 Tokens。如果是4个并行，那么就会消耗4*2048的上下文窗口。
4.6K10编辑于 2025-03-18 - 来自专栏Initial programming
初识算法 · 滑动窗口(3)
算法原理 算法一眼判定为滑动窗口，因为我们是用一个连续的区间，来和另一个连续的区间进行比较，那么正常的就是进窗口，出窗口，进行判断，进窗口自然是使用right指针，进窗口之后。 什么时候出窗口呢？ 当然是right和left的区间的长度大于了目标字符串的长度，此时需要出窗口，左边出窗口即可。 但是有个难题是，如何判断区间的字符串是否目标字符串的异位词呢？ 那么出窗口的时候，如果目标字符的频次变成了0，就肯定是要删除该元素的，所以需要erase，这里对容器使用不太熟练的同学自然需要看看文档。 此时那么出窗口之后，两个哈希表判断是否相等，相等更新结果就可以了。 这是使用哈希表解决。那么优化我们放在算法编写里面。 kinds，出窗口仍然需要维护kinds，在后面有一道题也是，进窗口需要维护计数器，出窗口也需要维护计数器。
27310编辑于 2024-10-16 - 来自专栏韩曙亮的移动开发专栏
【Unity3D】Unity 编辑器窗口布局 ( 创建 Unity3D 项目 | 添加物体 | 层级窗口 | 场景窗口 | 游戏窗口 | 属性窗口 | 项目窗口 | 控制台窗口 | 窗口位置修改 )
文章目录 一、在 Unity Hub 中创建 Unity 2020 编辑器版本的 Unity3D 项目 二、Unity 编辑器窗口布局 1、添加物体 2、菜单栏和工具栏 3、Hierarchy 层级窗口 Hub 中创建 Unity 2020 编辑器版本的 Unity3D 项目 ---- 在 Unity Hub 界面 中 , 左侧选择 " 项目 " 面板 , 然后点击右上角的 " 新项目 " 按钮 , 点击顶部的 " 编辑器版本 " 后的下拉菜单按钮 , 可以选择该项目的 编辑器版本 , 从本地已安装的 Unity3D 编辑器版本中选择 ; 选择项目模板为 " 3D " , 设置项目名称 , 项目位置 ---- 1、添加物体 选择 " 菜单栏 / GemeObject / 3D Object / Cube " 选项 , 添加一个 3D 立方体物体 , 此时在 Unity 编辑器界面中 , 就可以看到立方体 Hierarchy 层级窗口 游戏中所有的 3D 模型 , 物体 都是一个节点 , 节点可能包含子节点 ,这些节点在 Hierarchy 层级窗口 中显示 ; 在该窗口中会 按照层级将所有物体罗列出来
4.7K20编辑于 2023-03-30 百万 Token 上下文窗口的工程实现与实际瓶颈
本文将探讨如何在工程上实现百万Token的上下文窗口，并分析其中的实际瓶颈。 对于百万Token的上下文窗口，我们需要考虑如何高效地存储和访问这些数据。常见的数据结构如列表、字典等在处理大规模数据时可能会遇到性能瓶颈。 内存优化和显存管理原理处理百万Token的上下文窗口时，内存和显存的管理非常重要。可以通过以下几种方式来优化内存和显存的使用：梯度累积：在训练过程中，通过累积多个批次的梯度来减少显存使用。 总结实现百万Token上下文窗口的工程挑战主要集中在高效的数据结构和算法、稀疏注意力机制、分块处理和并行计算以及内存优化和显存管理等方面。 总结本文深入探讨了百万 Token 上下文窗口的工程实现与实际瓶颈的相关技术，从原理到实践，从基础到进阶，希望能够帮助读者全面掌握这一技术。
19410编辑于 2025-12-24LLM架构瓶颈管窥：Transformer架构的上下文窗口瓶颈
本文是【LLM架构管窥 ◆ 系列小文】的第3篇。【LLM架构管窥 ◆ 系列小文】旨在快速盘点LLM架构特点、特别是局限性，为后续【基于SDD的AI编程最佳实践】提供必要的认知准备。 早期模型如GPT-3的4K token窗口或LLaMA的8K token窗口，使模型在处理长文档、复杂对话时频繁出现“失忆”现象。 尽管技术发展使得上下文长度从数K扩展到数百万token，但根本性瓶颈并未消失。一、 上下文窗口：不是容器，是“循环缓冲区”内容方面：上下文窗口不是一个只装“用户提问”的静态容器，而是一个循环缓冲区。 二、 上下文窗口的五重瓶颈标称窗口 ≠ 有效上下文 (Effective Context)我们看到的参数，不代表模型真正的能力厂商宣传的“128k 窗口”是理论最大值（Theoretical Max）， 如果上下文长度从 NNN 变成 2N2N2N，计算量不是翻倍，而是变成 4倍。后果：长文本的推理延迟（Latency）极高，导致用户等待时间急剧增加，实时交互变得困难。 3.
56340编辑于 2026-01-01- 来自专栏架构师成长之路
Go进阶(3)：上下文context
wg.Done() } func main() { wg.Add(2) // 需要开启几个goroutine就给等待组的计数器赋值为多少，这里为2 for i := 1; i < 3; Goroutine 由于没有接收到这个信号所以会继续工作； 使用 Context 同步信号：但是当我们正确地使用 context.Context 时，就可以在下层及时停掉无用的工作以减少额外资源的消耗： 3、 context.cancelCtx； context.propagateCancel 会构建父子上下文之间的关联，当父上下文被取消时，子上下文也会被取消。 3) context.cancelCtx.cancel方法实现： context.cancelCtx 实现的几个接口方法也没有太多值得分析的地方，该结构体最重要的方法是 context.cancelCtx.cancel 3、valueCtx 类型：传值方法 在调用 context.WithValue 方法时，我们会涉及到 valueCtx 类型，其主要特性是涉及上下文信息传递。
1.1K20编辑于 2023-02-27 - 来自专栏python3
3 curses库窗口(WINDOW)处理
3 curses库窗口(WINDOW)处理 ~~~~~~~~~~~~~~~~~~~~~~~~~~~ 3.1 什么是窗口 =============== * 窗口是屏幕上的一块区域,在其上面可以进行各种输出及其操作 * 窗口可以位于标准屏幕的任意位置,窗口之间可以相互重叠. * 窗口可以同时包含与它们相关的子窗口,任何在父窗口与子窗口重叠区域的变化会同时影响到他们中的任何一个 3.2 窗口操作 ============= 3.2.1 创建和删除窗口 ------- @note 在主窗口删除之前必须先删除与它相关连的所有子窗口 */ int delwin(WINDOW* win); /** @breif 创建子窗口 @param win 父窗口的指针 win 父窗口的指针 @param lines,cols 子窗口的总行数和列数 @param begin_x,begin_y 子窗口的左上角在父窗口的相对位置 @note 注意相对位置是想对于*
1.2K10发布于 2020-01-08 - 来自专栏用户3645619的专栏
（3）FlinkSQL滑动窗口demo演示
滑动窗口（Sliding Windows）与滚动窗口类似，滑动窗口的大小也是固定的。区别在于，窗口之间并不是首尾相接的，而是可以“错开”一定的位置。 如果看作一个窗口的运动，那么就像是向前小步“滑动”一样。定义滑动窗口的参数有两个：除去窗口大小（window size）之外，还有一个滑动步长（window slide），代表窗口计算的频率。 } catch (IOException | InterruptedException e) { e.printStackTrace(); } }}（3） （Sliding Windows）与滚动窗口类似，滑动窗口的大小也是固定的。 定义滑动窗口的参数有两个：除去窗口大小（window size）之外， * 还有一个滑动步长（window slide），代表窗口计算的频率。
60620编辑于 2022-08-08 - 来自专栏深度学习与python
争夺“世界上最长的上下文窗口”背后：长上下文是否意味着 RAG 的终结？
这本质是一个输入输出窗口的问题，在具备捕捉信息和上下文能力的基础上，大文本输入的信息越多，输出也会越好。另一方面，我个人认为长文本只是大模型能力的其中之一，我是非常反对文本越长越智能的观点。 InfoQ：我们是不是必须要 200 万甚至无限长的上下文？ 张颖峰：长上下文很有意义，但无限长的上下文则是更偏向于是营销的宣传策略。上下文长度到达一定程度后，丢失的信息也会更多。 为了达到更好的长窗口无损压缩的性能，我们团队从模型的预训练到对齐再到推理环节，均进行了重新的设计和开发，并且没有走滑动窗口、降采样等常规技术捷径，而是攻克了很多底层的技术难点。 InfoQ：增加上下文窗口大小且不影响模型性能，会存在哪些挑战以及有什么应对方法？ 可以预期在未来 Q3、Q4 模型的价格和推理的成本还会进一步降低，但目前更重要的还是让长文本模型也能以较低的价格给到开发者。
93610编辑于 2024-07-24 - 来自专栏AI分享
动态NTK与Azure推理优化：低成本扩展LLM上下文窗口
在自然语言处理领域的广泛应用，其上下文窗口（Context Window）的限制逐渐成为制约模型性能的关键因素。 传统LLM的上下文窗口通常在2k至32k tokens之间，难以满足长文本生成、复杂推理和知识整合等场景需求。 与此同时，云平台如通过硬件优化和算法协同设计，进一步降低了扩展上下文窗口的计算开销。本文将从技术原理、实现路径及工程实践角度，探讨动态NTK与推理优化的协同效应。 如图3所示，高维通道（j=64）的缩放幅度仅为低维通道（j=1）的1/64，实现了细粒度的频谱控制。 动态NTK通过动态调整位置编码频率，以低成本实现了LLM上下文窗口的高效扩展，而硬件优化与资源管理技术进一步放大了其工程价值。
4.4K11编辑于 2025-04-15 - 来自专栏AI大模型应用开发炼丹房
智能体上下文窗口告急！8种策略破解AI记忆困局
引言：为什么记忆管理是AI系统的生死线当前大模型应用的致命瓶颈在于上下文窗口限制。 当对话轮数超过GPT-4 Turbo的128K上限，或本地部署模型仅支持4K上下文时，系统面临两难抉择：遗忘早期关键信息导致逻辑断层（如用户说“按上次方案处理”）突破长度限制带来的指数级计算成本增长本文将深入解析 滑动窗口（Sliding Window）from collections import deque window = deque(maxlen=5) # 保留最近5轮对话✅ 优势：固定上下文长度 工程技巧：动态调整窗口大小（根据对话复杂度在3-10轮间浮动）二、进阶策略：平衡记忆与性能3. 提示） return tfidf_score(text) + 10 if "重要" in text else 0✅ 突破点：避免重要信息被滑动窗口误删 行业方案：混合规则引擎+
1.7K52编辑于 2025-07-31 - 来自专栏腾讯云大数据
Flink 实践教程-进阶（3）：窗口操作
创建消息队列 CKafka 进入 CKafka 控制台 [3]，点击左上角【新建】，即可完成 CKafka 的创建，具体可参考 CKafka 创建实例 [4]。 ）将元素分配到固定长度的窗口中，窗口的大小由窗口大小参数来配置，另一个窗口滑动参数控制滑动窗口开始的频率。 HOP WINDOW（滑动窗口）保持窗口大小（Size：INTERVAL '1' MINUTE）不变，每次滑动指定的时间周期（Slide：INTERVAL '30' SECOND），因而允许窗口之间的相互重叠 Slide 的大小决定了 Flink 创建新窗口的频率。 当 Slide 小于 Size 时，相邻窗口会重叠，一个时间会被分配到多个窗口。 当 Slide 等于 Size 时，等于是 TUMBLE WINDOW（滚动窗口）。 更多时间窗口函数请参考 Oceanus 官方文档 [9]。
74320编辑于 2021-12-22 - 来自专栏量子位
百万token上下文窗口也杀不死向量数据库？CPU笑了
随着新晋大语言模型们的上下文窗口（Context Window）变得越发得长，业界人士针对“RAG终将消亡”观点的讨论也是愈演愈烈。 一方面，以Claude 3、Gemini 1.5为代表的流派，陆续支持200K和100万token的上下文窗口，用大力出奇迹的方式让大模型能够精准检索到关键信息来提供准确答案。 有网友便列举了长上下文窗口的四大通病（四个V）： Velocity（速度）：基于Transformer的大型模型，在检索长上下文时要想达到亚秒级的速度响应仍然具有挑战性。 Value（价值）：长上下文窗口毕竟属于大力出奇迹，但它高支出的特点对于日常应用来说，在成本上是不切实际的。 从这些特性不难看出，它恰好补齐了我们刚才提到的上下文窗口方式的一些短板。
44610编辑于 2024-03-20 - 来自专栏林德熙的博客
dotnet 如何从 Gtk 3 的窗口到对应的 X11 窗口
本文将告诉大家如何在 Gtk3 的 Gtk.Window 或 Gdk.Window 里面获取到对应的 X11 窗口 XID 号 记录本文是因为我在这里踩了很多坑，核心问题就是 GTK 有很多个版本，我开始找的全是使用 GTK 2 的 gdk_x11_drawable_get_xid 方法，而不是 GtkSharp 3.24 对应的 GTK 3 的方法 以上的 gdk_x11_drawable_get_xid 方法需要构建传入 d_gdk_x11_window_get_xid gdk_x11_window_get_xid = LoadFunction<d_gdk_x11_window_get_xid>("libgdk-3. 比如我这里输出的是 X11 窗口 0x5600003 的值 打开另一个命令行，输入以下命令，将 XID 传入 xwininfo 命令，即可看到显示的窗口标题和当前运行的窗口是相同的 我核心踩坑就是搜到的是 init git remote add origin https://gitee.com/lindexi/lindexi_gd.git git pull origin 4ae5a45eb65cab5a3b9f8991852be9602dee6533
70810编辑于 2024-05-16 - 来自专栏Android源码框架分析
Android窗口管理分析（3）：窗口分组及Z-order的确定总结
=2 普通应用程序窗口，token必须设置为Activity的token TYPE_APPLICATION_STARTING =3 应用程序启动时所显示的窗口 LAST_APPLICATION_WINDOW 3 系统提示，出现在应用程序窗口之上 TYPE_TOAST = FIRST_SYSTEM_WINDOW+5 显示Toast 了解窗口类型后，我们需要面对的首要问题是：窗口如何根据类型进行分组归类的 --关键点3 attach到WMS--> activity.attach(appContext, this, getInstrumentation(), r.token，XXX); --关键点3--> invokePopup(p); } showAsDropDown有3个关键点，关键点1是生成WindowManager.LayoutParams参数，WindowManager.LayoutParams 作者：看书的小蜗牛 原文链接:Android窗口管理分析（3）：窗口分组及Z-order的确定 仅供参考，欢迎指正
3.2K50发布于 2018-06-29 - 来自专栏腾讯云流计算 Oceanus
Flink 实践教程：进阶3-窗口操作
创建 Sink CREATE TABLE `clickhouse_sink` ( `win_start` TIMESTAMP(3), `win_end` TIMESTAMP(3) ）将元素分配到固定长度的窗口中，窗口的大小由窗口大小参数来配置，另一个窗口滑动参数控制滑动窗口开始的频率。 HOP WINDOW（滑动窗口）保持窗口大小（Size：INTERVAL '1' MINUTE）不变，每次滑动指定的时间周期（Slide：INTERVAL '30' SECOND），因而允许窗口之间的相互重叠 Slide 的大小决定了 Flink 创建新窗口的频率。 当 Slide 小于 Size 时，相邻窗口会重叠，一个时间会被分配到多个窗口。 当 Slide 等于 Size 时，等于是 TUMBLE WINDOW（滚动窗口）。 更多时间窗口函数请参考 Oceanus 官方文档 [9]。
83670编辑于 2021-12-22 - 来自专栏IT民工的代码世界
bootstrap3-dialog打开嵌套iframe窗口
bootstrap3-dialog是一款第三方提示框插件，但是使用过程中感觉对打开新的远程页面不太友好，而打开表单嵌套在原页面中又显得代码非常臃肿，所以对bootstrap3-dialog进行二次封装 ).modal('hide'); window.parent.postMessage('close', '*'); } 关于dialog的使用还有一个问题，如果在一个iframe中打开窗口 ，遮罩层和dialog都会以iframe为基准，但有时候这样会显的窗口太小使用不方便，所以我们这里要再加一种方法，打开全局dialog，就是如果在iframe中打开，dialog要显示在iframe的顶级父级窗口中 this.options.istop){ $backdrop.appendTo($(window.top.document.body)); } 打开时将模态窗口整体移动至顶级窗口的 改造后的的源码js地址： https://github.com/grassprogramming/yblog/blob/master/main/resources/static/plugins/bootstrap3-
1.1K20编辑于 2023-07-19 - 来自专栏机器之心
上下文窗口1.6万token、30亿参数，Stability Al代码大模型来了
三大版本：基础、指令、长上下文窗口模型 StableCode 通过三个不同版本的模型来帮助开发者变得更加高效。 其中基础模型为「StableCode-Completion-Alpha-3B-4K」，它是一个 30 亿参数的仅使用解码器的代码补全模型。 「StableCode-Instruct-Alpha-3B」帮助解决复杂的编程任务。 长上下文窗口模型「StableCode-Completion-Alpha-3B」可称得上完美的助手，确保用户使用单行和多行自动代码补全建议。 与以往发布的开源模型相比，该模型的上下文窗口达到了 16000 token（比任何其他模型都大），一次性可以处理的代码更多，是以往的 2-4 倍。
34830编辑于 2023-09-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号