- 综合排序
- 最热优先
- 最新优先
- 来自专栏人工智能
什么是大语言模型的上下文窗口
GPT模型的上下文窗口在自然语言处理任务中，语言模型有一个“上下文窗口”（contextwindow）的概念。上下文窗口是模型能够记住的输入范围，超出这个范围的内容，模型将无法直接关联。 传统的模型在处理这些代码时，往往因为上下文窗口的限制，难以理解代码之间的依赖关系。 而且，随着上下文窗口的扩大，模型能够生成更加连贯、符合逻辑的输出，避免了过去因为上下文丢失导致的错误。但是，也有一些挑战需要考虑。首先，随着上下文窗口的增加，模型的计算资源需求也显著上升。 此外，尽管上下文窗口增大了，但模型并不一定总能在非常长的文本中保持高效的记忆。 随着GPT模型和其他大语言模型的不断演进，支持更大上下文窗口的能力将继续扩展。
28810编辑于 2026-03-07 - 来自专栏菩提树下的杨过
tauri学习(4)-多窗口
接上节继续，今天研究tauri中的多窗口，要实现多窗口有几种方式： 一、改配置tauri.conf.json 仍然以react项目模式为例，假设我们有2个页面效果： 在浏览器中运行起来长这样： tauri 中，如果想开2个窗口，分别对应于这2个页面，可以参考下图配置： (关于windows节点下，具体有哪些属性可配置，可参考官网文档) 运行起来效果如下： 二、Rust中使用app创建窗口 use tauri ()) .expect("error while running tauri application"); } 运行起来后，加上方式1中的2个窗口，总共会有3个窗口： 三、前端创建窗口 3.1 先把tauri.conf.json中的配置恢复成单窗口，方式二中创建的窗口也去掉，然后加1个可供前端调用的新方法： 然后在Home组件中，调用该方法： 运行效果： 3.2 js API调用 运行效果 ： 四、运行时获取窗口引用 比如想用代码把前面创建的2个about窗口给关闭，就必须先获取窗口的引用，参考下面的代码： 运行效果： 参考文章： https://tauri.app/v1/guides
4K20编辑于 2022-08-23 LLM架构机制管窥：作为黑板的上下文窗口
二、上下文窗口 as 黑板大型语言模型（LLM）在自然语言处理领域取得了巨大成功，其强大的文本生成、理解和推理能力令人瞩目。 将LLM的上下文与黑板架构模式相结合进行理解，有助于我们探索 LLM内部上下文管理 的改进方向。 它们在处理上下文信息时，具有各自的特定功能和运算规则。LLM的上下文是一组动态变化的数据，它贯穿于模型处理输入数据的整个过程。 三、上下文窗口黑板模式的优点3.1 问题求解的渐进性系统通过知识源不断地对黑板数据进行更新和完善，逐步逼近问题的解。LLM就是这种渐进式的求解方式。 四、“上下文”在LLM各层眼中的样子（逻辑含义）高层（深层FFN附近）：上下文 = 语义逻辑与意图。Token已经高度抽象化，不再是具体的词，而是“概念”。
50340编辑于 2025-12-30- 来自专栏AgenticAI
Ollama 高阶配置，如何增加上下文窗口大小？
Ollama默认的上下文窗口只有2K，多张显卡可能资源分配不均等问题，计算速度不够快。 增加上下文窗口 假设你从Ollama上拉取了大模型，其默认的窗口大小只有2048。我们可以通过如下方法，提高上下文窗口。 注意增加上下文窗口可能增加显存的使用，谨慎增加。 支持的并发请求数量 可以考虑配置OLLAMA_NUM_PARALLEL，默认一般是4或者1。它会相应的增加上下文，比如一个请求2048 Tokens。 如果是4个并行，那么就会消耗4*2048的上下文窗口。
4.6K10编辑于 2025-03-18 - 来自专栏golang算法架构leetcode技术php
golang刷leetcode 滑动窗口（4）滑动窗口中位数
例如： [2,3,4]，中位数是 3 [2,3]，中位数是 (2 + 3) / 2 = 2.5 给出一个数组 nums，有一个大小为 k 的窗口从最左端滑动到最右端。 窗口中有 k 个数，每次窗口移动 1 位。你的任务是找出每次窗口移动后得到的新窗口中元素的中位数，并输出由它们组成的数组。 窗口位置 中位数 --------------- ----- [1 3 -1] -3 5 3 6 7 1 -3 5 3] 6 7 3 1 3 -1 -3 [5 3 6] 7 5 1 3 -1 -3 5 [3 6 7] 6 因此，返回该滑动窗口的中位数数组 解题思路： 1，注意中位数是窗口内数据排序后的中位数 2，对于窗口内部可以采用插入排序的思想进行排序 3，初始时，采用插入排序，将前k个值，插入窗口 4，找到左指针对应元素在窗口内位置j 5，移动左右指针
67320编辑于 2022-08-02 百万 Token 上下文窗口的工程实现与实际瓶颈
本文将探讨如何在工程上实现百万Token的上下文窗口，并分析其中的实际瓶颈。 对于百万Token的上下文窗口，我们需要考虑如何高效地存储和访问这些数据。常见的数据结构如列表、字典等在处理大规模数据时可能会遇到性能瓶颈。 内存优化和显存管理原理处理百万Token的上下文窗口时，内存和显存的管理非常重要。可以通过以下几种方式来优化内存和显存的使用：梯度累积：在训练过程中，通过累积多个批次的梯度来减少显存使用。 总结实现百万Token上下文窗口的工程挑战主要集中在高效的数据结构和算法、稀疏注意力机制、分块处理和并行计算以及内存优化和显存管理等方面。 总结本文深入探讨了百万 Token 上下文窗口的工程实现与实际瓶颈的相关技术，从原理到实践，从基础到进阶，希望能够帮助读者全面掌握这一技术。
19410编辑于 2025-12-24LLM架构瓶颈管窥：Transformer架构的上下文窗口瓶颈
早期模型如GPT-3的4K token窗口或LLaMA的8K token窗口，使模型在处理长文档、复杂对话时频繁出现“失忆”现象。 尽管技术发展使得上下文长度从数K扩展到数百万token，但根本性瓶颈并未消失。一、 上下文窗口：不是容器，是“循环缓冲区”内容方面：上下文窗口不是一个只装“用户提问”的静态容器，而是一个循环缓冲区。 二、 上下文窗口的五重瓶颈标称窗口 ≠ 有效上下文 (Effective Context)我们看到的参数，不代表模型真正的能力厂商宣传的“128k 窗口”是理论最大值（Theoretical Max）， 如果上下文长度从 NNN 变成 2N2N2N，计算量不是翻倍，而是变成 4倍。后果：长文本的推理延迟（Latency）极高，导致用户等待时间急剧增加，实时交互变得困难。 3. 即便你有 100k 窗口，把关键信息藏在第 50k 的位置，模型也可能“看漏”。 4. 模型容量：位置编码（Positional Encoding）的极限模型怎么知道“我爱你”和“你爱我”的区别？
56340编辑于 2026-01-01- 来自专栏斑斓
DDD 实战 (4)：战略设计之系统上下文和限界上下文
02 系统上下文定义 本系统的主要用户是 4 类：消费者客户、商家创建人、商家授权操作人、平台运营人员。 本节战略设计部分，主要需要完成 V 型映射的后半部分：从业务服务（业务用例）到限界上下文。我们将通过如下的 4 个步骤来得出最终的限界上下文划分及其映射关系。 在按照以上 4 个步骤分析的过程中，我们需要注意的是：我们要始终考虑限界上下文的主要 4 个设计特征：最小完备、自我履行、稳定空间、独立进化。 同时，我们在这一步，再回顾限界上下文设计的 4 个特征：最小完备、自我履行、稳定空间、独立进化。 经过第三步的分析，我们调整后的限界上下文列表如下图： 4 考虑技术和管理因素 我们还有最后一步分析：根据系统上下文边界、以及技术实现因素，对限界上下文的识别情况进行最终的确认。
1.8K20编辑于 2023-03-23 - 来自专栏深度学习与python
争夺“世界上最长的上下文窗口”背后：长上下文是否意味着 RAG 的终结？
这本质是一个输入输出窗口的问题，在具备捕捉信息和上下文能力的基础上，大文本输入的信息越多，输出也会越好。另一方面，我个人认为长文本只是大模型能力的其中之一，我是非常反对文本越长越智能的观点。 为了达到更好的长窗口无损压缩的性能，我们团队从模型的预训练到对齐再到推理环节，均进行了重新的设计和开发，并且没有走滑动窗口、降采样等常规技术捷径，而是攻克了很多底层的技术难点。 InfoQ：增加上下文窗口大小且不影响模型性能，会存在哪些挑战以及有什么应对方法？ 可以预期在未来 Q3、Q4 模型的价格和推理的成本还会进一步降低，但目前更重要的还是让长文本模型也能以较低的价格给到开发者。 结合多模态的生成能力，无论是视频领域还是 GPT4 演示的语音助手领域，我认为都会有更多新场景演化出来。
93610编辑于 2024-07-24 - 来自专栏韩东吉的Unity杂货铺
零基础入门 4： 窗口介绍（完）
上一篇将Unity里几个比较重要的窗口先进行了讲解，以及如何自定义窗口布局，不知道大家都消化的怎么样，今天这篇窗口介绍，将把剩余window的窗口一一进行介绍。 当点选对象上存在Animator组件时，打开动画窗口会直接显示编辑窗口而非创建窗口。 实际操作如下图，我先点选了没有动画的摄像机对象，然后打开Animation窗口，弹出窗口提示让我去创建新的动画。 ---- Animator：动画控制器窗口 Animator窗口和Animation窗口并不是同样的内容，但是却都是用来控制动画的窗口。两个窗口内容也完全不同。所以大家不要搞混。 ---- Sprite Packer：贴图打包窗口 SpritePacker窗口是Unity的贴图合并窗口，Unity提供了这样的一种窗口去合并Unity内部的Sprite。 我贴出几张自定义窗口的图，来告诉大家不仅仅可以研究Unity自带的窗口，也可以自己实现一些自定义的窗口。 ? ? ? ? ? 这上面的所有窗口都是自定义的。
2K20发布于 2018-10-19 - 来自专栏AI分享
动态NTK与Azure推理优化：低成本扩展LLM上下文窗口
在自然语言处理领域的广泛应用，其上下文窗口（Context Window）的限制逐渐成为制约模型性能的关键因素。 传统LLM的上下文窗口通常在2k至32k tokens之间，难以满足长文本生成、复杂推理和知识整合等场景需求。 与此同时，云平台如通过硬件优化和算法协同设计，进一步降低了扩展上下文窗口的计算开销。本文将从技术原理、实现路径及工程实践角度，探讨动态NTK与推理优化的协同效应。 通过块稀疏模式（Block Sparsity）保持硬件友好性，在NVIDIA Ampere架构上实现2:4结构化稀疏（每4个元素保留2个非零值），配合稀疏张量核心获得1.7倍实际加速。 动态NTK通过动态调整位置编码频率，以低成本实现了LLM上下文窗口的高效扩展，而硬件优化与资源管理技术进一步放大了其工程价值。
4.4K11编辑于 2025-04-15 - 来自专栏AI大模型应用开发炼丹房
智能体上下文窗口告急！8种策略破解AI记忆困局
引言：为什么记忆管理是AI系统的生死线当前大模型应用的致命瓶颈在于上下文窗口限制。 当对话轮数超过GPT-4 Turbo的128K上限，或本地部署模型仅支持4K上下文时，系统面临两难抉择：遗忘早期关键信息导致逻辑断层（如用户说“按上次方案处理”）突破长度限制带来的指数级计算成本增长本文将深入解析 滑动窗口（Sliding Window）from collections import deque window = deque(maxlen=5) # 保留最近5轮对话✅ 优势：固定上下文长度 工程技巧：动态调整窗口大小（根据对话复杂度在3-10轮间浮动）二、进阶策略：平衡记忆与性能3. Embedding相似度打分4.
1.7K52编辑于 2025-07-31 - 来自专栏量子位
百万token上下文窗口也杀不死向量数据库？CPU笑了
随着新晋大语言模型们的上下文窗口（Context Window）变得越发得长，业界人士针对“RAG终将消亡”观点的讨论也是愈演愈烈。 有网友便列举了长上下文窗口的四大通病（四个V）： Velocity（速度）：基于Transformer的大型模型，在检索长上下文时要想达到亚秒级的速度响应仍然具有挑战性。 Value（价值）：长上下文窗口毕竟属于大力出奇迹，但它高支出的特点对于日常应用来说，在成本上是不切实际的。 Volume（体量）：即使上下文窗口越发得长，但和全网庞大的非结构化数据相比就是小巫见大巫；尤其是企业级动辄GB、TB这种体量，还涉及众多私有数据的情形。 从这些特性不难看出，它恰好补齐了我们刚才提到的上下文窗口方式的一些短板。
44610编辑于 2024-03-20 - 来自专栏腾讯云流计算 Oceanus
Flink 实践教程：进阶4-窗口 TOP N
首先使用 Python 脚本模拟生成商品购买数据（每秒钟发送一条）并发送到 CKafka，随后在 Oceanus 平台创建 Flink SQL 作业实时读取 CKafka 中的商品数据，经过滚动窗口（基于事件时间 创建消息队列 CKafka 进入 CKafka 控制台 [3]，点击左上角【新建】，创建 CKafka 实例，具体可参考 CKafka 创建实例 [4]。 进入实例数据库，创建 oceanus_advanced4_output 表，用于接收数据。 编写业务 SQL -- 创建临时视图，用于将原始数据过滤、窗口聚合 CREATE VIEW `kafka_json_source_view` AS SELECT TUMBLE_START(time_stamp 更多窗口函数的使用参考 时间窗口函数 [11]。
1.3K120编辑于 2021-12-22 - 来自专栏学谦数据运营
Extreme DAX-第4章 上下文和筛选
4.3.4 步骤 4：对表达式进行计算 CALCULATE 工作顺序的最后一步很简单：在设置完筛选上下文、删除筛选器并添加新筛选器之后，我们就可以在新的上下文中计算第一个参数中的表达式了。 = 4 VAR TableVariable = FILTER( ALL(fSales[UnitAmount]), fSales[UnitAmount] = Variable4 ) RETURN TableVariable 注意 Variable4 和 TableVariable 在 CALCULATE 的筛选器参数中使用；两者都在原始查询上下文中进行计算。 相反，Variable4 和 TableVariable 不能在 CALCULATE 的第一个参数中使用。Variable1 和 Variable2 是整个表达式的一部分，可以在任何地方使用。 让我们再次回顾一下 AvgUnitAmount4 的度量。
7.4K21编辑于 2022-05-24 - 来自专栏机器之心
上下文窗口1.6万token、30亿参数，Stability Al代码大模型来了
三大版本：基础、指令、长上下文窗口模型 StableCode 通过三个不同版本的模型来帮助开发者变得更加高效。 其中基础模型为「StableCode-Completion-Alpha-3B-4K」，它是一个 30 亿参数的仅使用解码器的代码补全模型。 Huggingface：https://huggingface.co/stabilityai/stablecode-completion-alpha-3b-4k 在基础模型的基础上，针对特定用例进行调整的指令模型 长上下文窗口模型「StableCode-Completion-Alpha-3B」可称得上完美的助手，确保用户使用单行和多行自动代码补全建议。 与以往发布的开源模型相比，该模型的上下文窗口达到了 16000 token（比任何其他模型都大），一次性可以处理的代码更多，是以往的 2-4 倍。
34830编辑于 2023-09-08 - 来自专栏自然语言处理
为什么大上下文窗口还不够（至少目前如此）
OpenAI 最近发布的 GPT-4.1 震动了 AI 社区：惊人的 100 万 token 上下文窗口、精准度大幅提升，而 Gemini 2.5 在研究模式下甚至宣称支持高达 1000 万 token 无限上下文的幻觉 GPT-4.1、GPT-4.1 mini 和 GPT-4.1 nano 最多可处理 100 万个上下文 token，而之前的 GPT-4o 模型最多可处理 12.8 万个。 GPT-4.1 能够可靠地处理 100 万 token 上下文长度的信息，并在注意相关文本和忽略长短上下文干扰项方面比 GPT-4o 更加可靠。 长上下文理解是法律、编程、客户支持以及许多其他领域应用的关键能力。 大上下文模型看起来像是灵丹妙药。 结论 虽然未来可能会带来支持仅使用上下文窗口模型的突破，但现在需要实用的解决方案。目前，RAG 仍然是有意义、可扩展的 AI 应用的唯一可行选择。RAG 不仅没有消亡 —— 它正在茁壮成长。
37510编辑于 2025-04-17 - 来自专栏DeepHub IMBA
更大的上下文窗口为什么让RAG变得更重要而非更多余
一旦模型能读完所有内容检索增强生成（RAG）就没有存在的必要了，开发者只需要把整个代码库或者多年的聊天记录塞进 prompt，让模型自行处理，所以AI行业花了好几年追逐更大的上下文窗口：4K → 32K 在不少实际系统中，更大的上下文窗口反而拖累了模型表现。 模型需要在数学意义上判定哪些内容重要：上下文规模一大，信噪比就塌了。 用一个小上下文的场景做对照：5K token 的窗口，200 token 的相关信息，信号占比 4%，模型可以轻松锁定事实。 RAG + 大上下文 解决方案不在二选一。现代 AI 系统把精确检索和大上下文窗口结合在一起，用前者保证信号质量，用后者容纳旧模型放不下的多文档推理。 标准的生产管道是这样的： 接收用户查询。 筛选上下文窗口 best_chunks = reranked_results[:7] # 4.
7610编辑于 2026-03-31 - 来自专栏深度学习和计算机视觉
【从零学习OpenCV 4】创建图像窗口滑动条
经过几个月的努力，小白终于完成了市面上第一本OpenCV 4入门书籍《从零学习OpenCV 4》。 为了更让小伙伴更早的了解最新版的OpenCV 4，小白与出版社沟通，提前在公众号上连载部分内容，请持续关注小白。 图像窗口滑动条，顾名思义就是在显示图像的窗口中创建能够通过滑动改变数值的滑动条。 OpenCV 4中通过createTrackbar()函数在显示图像的窗口上创建滑动条，该函数的函数原型在代码清单3-54中给出。 int * value, 4. int count, 5. 函数第一个参数是滑动条的名称，第二个参数是创建滑动条的图像窗口的名称。
3.2K20发布于 2019-12-13 - 来自专栏个人编程技术学习与分享
Python教程4-使用tkinter窗口模块的Label
作者： zifanwang 发布于2020-05-26 1.简单的窗口 tkinter是一个窗口模块，可以用来弹出窗口。 新建一个py文件并输入： from tkinter import * root=Tk() root.mainloop() 运行后便可以弹出简单的窗口了： image.png 2.Label 使用 Label
1.2K10编辑于 2021-12-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号