- 综合排序
- 最热优先
- 最新优先
- 来自专栏前端必修课
超长上下文模型知识库实战
承接上一篇《数据库接入大模型实战》，除了上述优化方案，还有一种更直接的方法：使用超长上下文的模型，将资料直接拖入对话框，让AI自动检索。 模型窗口进化与测试 如上图所示，过去两年内，模型的上下文窗口长度大幅提升。例如Gemini 2.0 Pro已支持2000万token的上下文，足以容纳四大名著。下面以Gemini为例进行测试。 本文以Gemini 2.0 Flash模型为例，支持100万token上下文，并有免费额度。 复制Gemini 2.0 Flash 模型ID。 回到 Cherry Studio，填写模型ID并添加。 知识库检索实战 接下来测试知识库能力。以全本《三国演义》为例，用VSCode打开，将张飞打造的武器改为“丈九棒棒糖”，保存。 整个《三国演义》仅消耗了约一半上下文窗口。利用Gemini超大上下文进行知识库检索，是一种高效方案。 总结与展望 AI知识库常被称为“demo五分钟，上线一年”。
67320编辑于 2025-05-05 - 来自专栏朴素人工智能
Transformer-XL 超长上下文注意力模型
上期我们了解到Transformer是有能力学习到文本的长时依赖的，但是我们也不能不注意到，Transformer的复杂度是O（n^2)。 本文就提出了一种网络结构Transformer-XL，它不但可以捕捉文本更长时的依赖，同时可以解决文本被分成定长后产生的上下文碎片问题。 如此一来，两个片段之前的上下文信息可以进行有效的传递。 进一步地，作者提出，在理论上不仅仅可以储存并重用之前一个片段的结果，只要GPU允许，完全可以重用前几个片段的结果，使上下文联系更远。
1.2K20发布于 2020-05-07 VFP AI 插件：超长上下文的识别(二)
距离上一篇VFP AI 插件：超长上下文的识别(一)有些时间了。经过不断的试错和优化，终于完成了 VFP AI 插件的超长上下的识别。将时间从数小时压缩至最多几十分钟。
10310编辑于 2026-03-10VFP AI 插件：超长上下文的识别(一)
VFP AI 插件在访问大模型时，有一个上下文长度的问题。 对于 DeepSeek 而言，其大小为 128K(=128000 token)。 VFP AI 插件 2025.12.15 版，初步实现超长上下文的处理： 所分析 VCX 类库，使用类浏览器转换出的 prg 格式文件，文件体积为 400+KB，共 10329 行，超过模型最大上下文的最大限制
12810编辑于 2026-03-10- 来自专栏GiantPandaCV
如何用Infini-attention实现超长上下文Transformer
通过这种设计，Infini-attention有效地增强了Transformer模型处理长期依赖关系的能力，同时保持对局部上下文的 敏感度。 通过这些不同的内存和上下文窗口管理策略，各模型试图在内存效率和长期依赖建模能力之间找到平衡。 该研究的目的是评估不同模型在处理具有长上下文依赖的文本序列时的表现，主要通过平均tokens级困惑度来衡量，该指标反映了模型预测文本序列的能力。困惑度越低，模型的预测能力越强。 在对比中，传统的Transformer-XL使用较大的缓存来扩展其上下文处理能力，但在PG19和Arxiv-math数据集上的困惑度相对较高，表明其在处理长文本序列上存在局限。 信息的损失可能会影响模型对上下文的理解能力，从而影响任务的最终性能。此外，压缩和解压过程的设计需要精细的平衡，以确保既不过度压缩以损失重要信息，也不过少压缩而浪费存储和计算资源。
1.3K10编辑于 2024-04-26 - 来自专栏机器之心
CMU、谷歌提出Transformer-XL：学习超长上下文关系
由于上下文的长度是固定的，因此模型无法捕获任何超过预定义上下文长度的长期依赖性。此外，长度固定的片段都是在不考虑句子或其它语义边界的情况下通过选择连续的符号块来创建的。 因此，模型缺乏必要的上下文信息来很好地预测前几个符号，这就导致模型的优化效率和性能低下。我们将这个问题称为上下文碎片化。 为了解决上文提到的上下文固定长度的限制，本文提出了一种叫做 Transformer-XL（超长）的新架构。我们将循环概念引入了深度自注意力网络。 因此，对超长期依赖性建模成为了可能，因为信息可以通过循环连接来传播。同时，从之前的片段传递信息也可以解决上下文碎片化的问题。 我们的方法不仅可以捕获更长的依赖关系，还可以解决上下文碎片化的问题。
1K20发布于 2019-04-30 - 来自专栏IT技术订阅
月之暗面Kimi及超长上下文处理技术
自学习能力：Kimi内置了自学习机制，能够不断地通过训练和用户反馈优化其算法和模型，从而提升智能水平和响应的准确性。 2. 超长上下文处理：Kimi支持高达200万字的最长上下文输入，这是在大模型长上下文处理技术上的一个重要突破，使得它能够更好地理解和处理复杂、连贯的文本信息，比如用于论文总结、电影剧本分析、录音内容整理等。 强大的技术支持：Kimi的背后有中科曙光提供的强大算力支持，以及月之暗面自研的千亿参数大模型，这些技术基础保障了Kimi高效稳定运行和持续的技术创新能力。 Kimi实现超长上下文处理的技术原理 Kimi实现超长上下文处理的技术原理涉及到几个关键技术点，这些技术共同作用使其能够处理长达200万字的文本而不损失上下文信息，具体包括： 1. Kimi采用了更大规模的Transformer模型，并对模型结构进行了优化，以适应超长文本的处理需求。 2. 分块与重组技术：面对超长文本，直接将整个文本送入模型可能会超出硬件限制。
4.3K10编辑于 2024-05-10 超长输出强化学习提升大语言模型推理能力
UloRL：一种提升大语言模型推理能力的超长输出强化学习方法摘要 近期大语言模型（LLMs）的发展表明，基于可验证奖励的强化学习（RLVR）能通过扩展输出序列增强推理能力。 然而传统RL框架在处理超长输出时面临长尾序列分布和训练过程中的熵崩溃问题。 为此，我们提出超长输出强化学习（UloRL）方法，具体包括：将超长输出解码划分为短片段，通过缓解长尾样本导致的延迟实现高效训练引入动态掩码技术处理已掌握的正向标记（MPTs）以防止熵崩溃实验证明该方法显著提升性能
28510编辑于 2025-08-05- 来自专栏sktj
flask 上下文变量(flask 11)
全局变量 from flask import g @app.before_request def get_name(): g.name=request.args.get('name') 程序上下文钩子
37310发布于 2019-08-13 - 来自专栏大模型系列
万字长文详解DeepSeek：DeepSeek是什么-超长上下文
成立不到三年，DeepSeek已发布包括DeepSeek-Coder、DeepSeek-MoE、DeepSeek-VL、DeepSeek-R1等多个重量级模型，在代码生成、混合专家架构、多模态理解与推理能力等方面实现多项突破 DeepSeek-R1：强化推理能力，支持复杂逻辑链、数学证明、代码调试。引入强化学习（RL）微调，显著提升任务完成率与鲁棒性。 2.超长上下文支持支持128Ktokens上下文窗口（部分版本达1M）。采用ALiBi（AttentionwithLinearBiases）或YaRN位置编码，有效缓解长度外推问题。 指令微调（SFT）：基于人工标注与合成数据优化对齐能力。强化学习（RLHF/RLAIF）：在R1版本中引入，提升复杂任务推理能力。
3.2K60编辑于 2026-04-06 - 来自专栏千帆企业应用连接器
【神笔aPaaS】11月能力月报
事件格式、关联选择器以及移动端页面优化 5、支持多人协同开发，支持页面锁定&解锁，提高协同开发体验 6、新增视频播放器组件，可以在页面中轻松添加视频内容 7、丰富页面CSS样式，并开放升级样式低码能力 8、支持页面参数管理，页面支持全局、局部变量以及页面入参传递，且支持组件数据源、默认值、唤起流程等场景使用变量 9、升级前端表达式能力，支持变量、上下文以及组件值在表达式中获取使用；支持组件默认值 、数据源、显示条件等场景使用变量值 10、升级动作编辑器，支持变量赋值、触发组件动作等能力 image.png 11、Web SDK升级，增强自定义组件扩展能力 12、其他页面优化点，涉及移动导航 6、流程查询记录节点支持排序功能 image.png 7、流程管控展示日志优化 image.png image.png 03对象模型 1、RestfulAPI支持外部数据源构建外部对象-支持表达式低码能力 Excel数据支持导入/导出主子表 image.png image.png image.png 3、页面查询表单支持1对n搜索 4、汇总字段支持按条件筛选 image.png 5、新增数据审计能力
82130编辑于 2021-12-07 - 来自专栏花叔的专栏
11-9小程序新能力
11月9日发布的小程序新能力，其实在技术上没什么特点，就不做解读了，后头应该有更劲爆的。 “ 为帮助开发者快速推广小程序，公众号文章底部广告位现已支持推广小程序。
90270发布于 2018-04-18 - 来自专栏机器之心
Transformer的上下文学习能力是哪来的？
它给众多大语言模型带来的上下文学习 (In-Context Learning) 能力是从何而来？ 此外，研究人员发现所得的 mesa 优化算法表现出上下文中的小样本学习能力，与模型规模无关。因此，新的结果对此前大语言模型中出现的小样本学习的原理进行了补充。 与 LLM 类似，实验表明简单的自回归训练模型也可以成为上下文学习者，而即时调整对于改善 LLM 的上下文学习至关重要，也可以提高特定环境中的表现。 在初步的语言建模实验后发现，用 mesa 层替换标准的自注意力层获得了有希望的结果，证明了该层具有强大的上下文学习能力。 该研究假设 LLM 也存在 mesa 优化，从而提高了其上下文学习能力。有趣的是，该研究还观察到，为 LLM 有效调整 prompt 也可以带来上下文学习能力的实质性改进。
55340编辑于 2023-09-19 - 来自专栏新智元
清华NLP组发布InfLLM：无需额外训练，「1024K超长上下文」100%召回！
新智元报道 编辑：LRS 【新智元导读】挖掘大模型固有的长文本理解能力，InfLLM在没有引入额外训练的情况下，利用一个外部记忆模块存储超长上下文信息，实现了上下文长度的扩展。 这些真实应用也给LLMs处理超长序列的能力提出了更高的要求，例如LLM驱动的智能体需要基于所有历史记忆持续处理从外部环境接收的信息，对话式AI需要更好地记忆与用户的对话内容从而产生个性化回答。 方法介绍 InfLLM示意图 为了高效地实现大模型的长度泛化能力，作者提出了一种无需训练的记忆增强方法，InfLLM，用于流式地处理超长序列。 InfLLM旨在激发LLMs的内在能力，以有限的计算成本捕获超长上下文中的长距离语义依赖关系，从而实现高效的长文本理解。 超长文本实验 此外，作者继续探索了 InfLLM 在更长文本上的泛化能力，在 1024K 长度的「海底捞针」任务中仍能保持 100% 的召回率。
2.1K10编辑于 2024-03-13 - 来自专栏机器之心
面向超长上下文，大语言模型如何优化架构，这篇综述一网打尽了
机器之心报道 编辑：rome rome 作者重点关注了基于 Transformer 的 LLM 模型体系结构在从预训练到推理的所有阶段中优化长上下文能力的进展。 最近的一篇综述论文对此进行了全面的调研，作者重点关注了基于 Transformer 的 LLM 模型体系结构在从预训练到推理的所有阶段中优化长上下文能力的进展。 因此，论文全面回顾了致力于改进 LLM 长上下文能力的各个阶段的最新方法，并将它们组织成一个统一的分类法，如图 1 (b) 所示。 杂项 (论文第 7 节)：探讨了各种一般且有价值的方法，这些方法不容易归入前面四类，为推进 LLM 的长上下文能力提供了更广泛的视角。 随着 LLM 在现实世界场景中的快速部署，越来越迫切地需要更可靠的度量来评估长上下文能力，特别是在生成性任务中，其中精确的真实性难以捉摸。
1.5K10编辑于 2024-01-04 - 来自专栏新智元
推理随意开关，128k超长上下文
刚刚，Hugging Face推出了目前最强的30亿参数模型SmolLM3： · 双推理模式：think，no_think · 超长上下文：最长可达128k · 多语言支持：英语、法语、西班牙语、德语、 模型架构与预训练阶段 在Llama架构的基础上，SmolLM3引入多项关键改进，以提升效率和长上下文处理能力。 长上下文扩展 在主预训练完成后，额外训练了SmolLM3，进一步扩展模型的上下文处理能力。 此外，借鉴Qwen2.5，在推理阶段，这次采用YARN技术，将上下文窗口从训练时的64k外推至128k，上下文扩展了2倍。 推理中间训练阶段 为了进一步注入通用推理能力，还有一项训练：推理中间训练。 为此，团队追溯到推理中间训练阶段，发现模型长上下文处理能力有所损失。 此外，APO训练数据的上下文限制24k token。 为了解决这一问题并缓解性能下降，团队开始探索模型合并。
51310编辑于 2025-07-10 - 来自专栏AgenticAI
首个线性注意力架构的大模型来了，MiniMax 400 万超长上下文大模型重磅开源！
400 万超长上下文，MiniMax-Text-01 能够高效处理高达 400 万 token的上下文，是 GPT-4o 的 32 倍，Claude-3.5-Sonnet 的 20 倍。 本文接下来将从实测、数据集评估、技术解析三个方面展开，深入探讨 MiniMax 如何在低成本的前提下实现高效超长上下文处理。 1. 实测 400 万超长上下文窗口，测试的场景可就太有意思了。 LongBench v2由清华大学领头开发，面向现实情景的长上下文基准测评数据集，涵盖多任务类别，具有高难度和多样性，重点测试模型的推理能力和计算扩展性。 学术数据集评测 榜单对比都是当前业界榜上顶尖大模型，以超长上下文混合线性注意力架构的 MiniMax-Text-01 表现如何呢？ 超长上下文的支持使得处理超大规模文本变得可能，也将能够催生一系列新兴的 Agentic 应用。
1.6K10编辑于 2025-03-18 我们如何用 Gateone.ai 将超长上下文多模态理解转化为可规模化的智能产品引擎
当 Qwen3-VL 能 “读懂整本教材、秒级定位两小时视频”：我们如何用 Gateone.ai 将超长上下文多模态理解转化为可规模化的智能产品引擎就在我们为多模态模型 “看得见却读不懂”“读得懂却记不住 ” 而反复重构数据架构时，通义千问团队开源了 Qwen3-VL—— 一个原生支持 256K token 上下文、可扩展至百万 token 的超长上下文视觉语言模型。 一、超长上下文多模态理解的 “能力奇点” 与落地断层我们第一时间将 Qwen3-VL 接入内部智能文档平台，试图打造 “一本教材即一个智能体” 的教育产品，却迅速遭遇三大工程瓶颈：1. -VL 仅提供原始推理接口，缺乏对输入结构的感知能力，导致我们不得不在模型外层构建复杂的预处理逻辑，延迟飙升 300%。 三、Gateone.ai：让超长上下文多模态理解从 “技术奇迹” 走向 “产品基础设施”当 Qwen3-VL 用百万 token 上下文重新定义多模态智能的边界时，Gateone 正在让这项能力真正嵌入千行百业的产品核心
28110编辑于 2025-10-30- 来自专栏新智元
数推性能比肩ChatGPT，200K超长上下文完美召回
200K超长上下文「完美」支持，20B版本综合性能全面领先。 就在今天，上海人工智能实验室与商汤科技联合香港中文大学和复旦大学，正式发布新一代大语言模型书⽣·浦语2.0（InternLM2）。 它可以支持200K超长上下文，约30万字文本，在「大海捞针实验」中实现了完美的召回率。 相较于初代InternLM，新一代大模型轻量级（7B）及中量级（20B）性能在同量级模型中表现优异。 与第一代InternLM相比，InternLM2在大规模高质量的验证语料上的Loss分布整体左移，表明了其语言建模能力的实质性增强 支持200K超长上下文，「大海捞针」近乎完美 长语境输入及理解能力能够显著拓展大模型的应用场景 试验结果表明，InternLM2在上下文长度延展到200K时依旧保持了近乎完美的召回成功率，验证了InternLM2对于超长上下文坚实的支持能力。 向InternLM2输入国家统计局公布的「2023年3-11月份规模以上工业企业主要财务指标（分行业）」，InternLM2能够分析数据并绘制折线图 参考资料： www.shlab.org.cn/
90210编辑于 2024-01-17 - 来自专栏高渡号外
学会创建模拟数据的能力 | 代码找bug（11）
Python代码找bug（11） 上期的代码设计需求：互换两个变量的值。 代码如下： ? 请大家仔细阅读代码，找出其中的bug！ 正确答案： 共有2个问题。
50030发布于 2020-09-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号