- 综合排序
- 最热优先
- 最新优先
- 来自专栏前端必修课
超长上下文模型知识库实战
承接上一篇《数据库接入大模型实战》，除了上述优化方案，还有一种更直接的方法：使用超长上下文的模型，将资料直接拖入对话框，让AI自动检索。 模型窗口进化与测试 如上图所示，过去两年内，模型的上下文窗口长度大幅提升。例如Gemini 2.0 Pro已支持2000万token的上下文，足以容纳四大名著。下面以Gemini为例进行测试。 本文以Gemini 2.0 Flash模型为例，支持100万token上下文，并有免费额度。 复制Gemini 2.0 Flash 模型ID。 回到 Cherry Studio，填写模型ID并添加。 知识库检索实战 接下来测试知识库能力。以全本《三国演义》为例，用VSCode打开，将张飞打造的武器改为“丈九棒棒糖”，保存。 整个《三国演义》仅消耗了约一半上下文窗口。利用Gemini超大上下文进行知识库检索，是一种高效方案。 总结与展望 AI知识库常被称为“demo五分钟，上线一年”。
67320编辑于 2025-05-05 - 来自专栏朴素人工智能
Transformer-XL 超长上下文注意力模型
上期我们了解到Transformer是有能力学习到文本的长时依赖的，但是我们也不能不注意到，Transformer的复杂度是O（n^2)。 本文就提出了一种网络结构Transformer-XL，它不但可以捕捉文本更长时的依赖，同时可以解决文本被分成定长后产生的上下文碎片问题。 如此一来，两个片段之前的上下文信息可以进行有效的传递。 进一步地，作者提出，在理论上不仅仅可以储存并重用之前一个片段的结果，只要GPU允许，完全可以重用前几个片段的结果，使上下文联系更远。
1.2K20发布于 2020-05-07 VFP AI 插件：超长上下文的识别(二)
距离上一篇VFP AI 插件：超长上下文的识别(一)有些时间了。经过不断的试错和优化，终于完成了 VFP AI 插件的超长上下的识别。将时间从数小时压缩至最多几十分钟。
10310编辑于 2026-03-10VFP AI 插件：超长上下文的识别(一)
VFP AI 插件在访问大模型时，有一个上下文长度的问题。 对于 DeepSeek 而言，其大小为 128K(=128000 token)。 VFP AI 插件 2025.12.15 版，初步实现超长上下文的处理： 所分析 VCX 类库，使用类浏览器转换出的 prg 格式文件，文件体积为 400+KB，共 10329 行，超过模型最大上下文的最大限制
12810编辑于 2026-03-10- 来自专栏GiantPandaCV
如何用Infini-attention实现超长上下文Transformer
通过这种设计，Infini-attention有效地增强了Transformer模型处理长期依赖关系的能力，同时保持对局部上下文的 敏感度。 通过这些不同的内存和上下文窗口管理策略，各模型试图在内存效率和长期依赖建模能力之间找到平衡。 该研究的目的是评估不同模型在处理具有长上下文依赖的文本序列时的表现，主要通过平均tokens级困惑度来衡量，该指标反映了模型预测文本序列的能力。困惑度越低，模型的预测能力越强。 在对比中，传统的Transformer-XL使用较大的缓存来扩展其上下文处理能力，但在PG19和Arxiv-math数据集上的困惑度相对较高，表明其在处理长文本序列上存在局限。 信息的损失可能会影响模型对上下文的理解能力，从而影响任务的最终性能。此外，压缩和解压过程的设计需要精细的平衡，以确保既不过度压缩以损失重要信息，也不过少压缩而浪费存储和计算资源。
1.3K10编辑于 2024-04-26 - 来自专栏机器之心
CMU、谷歌提出Transformer-XL：学习超长上下文关系
由于上下文的长度是固定的，因此模型无法捕获任何超过预定义上下文长度的长期依赖性。此外，长度固定的片段都是在不考虑句子或其它语义边界的情况下通过选择连续的符号块来创建的。 因此，模型缺乏必要的上下文信息来很好地预测前几个符号，这就导致模型的优化效率和性能低下。我们将这个问题称为上下文碎片化。 为了解决上文提到的上下文固定长度的限制，本文提出了一种叫做 Transformer-XL（超长）的新架构。我们将循环概念引入了深度自注意力网络。 因此，对超长期依赖性建模成为了可能，因为信息可以通过循环连接来传播。同时，从之前的片段传递信息也可以解决上下文碎片化的问题。 我们的方法不仅可以捕获更长的依赖关系，还可以解决上下文碎片化的问题。
1K20发布于 2019-04-30 - 来自专栏IT技术订阅
月之暗面Kimi及超长上下文处理技术
自学习能力：Kimi内置了自学习机制，能够不断地通过训练和用户反馈优化其算法和模型，从而提升智能水平和响应的准确性。 2. 超长上下文处理：Kimi支持高达200万字的最长上下文输入，这是在大模型长上下文处理技术上的一个重要突破，使得它能够更好地理解和处理复杂、连贯的文本信息，比如用于论文总结、电影剧本分析、录音内容整理等。 强大的技术支持：Kimi的背后有中科曙光提供的强大算力支持，以及月之暗面自研的千亿参数大模型，这些技术基础保障了Kimi高效稳定运行和持续的技术创新能力。 Kimi实现超长上下文处理的技术原理 Kimi实现超长上下文处理的技术原理涉及到几个关键技术点，这些技术共同作用使其能够处理长达200万字的文本而不损失上下文信息，具体包括： 1. Kimi采用了更大规模的Transformer模型，并对模型结构进行了优化，以适应超长文本的处理需求。 2. 分块与重组技术：面对超长文本，直接将整个文本送入模型可能会超出硬件限制。
4.3K10编辑于 2024-05-10 超长输出强化学习提升大语言模型推理能力
UloRL：一种提升大语言模型推理能力的超长输出强化学习方法摘要 近期大语言模型（LLMs）的发展表明，基于可验证奖励的强化学习（RLVR）能通过扩展输出序列增强推理能力。 然而传统RL框架在处理超长输出时面临长尾序列分布和训练过程中的熵崩溃问题。 为此，我们提出超长输出强化学习（UloRL）方法，具体包括：将超长输出解码划分为短片段，通过缓解长尾样本导致的延迟实现高效训练引入动态掩码技术处理已掌握的正向标记（MPTs）以防止熵崩溃实验证明该方法显著提升性能
28510编辑于 2025-08-05- 来自专栏大模型系列
万字长文详解DeepSeek：DeepSeek是什么-超长上下文
成立不到三年，DeepSeek已发布包括DeepSeek-Coder、DeepSeek-MoE、DeepSeek-VL、DeepSeek-R1等多个重量级模型，在代码生成、混合专家架构、多模态理解与推理能力等方面实现多项突破 DeepSeek-R1：强化推理能力，支持复杂逻辑链、数学证明、代码调试。引入强化学习（RL）微调，显著提升任务完成率与鲁棒性。 2.超长上下文支持支持128Ktokens上下文窗口（部分版本达1M）。采用ALiBi（AttentionwithLinearBiases）或YaRN位置编码，有效缓解长度外推问题。 指令微调（SFT）：基于人工标注与合成数据优化对齐能力。强化学习（RLHF/RLAIF）：在R1版本中引入，提升复杂任务推理能力。
3.2K60编辑于 2026-04-06 - 来自专栏机器之心
Transformer的上下文学习能力是哪来的？
它给众多大语言模型带来的上下文学习 (In-Context Learning) 能力是从何而来？ 此外，研究人员发现所得的 mesa 优化算法表现出上下文中的小样本学习能力，与模型规模无关。因此，新的结果对此前大语言模型中出现的小样本学习的原理进行了补充。 与 LLM 类似，实验表明简单的自回归训练模型也可以成为上下文学习者，而即时调整对于改善 LLM 的上下文学习至关重要，也可以提高特定环境中的表现。 在初步的语言建模实验后发现，用 mesa 层替换标准的自注意力层获得了有希望的结果，证明了该层具有强大的上下文学习能力。 该研究假设 LLM 也存在 mesa 优化，从而提高了其上下文学习能力。有趣的是，该研究还观察到，为 LLM 有效调整 prompt 也可以带来上下文学习能力的实质性改进。
55340编辑于 2023-09-19 - 来自专栏新智元
清华NLP组发布InfLLM：无需额外训练，「1024K超长上下文」100%召回！
新智元报道 编辑：LRS 【新智元导读】挖掘大模型固有的长文本理解能力，InfLLM在没有引入额外训练的情况下，利用一个外部记忆模块存储超长上下文信息，实现了上下文长度的扩展。 这些真实应用也给LLMs处理超长序列的能力提出了更高的要求，例如LLM驱动的智能体需要基于所有历史记忆持续处理从外部环境接收的信息，对话式AI需要更好地记忆与用户的对话内容从而产生个性化回答。 方法介绍 InfLLM示意图 为了高效地实现大模型的长度泛化能力，作者提出了一种无需训练的记忆增强方法，InfLLM，用于流式地处理超长序列。 InfLLM旨在激发LLMs的内在能力，以有限的计算成本捕获超长上下文中的长距离语义依赖关系，从而实现高效的长文本理解。 超长文本实验 此外，作者继续探索了 InfLLM 在更长文本上的泛化能力，在 1024K 长度的「海底捞针」任务中仍能保持 100% 的召回率。
2.1K10编辑于 2024-03-13 - 来自专栏机器之心
面向超长上下文，大语言模型如何优化架构，这篇综述一网打尽了
机器之心报道 编辑：rome rome 作者重点关注了基于 Transformer 的 LLM 模型体系结构在从预训练到推理的所有阶段中优化长上下文能力的进展。 最近的一篇综述论文对此进行了全面的调研，作者重点关注了基于 Transformer 的 LLM 模型体系结构在从预训练到推理的所有阶段中优化长上下文能力的进展。 因此，论文全面回顾了致力于改进 LLM 长上下文能力的各个阶段的最新方法，并将它们组织成一个统一的分类法，如图 1 (b) 所示。 杂项 (论文第 7 节)：探讨了各种一般且有价值的方法，这些方法不容易归入前面四类，为推进 LLM 的长上下文能力提供了更广泛的视角。 随着 LLM 在现实世界场景中的快速部署，越来越迫切地需要更可靠的度量来评估长上下文能力，特别是在生成性任务中，其中精确的真实性难以捉摸。
1.5K10编辑于 2024-01-04 - 来自专栏java金融
超长JVM总结,面试必备
JVM 是可运行 Java 代码的假想计算机 ，包括一套字节码指令集、一组寄存器、一个栈、一个垃圾回收，堆 和 一个存储方法域。JVM 是运行在操作系统之上的，它与硬件没有直接的交互。
75120发布于 2020-08-05 - 来自专栏c#Winform自定义控件系列
c# 文本超长截断
根据控件大小进行截断 private void SetStringTruncat(Static.LabelEx lbl) { string oldStr = lbl.Text; if (string.IsNullOrEmpty(oldStr)) return; Graphics g = lbl.CreateGraphics(); string strNewSt
1K40发布于 2019-09-11 - 来自专栏coding个人笔记
分片加载超长列表渲染
很早以前就有面试问超长列表如何优化，那时候觉得一般前端不会有这种功能，有也是分页，也就没有去关注。今天分享一个超长列表渲染的优化方法，分片加载，现在几乎也都不会用了，但是还是要知道这个东西。
68110发布于 2020-06-01 - 来自专栏PostgreSQL研究与原理解析
PostgreSQL异常宕机重启时间超长
异常关闭后，重启后一直打印starting up，持续时间很长。并且，异常关闭前没有大量write的业务，也就是说没有需要大量恢复的redo日志。那么时间耗费在哪里了？
1.5K20发布于 2020-10-28 - 来自专栏AgenticAI
首个线性注意力架构的大模型来了，MiniMax 400 万超长上下文大模型重磅开源！
400 万超长上下文，MiniMax-Text-01 能够高效处理高达 400 万 token的上下文，是 GPT-4o 的 32 倍，Claude-3.5-Sonnet 的 20 倍。 本文接下来将从实测、数据集评估、技术解析三个方面展开，深入探讨 MiniMax 如何在低成本的前提下实现高效超长上下文处理。 1. 实测 400 万超长上下文窗口，测试的场景可就太有意思了。 LongBench v2由清华大学领头开发，面向现实情景的长上下文基准测评数据集，涵盖多任务类别，具有高难度和多样性，重点测试模型的推理能力和计算扩展性。 学术数据集评测 榜单对比都是当前业界榜上顶尖大模型，以超长上下文混合线性注意力架构的 MiniMax-Text-01 表现如何呢？ 超长上下文的支持使得处理超大规模文本变得可能，也将能够催生一系列新兴的 Agentic 应用。
1.6K10编辑于 2025-03-18 - 来自专栏新智元
推理随意开关，128k超长上下文
刚刚，Hugging Face推出了目前最强的30亿参数模型SmolLM3： · 双推理模式：think，no_think · 超长上下文：最长可达128k · 多语言支持：英语、法语、西班牙语、德语、 模型架构与预训练阶段 在Llama架构的基础上，SmolLM3引入多项关键改进，以提升效率和长上下文处理能力。 长上下文扩展 在主预训练完成后，额外训练了SmolLM3，进一步扩展模型的上下文处理能力。 此外，借鉴Qwen2.5，在推理阶段，这次采用YARN技术，将上下文窗口从训练时的64k外推至128k，上下文扩展了2倍。 推理中间训练阶段 为了进一步注入通用推理能力，还有一项训练：推理中间训练。 为此，团队追溯到推理中间训练阶段，发现模型长上下文处理能力有所损失。 此外，APO训练数据的上下文限制24k token。 为了解决这一问题并缓解性能下降，团队开始探索模型合并。
51310编辑于 2025-07-10 - 来自专栏光城(guangcity)
(超长文)Hive Sql基本操作
2.注释问题2.1 MySQL中的注释2.2 Hive中的注释3.乱码问题3.1 修改表字段注解和表注解3.2 修改分区字段注解3.3 修改索引注解3.4 修改metastore的连接URL4.数据库基本操作4.1 创建带属性的库4.2 显示数据库详情：4.3 查看正在使用哪个库4.4 查看数据库的详情语句5.删除数据库5.1 删除库原则5.2 删除不含表的数据库5.3 删除含表数据库6.切换库及创建表6.1 切换库6.2 创建表7.表详情及表操作7.1 表详情7.2 表操作8.分区8.1 查看分区8.2 添加分区8.3 修改分区8.4 删除分区
4K41发布于 2019-09-20 - 来自专栏中国白客联盟
利用超长命令绕过sysmon
Sysmon是容易下载安装使用的日志审计应用，每个人都可以查看sysmon记录的内容。这些日志被EDR获取的话，能够在这些产品中看到一连串“有趣的东西”。
87850发布于 2018-07-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号