- 综合排序
- 最热优先
- 最新优先
- 来自专栏前端必修课
超长上下文模型知识库实战
承接上一篇《数据库接入大模型实战》，除了上述优化方案，还有一种更直接的方法：使用超长上下文的模型，将资料直接拖入对话框，让AI自动检索。 模型窗口进化与测试 如上图所示，过去两年内，模型的上下文窗口长度大幅提升。例如Gemini 2.0 Pro已支持2000万token的上下文，足以容纳四大名著。下面以Gemini为例进行测试。 本文以Gemini 2.0 Flash模型为例，支持100万token上下文，并有免费额度。 复制Gemini 2.0 Flash 模型ID。 回到 Cherry Studio，填写模型ID并添加。 整个《三国演义》仅消耗了约一半上下文窗口。利用Gemini超大上下文进行知识库检索，是一种高效方案。 总结与展望 AI知识库常被称为“demo五分钟，上线一年”。
67320编辑于 2025-05-05 - 来自专栏朴素人工智能
Transformer-XL 超长上下文注意力模型
本文就提出了一种网络结构Transformer-XL，它不但可以捕捉文本更长时的依赖，同时可以解决文本被分成定长后产生的上下文碎片问题。 如此一来，两个片段之前的上下文信息可以进行有效的传递。 进一步地，作者提出，在理论上不仅仅可以储存并重用之前一个片段的结果，只要GPU允许，完全可以重用前几个片段的结果，使上下文联系更远。
1.2K20发布于 2020-05-07 VFP AI 插件：超长上下文的识别(二)
距离上一篇VFP AI 插件：超长上下文的识别(一)有些时间了。经过不断的试错和优化，终于完成了 VFP AI 插件的超长上下的识别。将时间从数小时压缩至最多几十分钟。
10310编辑于 2026-03-10VFP AI 插件：超长上下文的识别(一)
VFP AI 插件在访问大模型时，有一个上下文长度的问题。 对于 DeepSeek 而言，其大小为 128K(=128000 token)。 VFP AI 插件 2025.12.15 版，初步实现超长上下文的处理： 所分析 VCX 类库，使用类浏览器转换出的 prg 格式文件，文件体积为 400+KB，共 10329 行，超过模型最大上下文的最大限制
12810编辑于 2026-03-10- 来自专栏GiantPandaCV
如何用Infini-attention实现超长上下文Transformer
这允许模型在处理后续序列时回顾以前的上下文信息，从而支持无限长的输入处理。 这种方法允许模型以流式方式处理极长的输入，从而实现在有限的资源下扩展到无限长的上下文。 这种状态共享和重用不仅提高了插拔式长上下文适应的效率，也加速了训练和推理过程。 这种方法通过增加 c \times r \times l 扩展了上下文窗口，但内存复杂度依旧较高。 通过这些不同的内存和上下文窗口管理策略，各模型试图在内存效率和长期依赖建模能力之间找到平衡。
1.3K10编辑于 2024-04-26 - 来自专栏机器之心
CMU、谷歌提出Transformer-XL：学习超长上下文关系
由于上下文的长度是固定的，因此模型无法捕获任何超过预定义上下文长度的长期依赖性。此外，长度固定的片段都是在不考虑句子或其它语义边界的情况下通过选择连续的符号块来创建的。 因此，模型缺乏必要的上下文信息来很好地预测前几个符号，这就导致模型的优化效率和性能低下。我们将这个问题称为上下文碎片化。 为了解决上文提到的上下文固定长度的限制，本文提出了一种叫做 Transformer-XL（超长）的新架构。我们将循环概念引入了深度自注意力网络。 因此，对超长期依赖性建模成为了可能，因为信息可以通过循环连接来传播。同时，从之前的片段传递信息也可以解决上下文碎片化的问题。 我们的方法不仅可以捕获更长的依赖关系，还可以解决上下文碎片化的问题。
1K20发布于 2019-04-30 - 来自专栏IT技术订阅
月之暗面Kimi及超长上下文处理技术
超长上下文处理：Kimi支持高达200万字的最长上下文输入，这是在大模型长上下文处理技术上的一个重要突破，使得它能够更好地理解和处理复杂、连贯的文本信息，比如用于论文总结、电影剧本分析、录音内容整理等。 Kimi实现超长上下文处理的技术原理 Kimi实现超长上下文处理的技术原理涉及到几个关键技术点，这些技术共同作用使其能够处理长达200万字的文本而不损失上下文信息，具体包括： 1. Kimi采用了更大规模的Transformer模型，并对模型结构进行了优化，以适应超长文本的处理需求。 2. 分块与重组技术：面对超长文本，直接将整个文本送入模型可能会超出硬件限制。 上下文保留策略：在处理每个文本块时，Kimi设计了特别的策略来选择性地保留或更新上下文状态，确保即便在分块处理后，整体的语境理解仍然准确无误。 通过这些技术和方法的综合应用，Kimi不仅能够处理超长文本，还能在理解、分析和生成内容时保持高度的准确性和连贯性，为用户提供前所未有的长文本处理体验。
4.3K10编辑于 2024-05-10 - 来自专栏大模型系列
万字长文详解DeepSeek：DeepSeek是什么-超长上下文
2.超长上下文支持支持128Ktokens上下文窗口（部分版本达1M）。采用ALiBi（AttentionwithLinearBiases）或YaRN位置编码，有效缓解长度外推问题。
3.2K60编辑于 2026-04-06 - 来自专栏新智元
清华NLP组发布InfLLM：无需额外训练，「1024K超长上下文」100%召回！
新智元报道 编辑：LRS 【新智元导读】挖掘大模型固有的长文本理解能力，InfLLM在没有引入额外训练的情况下，利用一个外部记忆模块存储超长上下文信息，实现了上下文长度的扩展。 为了让大模型能够记忆并处理更长的上下文，来自清华大学、麻省理工学院和人民大学的研究人员联合提出无需额外训练的大模型长文本理解方法 InfLLM，利用少量计算和显存开销实现了 LLM的超长文本处理。 InfLLM旨在激发LLMs的内在能力，以有限的计算成本捕获超长上下文中的长距离语义依赖关系，从而实现高效的长文本理解。 作者构建了一个外部记忆模块，用于存储超长上下文信息；采用滑动窗口机制，每个计算步骤，只有与当前Token距离相近的Tokens（Local Tokens）和外部记忆模块中的少量相关信息参与到注意力层的计算中 然而，超长序列中的海量上下文对于记忆模块中有效的相关信息定位和记忆查找效率带来了重大挑战。 为了应对这些挑战，上下文记忆模块中每个记忆单元由一个语义块构成，一个语义块由连续的若干Token构成。
2.1K10编辑于 2024-03-13 - 来自专栏机器之心
面向超长上下文，大语言模型如何优化架构，这篇综述一网打尽了
然而，目前存在一个普遍的限制：由于资源受限，当前大多 LLM 主要是在较短的文本上进行预训练，导致它们在较长上下文方面的表现较差，而长上下文在现实世界的环境中是更加常见的。 长上下文，目前有哪些难点待突破？ 注意力复杂度。 上下文处理 (论文第 6 节)：除了增强特定低级 Transformer 模块的方法外，一些方法涉及对现成的 LLM 与额外的上下文预 / 后处理。 因此，在长上下文 LLM 领域，这仍然是一个持续追求的目标。 正如在文章第 2.1、2.2 节中前面讨论的，作者已经概述了由于缺乏明确的记忆机制，仅依赖上下文内工作记忆以及在延长上下文交互期间 KV 缓存记忆消耗显著增加而产生的限制。
1.5K10编辑于 2024-01-04 - 来自专栏java金融
超长JVM总结,面试必备
JVM 是可运行 Java 代码的假想计算机 ，包括一套字节码指令集、一组寄存器、一个栈、一个垃圾回收，堆 和 一个存储方法域。JVM 是运行在操作系统之上的，它与硬件没有直接的交互。
75120发布于 2020-08-05 - 来自专栏c#Winform自定义控件系列
c# 文本超长截断
根据控件大小进行截断 private void SetStringTruncat(Static.LabelEx lbl) { string oldStr = lbl.Text; if (string.IsNullOrEmpty(oldStr)) return; Graphics g = lbl.CreateGraphics(); string strNewSt
1K40发布于 2019-09-11 - 来自专栏coding个人笔记
分片加载超长列表渲染
很早以前就有面试问超长列表如何优化，那时候觉得一般前端不会有这种功能，有也是分页，也就没有去关注。今天分享一个超长列表渲染的优化方法，分片加载，现在几乎也都不会用了，但是还是要知道这个东西。
68110发布于 2020-06-01 - 来自专栏PostgreSQL研究与原理解析
PostgreSQL异常宕机重启时间超长
异常关闭后，重启后一直打印starting up，持续时间很长。并且，异常关闭前没有大量write的业务，也就是说没有需要大量恢复的redo日志。那么时间耗费在哪里了？
1.5K20发布于 2020-10-28 - 来自专栏新智元
推理随意开关，128k超长上下文
刚刚，Hugging Face推出了目前最强的30亿参数模型SmolLM3： · 双推理模式：think，no_think · 超长上下文：最长可达128k · 多语言支持：英语、法语、西班牙语、德语、 长上下文扩展 在主预训练完成后，额外训练了SmolLM3，进一步扩展模型的上下文处理能力。 此外，借鉴Qwen2.5，在推理阶段，这次采用YARN技术，将上下文窗口从训练时的64k外推至128k，上下文扩展了2倍。 推理中间训练阶段 为了进一步注入通用推理能力，还有一项训练：推理中间训练。 为此，团队追溯到推理中间训练阶段，发现模型长上下文处理能力有所损失。 此外，APO训练数据的上下文限制24k token。 为了解决这一问题并缓解性能下降，团队开始探索模型合并。 对于长上下文任务，在Ruler 64k基准测试中，SmolLM3表现突出。
51310编辑于 2025-07-10 - 来自专栏AgenticAI
首个线性注意力架构的大模型来了，MiniMax 400 万超长上下文大模型重磅开源！
400 万超长上下文，MiniMax-Text-01 能够高效处理高达 400 万 token的上下文，是 GPT-4o 的 32 倍，Claude-3.5-Sonnet 的 20 倍。 本文接下来将从实测、数据集评估、技术解析三个方面展开，深入探讨 MiniMax 如何在低成本的前提下实现高效超长上下文处理。 1. 实测 400 万超长上下文窗口，测试的场景可就太有意思了。 学术数据集评测 榜单对比都是当前业界榜上顶尖大模型，以超长上下文混合线性注意力架构的 MiniMax-Text-01 表现如何呢？ 总结 MiniMax 的超长上下文大模型落地，对大模型领域有着重要的意义，或许能够为各家厂商提供全新的思路，而开发者也将因此受益。 超长上下文的支持使得处理超大规模文本变得可能，也将能够催生一系列新兴的 Agentic 应用。
1.6K10编辑于 2025-03-18 - 来自专栏光城(guangcity)
(超长文)Hive Sql基本操作
2.注释问题2.1 MySQL中的注释2.2 Hive中的注释3.乱码问题3.1 修改表字段注解和表注解3.2 修改分区字段注解3.3 修改索引注解3.4 修改metastore的连接URL4.数据库基本操作4.1 创建带属性的库4.2 显示数据库详情：4.3 查看正在使用哪个库4.4 查看数据库的详情语句5.删除数据库5.1 删除库原则5.2 删除不含表的数据库5.3 删除含表数据库6.切换库及创建表6.1 切换库6.2 创建表7.表详情及表操作7.1 表详情7.2 表操作8.分区8.1 查看分区8.2 添加分区8.3 修改分区8.4 删除分区
4K41发布于 2019-09-20 - 来自专栏中国白客联盟
利用超长命令绕过sysmon
Sysmon是容易下载安装使用的日志审计应用，每个人都可以查看sysmon记录的内容。这些日志被EDR获取的话，能够在这些产品中看到一连串“有趣的东西”。
87850发布于 2018-07-26 - 来自专栏全栈程序员必看
华为測试 超长整数相加
请设计一个算法完毕两个超长正整数的加法。 输入两个字符串数字 输出相加后的结果。
33620编辑于 2022-07-07 - 来自专栏全栈程序员必看
超长干货 | Kubernetes命名空间详解
在角色创建后，RoleBinding可以将定义的功能授予单个命名空间上下文中的具体具体用户或用户组。通过这种方式，命名空间可以使得集群操作者能够将相同的策略映射到组织好的资源集合。 最好列出和命名空间相关的资源，确定想要删除的对象： 一旦确定了要操作的范围，可以输入下面的命令删除demo-namespace命名空间和其中的所有资源： 命名空间及其资源将从集群中删除 如果你之前在kubectl上下文中更改了所选的命名空间
2.1K20编辑于 2022-06-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号