- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习算法与Python学习
Neural Networks for Machine Learning-2
本文为Neural Networks for Machine Learning的第二次课程(回复关键字"NNML2"下载第二讲的视频与PDF课件) 神经网络使用的是学习算法，此算法受到我们对大脑汲取知识过程的理解所启发而产生，但是对其评估需按照实际应用中的效果，如语音识别、物体识别、图像检索以及推荐用户可能喜欢的产品的能力。随着计算机功能变得越来越强大，神经网络正逐渐取代更简单的机器学习方法，并已经成为了新一代语音识别装置的核心，而且在识别图像中的物体方面正开始超越早期系统。这门课程将介绍用于学习这些进展的
51660发布于 2018-04-04 - 来自专栏信数据得永生
【GPT总结】Why Can GPT Learn In-Context?
他们指出感知头部推动了in-context learning的能力。 他们还展示了使用in-context learning目标训练的模型往往与通过显式学习算法计算的模型的行为相匹配。 这些方法都在研究in-context learning的学习算法和机制，但我们是第一个在真实场景中解释in-context learning的研究。 我们分析了现成的GPT模型中的in-context learning，而不是通过ICL目标从头开始训练的模型；我们的实验基于真实的NLP任务，而不是像线性回归这样的玩具任务。 利用已有网络的方法： 论文中利用了预训练的GPT模型，通过在输入中添加演示示例，然后通过注意力机制来调整模型的行为，实现了在分类任务上的In-Context Learning。
37810编辑于 2024-03-20 - 来自专栏AI SPPECH
41_涌现能力：从zero-shot到in-context学习
章3:in-context学习：从示例中快速适应 3.1 in-context学习的定义与原理 In-context学习（上下文学习）是大语言模型的另一种重要涌现能力，指模型能够通过在提示中加入特定任务示例来改进提示的方法 In-context学习工作原理 提示设计 → 示例提供 → 模式识别 → 知识迁移 → 新任务执行 3.2 in-context学习的类型 in-context学习根据提供示例的数量，可分为以下几种类型 3.3 in-context学习的机制解释 in-context学习的机制一直是研究热点。 思维链提示：通过展示推理过程，提升复杂任务的表现 3.5 in-context学习的局限性 尽管in-context学习展现出了强大的能力，但它仍然存在一些局限性： 上下文窗口限制：在提示中包含的示例会占用宝贵的上下文窗口空间 示例敏感性：模型表现对示例的质量和数量非常敏感 泛化能力有限：在某些复杂任务上，即使提供示例，模型的泛化能力仍然有限 3.6 2025年in-context学习的技术突破 2025年，in-context
34510编辑于 2025-11-16 - 来自专栏机器之心
7 Papers & Radios | 无需注意力的预训练；被GPT带飞的In-Context Learning
机器之心 & ArXiv Weekly 参与：杜伟、楚航、罗若天 本周重要论文包括当预训练不需要注意力时，扩展到 4096 个 token 也不成问题；被 GPT 带飞的 In-Context Learning Generated Instructions Ab Initio Calculation of Real Solids via Neural Network Ansatz Why Can GPT Learn In-Context 论文 6：Why Can GPT Learn In-Context? 推荐：被 GPT 带飞的 In-Context Learning 为什么起作用？模型在秘密执行梯度下降。 The Impact of Symbolic Representations on In-context Learning for Few-shot Reasoning.
76620编辑于 2023-03-29 - 来自专栏机器之心
被GPT带飞的In-Context Learning发展现状如何？这篇综述梳理明白了
机器之心报道 编辑：小舟 来自北京大学、上海 AI Lab 和加州大学圣巴巴拉分校的十位研究者近期发布了一篇关于 in-context learning 的综述论文。 近来一些研究表明，LLM 可以使用 in-context learning（ICL）执行一系列复杂任务，例如解决数学推理问题。 来自北京大学、上海 AI Lab 和加州大学圣巴巴拉分校的十位研究者近期发布了一篇关于 in-context learning 的综述论文，详细梳理了 ICL 研究的当前进展。 第二，in-context learning 类似于人类通过类比学习的决策过程。第三，与监督式训练相比，ICL 是一个无需训练的学习框架。 尽管这些模型并没有专门针对 in-context learning 进行优化，但 ICL 的能力依旧令人惊喜。现有的 ICL 研究基本以训练良好的语言模型为主干。
1.2K20编辑于 2023-03-29 - 来自专栏机器之心
被GPT带飞的In-Context Learning为什么起作用？模型在秘密执行梯度下降
机器之心报道 编辑：陈萍 In-Context Learning（ICL）在大型预训练语言模型上取得了巨大的成功，但其工作机制仍然是一个悬而未决的问题。 作为大模型的开路先锋，大型预训练语言模型，特别是 GPT-3 已经显示出令人惊讶的 ICL（In-Context Learning）能力。 GPT-3 in-context learning 实验证明在 Few-shot 下 GPT-3 有很好的表现： 为什么 GPT 可以在 In-Context 中学习？ 该研究同时提供了经验性证据来证明 In-Context Learning 和显式微调在多个层面上表现相似。」
79830编辑于 2023-03-29 - 来自专栏111222444
测试发文
git: https://github.com/XiangLi1999/PrefixTuning Fine-tuning范式大家肯定都再熟悉不过，微调所有语言模型参数，而从gpt3出现之后提出的in-context 受启发于gpt3出现之后提出的in-context learning（固定语言模型参数），因此，prefix-tuning致力于如何不改变语言模型参数的方式，增加一些任务相关的（task-specific 受启发于gpt3出现之后提出的in-context learning（固定语言模型参数），因此，prefix-tuning致力于如何不改变语言模型参数的方式，增加一些任务相关的（task-specific 受启发于gpt3出现之后提出的in-context learning（固定语言模型参数），因此，prefix-tuning致力于如何不改变语言模型参数的方式，增加一些任务相关的（task-specific 受启发于gpt3出现之后提出的in-context learning（固定语言模型参数），因此，prefix-tuning致力于如何不改变语言模型参数的方式，增加一些任务相关的（task-specific
7900编辑于 2022-05-19 - 来自专栏机器之心
把Transformer当通用计算机用，还能执行in-context learning算法，这项研究脑洞大开
模拟基本计算器、基本线性代数库和使用反向传播的 in-context learning 算法都可以。 Transformer 已成为各种机器学习任务的热门选择，并且取得了很好的效果，那它还能怎么用？ 他们展示了这个 transformer 如何在其输入的指导下模拟一个基本的计算器、一个基本的线性代数库和使用反向传播的 in-context learning 算法。 有趣的是，这些大型语言模型 (LLM) 中的一些还可以执行 in-context learning (ICL) ，根据简短 prompt 和一些示例即时适应和执行特定任务。
1.1K20编辑于 2023-02-23 - 来自专栏数据派THU
把Transformer当通用计算机用，还能执行in-context learning算法，这项研究脑洞大开
模拟基本计算器、基本线性代数库和使用反向传播的 in-context learning 算法都可以。 Transformer 已成为各种机器学习任务的热门选择，并且取得了很好的效果，那它还能怎么用？ 他们展示了这个 transformer 如何在其输入的指导下模拟一个基本的计算器、一个基本的线性代数库和使用反向传播的 in-context learning 算法。 有趣的是，这些大型语言模型 (LLM) 中的一些还可以执行 in-context learning (ICL) ，根据简短 prompt 和一些示例即时适应和执行特定任务。
95010编辑于 2023-03-29 - 来自专栏NLP/KG
揭秘In-Context Learning(ICL)：大型语言模型如何通过上下文学习实现少样本高效推理
揭秘In-Context Learning(ICL)：大型语言模型如何通过上下文学习实现少样本高效推理[示例设计、ICL机制详解] 自GPT-3首次提出了In-Context Learning(ICL) ICL，即In-Context Learning，是一种让大型语言模型（LLMs）通过少量标注样本在特定任务上进行学习的方法。 sample，于从样本库中抽取5个demonstration作为in-context sample的效果相当。 5.Reference What Makes Good In-Context Examples for GPT-3? In-Context Learning Active Example Selection for In-Context Learning Self-generated in-context learning
4.9K10编辑于 2024-06-15 - 来自专栏腾讯技术工程官方号的专栏
深入剖析开源大模型+Langchain框架智能问答系统性能下降原因
其中，in-context 作为随着大模型涌现的范式，被大规模的应用到各种知识库问答、资料汇总等领域中，开源社区对 in-context 也非常活跃地响应，推出了 langchain [3]、向量数据库 常规方案 架构 图1 基于 langchain + LLM 做知识问答的常规方案 基于 langchain + 大模型 in-context 能力来搭建智能问答系统的常规方案如上图所示，包含 3 个核心模块 这么做的原因是 LLM in-context 应该和 训练/instruction finetune 的数据处理方式保持一致，可以保证 in-context 效果达到最佳。 在线 QA 服务 在线 QA 服务是串联大模型与存储向量数据库之间的纽带，大模型不能将数据库所有数据拿去做 in-context，实际上，大模型 in-context 能包含的 chunks 十分有限， 常规方案中，langchain 直接召回排序 top8 chunks 给大模型进行 in-context 推理 (gpt-3.5-turbo 4096 tokens)。
1.3K20编辑于 2023-12-13 - 来自专栏新智元
大模型「越用越快」！SpeedupLLM首次验证，大降56%推理预算
研究亮点1：用经验节省算力 在任务重复或相似的推理过程中，研究者发现LLM通过利用以往经验（包括 memory cache、in-context memory 等），可以实现减少高达56%的推理预算，保持甚至提升准确率 发现五：情节记忆 > 反思记忆，更能加速推理 在不同记忆机制对比中，情节式记忆（如SFT和In-Context）在推理加速上表现更佳。 例如In-Context平均节省27.4%计算，而反思类记忆仅为3.6%~8.8%。这与心理学研究一致：人类在形成熟练技能时，最初依赖的是具体实例的情节记忆。 发现六：In-Context比SFT更高效 在低样本（1~3轮）场景下，In-Context学习相比SFT更具泛化能力、更少过拟合，尤其在本研究的推理速度上，In-Context 更快、更稳、更准，展现了非参数记忆的强大即时适应力 发现七：文本记忆易「触顶」，参数记忆可持续提速 反思类与In-Context等文本记忆方法存在上下文窗口的「瓶颈」，在加入3个案例后效果逐渐饱和；相比之下，SFT通过权重更新记忆内容，不受窗口限制，推理速度随经验持续提升
25210编辑于 2025-07-10 - 来自专栏NLP/KG
大语言模型的预训练：语境学习、上下文学习In-Context Learning：精调LLM、Prompt设计和打分函数设计以及ICL底层机制等原理详解
* In-context learning **允许用户为新用例快速构建模型，而无需为每个任务微调和存储新参数**。 的监督数据跟多任务训练，进行对应的 in-context finetune，从而缩小预训练跟下游 ICL 的差距。 缺乏对 in-context learning 的理论和实验分析。In-context learning 到底学到的是什么，又是怎么学到的。 应用受限。 In-Context Learning只对大模型有效 在训练阶段，可以通过自监督的In-Context Learning训练优化模型效果，从而让模型具备更好的通用能力。 In-Context Learning类似于人类的类比学习的决策过程，举一反三。
8.2K41编辑于 2023-07-19 - 来自专栏自然语言处理(NLP)论文速递
MetaAI & 华盛顿 | 提出跨文档的语言建模，7B模型性能提高5%，RC任务提高15%
为此，本文作者提出一种新的方法：上下文预训练（IN-CONTEXT PRETRAINING），其中语言模型在一系列相关文档上进行预训练，从而引导模型进行跨文档边界阅读和推理。 In-Context Pretraining 通过组合几个语义相关的文档来重新排序预训练数据，从而创建一个连贯的输入上下文，从而使LM暴露于长相关的上下文，并提供超越文档边界的预训练信号。 由于In-Context Pretraining只改变文档顺序，而不影响LM预训练的所有其他方面，因此它可以很容易地集成到大型语言模型(LLMs)的现有预训练管道中。 In-Context Pretraining 预训练的标准做法是通过连接随机文档直到达到最大上下文长度来形成输入上下文，然后使用该上下文来训练 LM。 实验结果 为了评估上下文预训练(In-Context Pretraining)的有效性，作者在 CommonCrawl 数据集的3000 亿个Token上预训练了 0.3 到 70 亿个参数的语言模型
50550编辑于 2023-10-24 - 来自专栏AiCharm
卷，卷，卷，SAM发布不到24h | BAAI、浙大、北大联合推出SegGPT
引入了上下文集成策略和In-Context Tuning方法来提高模型性能。 上下文集成策略利用多个上下文信息来增强模型的表征能力，而In-Context Tuning方法则通过微调预训练模型来适应特定任务。 3.方法 3.1 In-Context Coloring In-Context Coloring是SegGPT模型中的一种方法，用于训练模型以执行多种分割任务。 3.3 In-Context Tuning In-Context Tuning是SegGPT模型中的一种方法，用于调整模型以适应特定的任务或数据集。 本文在挑战性的ADE20K语义分割和COCO全景分割数据集上进行了In-Context Tuning实验，并证明了该方法对于提高SegGPT模型性能的重要性。
76820编辑于 2023-05-15 - 来自专栏机器之心
揭秘Transformer基于上下文学习的能力：看它如何学到正确的线性模型？
机器之心专栏 机器之心编辑部 本文由加州大学伯克利分校统计系和谷歌 DeepMind 的团队联合发表，研究了预训练后的 Transformer 的基于上下文学习 (In-Context Learning —— 本文建立了严格的基于上下文学习的理论框架，区分了基于上下文的训练 (In-Context Training) 和基于上下文的学习能力 (In-Context Learnability) 这两个概念 “What can transformers learn in-context? a case study of simple function classes”. “What learning algorithm is in-context learning? investigations with linear models”. “In-Context Learning through the Bayesian Prism”.
58660编辑于 2023-08-08 - 来自专栏深度学习自然语言处理
探索无监督域自适应，释放语言模型的力量：基于检索增强的情境学习实现知识迁移
近年来，随着大规模预训练语言模型的出现，情境学习（In-Context Learning） 作为一种新兴的学习方法，已经在各种NLP任务中取得了显著的成果。 本文旨在探讨如何在无监督域自适应场景下，通过检索增强的情境学习（Retrieval-Augmented In-Context Learning） 实现知识迁移。 具体来说，作者提出了一种名为Domain Adaptive In-Context Learning (DAICL) 的框架，该框架通过检索目标域的相似示例作为上下文，帮助模型学习目标域的分布和任务特征。 在实验中，将不同的LLMs架构与提出的In-Context Learning方法进行对比，并评估其在领域适应中的性能。对于评估指标，NER任务使用了F1分数，SA任务使用了准确率acc。 总结 本文提出了一种名为Domain Adaptive In-Context Learning (DAICL)的框架，用于实现无监督域自适应（UDA）。
1.3K10编辑于 2023-12-05 - 来自专栏小七的各种胡思乱想
解密Prompt系列1. Tunning-Free Prompt：GPT2 & GPT3 & LAMA & AutoPrompt
或许你还以其他形式看到过prompt概念，例如Demonstration，Instruction，In-Context learning，few-shot learning等等 开篇我们简单介绍下Prompt 另一方面GPT3在few-shot场景做了很多尝试，提出了自带神秘光环的in-context learning，可以被归类为multi-prompt中的prompt augmentation方案~ 175Billon 还没看到较严谨的论证，有知道的盆友求答疑解惑~ In-context learning 图片 论文在GPT2已有的zero-shot的基础上，提出了In-Context learning的概念，也称类比学习 针对素材生成的场景没啥所谓，但是对抽取，分类，QA等任务，如果不同的prompt会得到显著不同的结果，就让人很头疼了~ Ref6的论文更深入的探究了in-context具体提供了哪些信息，作者定位到以下 Language Model Secretly Perform Gradient Descent as Meta-Optimizers How does in-context learning work
7K31编辑于 2023-02-23 - 来自专栏新智元
再掀强化学习变革！DeepMind提出「算法蒸馏」：可探索的预训练强化学习Transformer
（文末为论文作者的ppt讲解） 在当下的序列建模任务上，Transformer可谓是最强大的神经网络架构，并且经过预训练的Transformer模型可以将prompt作为条件或上下文学习（in-context 这也提供了一种技术上的可行性，即任何RL算法都可以通过模仿学习蒸馏成一个足够强大的序列模型，并将其转化为一个in-context RL算法。 AD也是第一个通过对具有模仿损失（imitation loss）的离线数据进行序列建模来展示in-context强化学习的方法。 在实验部分，为了探索AD在in-context RL能力上的优势，研究人员把重点放在预训练后不能通过zero-shot 泛化解决的环境上，即要求每个环境支持多种任务，且模型无法轻易地从观察中推断出任务的解决方案 AD能够进行in-context中的探索、时间上的信用分配和泛化，AD学习的算法比产生Transformer训练的源数据的算法更有数据效率。
64230编辑于 2023-01-07 - 来自专栏我还不懂对话
「LLM天花板」如何利用神奇咒语让语言模型超越人类
c) 提供范例 in-context learning这篇文章分析了范例学习：Rethinking the Role of Demonstrations: What Makes In-Context Learning 而随着语言模型发展，后面文章Larger language models do in-context learning differently发现，模型真的学到了范例标签，不仅理解了任务，给错误的标签， Gemini 1.5 in-context learning的语言翻译案例：将教科书和词典作为context+翻译语句输入到llm时候，能够明显提高翻译准确率，甚至和人类相差不远。
44800编辑于 2024-04-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号