- 综合排序
- 最热优先
- 最新优先
- 来自专栏图与推荐
图神经网络遇到OOD的泛化性咋样?
作者 | 范少华 单位 | 北邮 GAMMA Lab 研究方向 | 图神经网络 目前提出的图神经网络 (GNN) 方法没有考虑训练图和测试图之间的不可知偏差，从而导致 GNN 在分布外（OOD）图上的泛化性能变差 导致 GNN 方法泛化性能下降的根本原因是这些方法都是基于 IID 假设。在此条件下，GNN 模型倾向于利用图数据中的虚假相关进行预测。 “房子”模体分类例子 为了去除虚假相关对于 GNN 模型泛化性的影响，我们提出了一个新颖的用于图的因果表示框架，称之为 StableGNN, 其结合了 GNN 模型灵活的表示学习和因果学习方法对于区分虚假相关能力的两方面优势 基于混淆平衡技术主要目的是去除处理变量和混淆变量之间的关联，我以我们考虑采用 HSIC 来度量高维变量之间的关联，同时提出采用样本加权的方式去除高维变量之间的关联，方法如下： 对于两个变量 U 和 V， MUTAG数据集上的可解释性实验 结论和未来工作 在本文中，我们首次研究了图数据在 OOD 上的泛化问题。我们以因果视角分析了这个问题，认为子图之间的虚假相关会影响模型的泛化性。
2K10编辑于 2021-12-09 - 来自专栏计算机视觉战队
VIVO提出泛化性更强的SAM（附源码下载）
然而，和其他类似模型一样，SAM 在某些特定的细分应用中也遇到了限制，这促使研究者寻找一种在不损害其固有泛化能力前提下对其进行性能提升的策略。 SAM在超过10亿个Mask的庞大视觉语料库上进行训练，能够分割各种场景中的多样化目标和结构，为该领域带来了革命性的变化。尽管表现印象深刻，但作为一个基础模型，SAM在某些方面尚有改进空间。 这些挑战引出了本项工作的核心动机：在不依赖额外数据、不更改基础架构且不牺牲零样本能力的条件下，如何进一步提升SAM作为基础视觉模型的泛化性？于是，研究者便能在保持广泛适用性的同时，释放SAM的潜力。 与视觉领域的常规对抗训练通常需要在模型鲁棒性和性能之间做出权衡不同，NLP中的对抗训练不单强化了模型的鲁棒性，也增强了其泛化能力和准确性。 受到NLP中成功的优化方法的启发，研究者提出使用这些更加“自然”的对抗样本来微调SAM，从而避免了传统对抗训练通常伴随的高成本问题。
33510编辑于 2024-08-30 - 来自专栏深度学习|机器学习|歌声合成|语音合成
深度学习端到端的优缺点和网络泛化性
端到端模型就是将可以多步骤/模块解决的任务使用单个模型来建模解决，一般在深度学习中比较常见。使用多步骤、多模型解决一个复杂任务的时候，一个明显的弊端是各个模块训练目标不一致，某个模块的目标函数可能与系统的宏观目标有偏差，这样训练出来的系统最终很难达到最优的性能；另一个问题是误差的累积，前一模块产生的偏差可能影响后一个模块。
3.8K00发布于 2021-01-14 - 来自专栏机器之心
只有通过海量测试才能抓住泛化性的本质吗？
我们真的只有通过海量的测试数据才能抓住泛化性的本质吗？或者说，能否在数学上找到一个定理，直接从表征逻辑复杂度本身就给出一个对模型泛化性的先验的判断呢？ 典型地，对神经网络泛化性的研究依然停留在一个相对较浅的层面——主要在高维特征空间分析解释神经网络的泛化性（例如通过损失函数景观平滑度来判断泛化性）。 因此，我们始终无法对神经网络泛化性给出一个「究竟」的解释——究竟怎样的确切的表征才叫高泛化性的表征。 由于问题 1 已经在实验室前期工作中给出了理论解答，本文主要讨论解决问题 2——究竟能否在交互概念表征层面判断一个黑盒模型的泛化性，即我们能否从某个具体的数学指标，直接将神经网络的交互概念表征和神经网络的泛化性建立起内在的相关性 由于我们证明了神经网络的分类置信度可以被解构为少量交互概念数值效用的和，所以神经网络整体展现出的泛化性可以被视为不同交互概念泛化性的集成效用。
30410编辑于 2025-05-12 - 来自专栏机器之心
Bengio等人提出新型循环架构，大幅提升模型泛化性能
它具备专门化特性，可以大幅提升模型在大量不同任务上的泛化性能。 ? 模块化结构可以反映环境动态，学习这类结构可实现更好的泛化效果和对微小变化的稳健性。 该研究证明，RIM 具备专门化（specialization）特性，并反过来大幅提升了模型在大量不同任务上的泛化性能。 研究者将 LSTM 和 R-NEM 作为基线模型，然后输出 rollouts，结果发现 RIM 能够更好地预测球的未来运动（示例见图 3、图 10 和图 4）。 ? 图 3：预测弹跳球的运动。 图 10：RIM 与 LSTM 基线模型的对比。在这 4 个不同实验中，研究者对比了 RIM 和两个不同的 LSTM 基线模型。 输入前 15 个真值帧，系统预测接下来 10 个时间步。在 rollout 阶段，RIM 能够更准确地预测球的动态变化，图中蓝色线表示 RIM 的交叉熵，紫色线表示 LSTM 的交叉熵。
1.2K20发布于 2019-10-12 - 来自专栏DrugOne
. | TRAP: 基于对比学习的高泛化性能T细胞表位免疫原性预测框架
在场景2中，对于未知表位对的预测，TRAP展现出良好的泛化能力，并且在AUC上分别比包含pMHC和表位信息的epiTCR高出10.8%和18.1%。 实验验证表明，基于健康个体TCR数据集的测试中，优化的负采样策略有效抑制了模型分数虚高现象。值得注意的是，TRAP 不仅能够精准区分不同表位，还可同时捕获TCR的交叉反应性与结合特异性。
62610编辑于 2025-05-04 - 来自专栏用户9447256的专栏
清华大学出品：罚梯度范数提高深度学习模型泛化性
神经网络结构简单，训练样本量不足，则会导致训练出来的模型分类精度不高；神经网络结构复杂，训练样本量过大，则又会导致模型过拟合，所以如何训练神经网络提高模型的泛化性是人工智能领域一个非常核心的问题。 最近读到了一篇与该问题相关的文章，论文中作者在训练过程中通过在损失函数中增加正则化项梯度范数的约束从而来提高深度学习模型的泛化性。作者从原理和实验两方面分别对论文中的方法进行了详细地阐述和验证。 原文链接：https://blog.csdn.net/qq_38406029/article/details/122851202 清华大学出品：罚梯度范数提高深度学习模型泛化性_欢迎来到道的世界-CSDN
41030编辑于 2022-02-14 - 来自专栏AI研习社
ICLR 2019 | 如何理解深度神经网络的泛化性能？谷歌认为可以从「泛化鸿沟」入手
鉴于此，利用边际概念来研究泛化性能已经被扩展到 DNN 上了，导致泛化鸿沟上的理论上界高度细化，但并没有显著提高对模型泛化表现的预测能力。 ? 一个支持向量机决策边界的例子。 每个图对应一个训练在 CIFAR-10 上的卷积神经网络，分别具有不同的分类精度。 将边际分布作为泛化预测因子 直观地说，如果边际分布的统计量能够真实地预测泛化性能，那么一个简单的预测方案应该能够建立两者的关系。因此，我们选择线性回归作为预测因子。 深度模型泛化数据集 除了论文，我们还介绍了深度模型泛化（DEMOGEN）数据集，它包含 756 个经过训练的深度模型，以及这些模型在 CIFAR-10 和 CIFAR-100 数据集上的训练和测试表现。 例如，在 CIFAR-10 上训练的 CNNs 模型的测试精度在 60% 到 90.5% 之间，泛化鸿沟则在 1% 到 35% 之间。
58430发布于 2019-07-22 - 来自专栏AI科技评论
ICLR 2019 | 如何理解深度神经网络的泛化性能？谷歌认为可以从「泛化鸿沟」入手
鉴于此，利用边际概念来研究泛化性能已经被扩展到 DNN 上了，导致泛化鸿沟上的理论上界高度细化，但并没有显著提高对模型泛化表现的预测能力。 ? 一个支持向量机决策边界的例子。 每个图对应一个训练在 CIFAR-10 上的卷积神经网络，分别具有不同的分类精度。 将边际分布作为泛化预测因子 直观地说，如果边际分布的统计量能够真实地预测泛化性能，那么一个简单的预测方案应该能够建立两者的关系。因此，我们选择线性回归作为预测因子。 深度模型泛化数据集 除了论文，我们还介绍了深度模型泛化（DEMOGEN）数据集，它包含 756 个经过训练的深度模型，以及这些模型在 CIFAR-10 和 CIFAR-100 数据集上的训练和测试表现。 例如，在 CIFAR-10 上训练的 CNNs 模型的测试精度在 60% 到 90.5% 之间，泛化鸿沟则在 1% 到 35% 之间。
1.7K10发布于 2019-07-18 - 来自专栏DeepHub IMBA
使用折外预测（oof）评估模型的泛化性能和构建集成模型
折外预测在机器学习中发挥着重要作用，可以提高模型的泛化性能。 在本文中，将介绍机器学习中的折外预测，主要包括以下几个方面： 折外预测是对不用于训练模型的数据进行的一种样本外预测。 相当用于使用了新数据（训练时不可见的数据）进行预测和对模型性能的估计，使用不可见的数据可以评估模型的泛化性能，也就是模型是否过拟合了。 这样的好处是更能突出模型的泛化性能。 Accuracy: 0.930 除了对模型评估以外，折外预测的最大作用就是可以进行模型的集成，提高泛化能力。 折外预测还可用于构建集成模型，称为堆叠泛化或堆叠集成。 作者：Jason Brownlee PhD
1.6K20编辑于 2022-03-12 - 来自专栏DrugOne
Methods | 单细胞扰动响应预测算法的泛化性基准研究
这引发了对模型“泛化性”的系统性质疑，也凸显了统一基准评测的必要性。 方法概述 研究人员构建了一个系统性的基准评测框架，从任务设定、数据集构建和评估指标三个层面进行设计。 评测覆盖两类核心场景： 细胞环境泛化：在未见过的细胞类型、患者或物种中预测已知扰动的响应； 扰动泛化：在固定细胞环境中预测模型未见过的新基因扰动或药物扰动。 图 1｜单细胞扰动响应预测的基准评测框架与数据集构成 细胞环境泛化：跨细胞背景预测依然困难 在细胞环境泛化任务中，所有方法在“已见分布”条件下表现明显优于“未见分布”条件。 结果表明，目前方法普遍未能充分建模不同细胞环境之间的异质性，这是限制其泛化能力的核心因素。 图 2｜细胞环境泛化场景下不同算法的性能对比 扰动泛化：任务类型强烈影响最优模型选择 在扰动泛化任务中，研究人员发现不存在适用于所有情形的最佳模型： 在单基因扰动预测中，部分方法在小数据集上表现突出，而在数据量充足时
36010编辑于 2025-12-25 - 来自专栏CreateAMind
模型误设下贝叶斯最优实验设计的泛化性能分析
我们的第二项贡献是提供了详细的实证分析，表明那些能产生具有代表性且具备去放大特性的训练数据的方法，可以提升泛化性能。 正如我们对泛化误差的新颖分解所示，泛化性能不仅取决于训练数据的代表性，还取决于其与模型（误）设定的交互方式：当训练数据最能代表测试分布，并且同时位于模型误设方向“有益”（即减少误差）的区域时，泛化性能得到提升 其核心思想是鼓励选择那些不仅具有高信息增益，而且有助于减小训练点与测试点分布之间差异的设计点。 这表明，当模型正确设定时，协变量偏移不会显著影响泛化性能。然而，在模型误设情形下，协变量偏移对模型性能产生负面影响。 局限性与未来工作本研究的一个局限在于，主要贡献依赖于定理 3.7 所提供的洞见，而该定理仅给出了泛化性能的一个上界。该上界在多大程度上反映实际泛化性能，取决于这些界是否紧致（tightness）。
20010编辑于 2026-03-11 - 来自专栏机器之心
学界 | SWATS：自动由Adam切换为SGD而实现更好的泛化性能
这些理论基础体现在避免陷入鞍点问题（Lee et al., 2016）、提高泛化性能（Hardt et al., 2015; Wilson et al., 2017）和解释为贝叶斯推断（Mandt et 此外，Wilson 等人今年发表研究表明适应性方法因为非均匀的梯度缩放而导致泛化性能的损失，因此我们比较自然的策略是利用 Adam 算法初始化训练，然后在适当的时候转换为 SGD 方法。 https://arxiv.org/abs/1712.07628 摘要：尽管训练结果十分优秀，Adam、Adagrad 或 RMSprop 等适应性优化方法相比于随机梯度下降（SGD）还是会有较差的泛化性能 SGD 在训练中实现了最佳测试准确率，且与 Adam 的泛化差距大概为 2%。为 Adam 的每个参数设置最小的学习速率可以减小泛化差距。 图 2：使用 CIFAR-10 数据集上训练 DenseNet 架构，使用 Adam，在（10、40、80）epoch 后调整 SGD 学习速率至 0.1，动量为 0.9；切换点在图中使用 Sw@ 表示
1.9K60发布于 2018-05-11 - 来自专栏塔奇克马敲代码
第 10 章 泛型算法
第 10 章 泛型算法 标签： C++Primer 学习记录 泛型算法 ---- 第 10 章 泛型算法 10.1 概述 10.2 初识泛型算法 10.3 定制操作 10.4 再探迭代器 10.5 泛型算法结构 ---- 10.2 初识泛型算法 只读算法。 vector<int> vec; // 空向量 fill_n(vec.begin(), 10, 0); // 错误，向空向量写入元素！ fill_n(back_inserter(vec), 10, 0); // 添加 10个元素到 vec 重排算法。 ---- 10.5 泛型算法结构 按照迭代器所提供的操作从低到高来分类，分为输入、输出、前向、双向和随机访问迭代器。除输出迭代器外，一个高层类别的迭代器支持低层类别迭代器的所有操作。
1.2K80发布于 2018-06-07 - 来自专栏深度学习技术前沿
速度、准确率与泛化性能媲美SOTA CNN，Facebook开源高效图像Transformer
由于类和蒸馏嵌入是在每一层上进行计算的，因此它们在网络中变得越来越相似，一直到最后一层时相似度达到非常高（cos=0.93），但仍低于 1。这种情况在预期之中，因为它们的目的是生成相似但不同的目标。 迁移学习：下游任务的性能 尽管 DeiT 在 ImageNet 数据集上表现良好，但通过迁移学习评估 DeiT 在其他数据集上的性能也很重要，这样可以度量 DeiT 的泛化性能。
88820发布于 2021-01-06 - 来自专栏深度学习和计算机视觉
Facebook开源高效图像Transformer，速度、准确率与泛化性能媲美SOTA CNN
由于类和蒸馏嵌入是在每一层上进行计算的，因此它们在网络中变得越来越相似，一直到最后一层时相似度达到非常高（cos=0.93），但仍低于 1。这种情况在预期之中，因为它们的目的是生成相似但不同的目标。 迁移学习：下游任务的性能 尽管 DeiT 在 ImageNet 数据集上表现良好，但通过迁移学习评估 DeiT 在其他数据集上的性能也很重要，这样可以度量 DeiT 的泛化性能。
83520发布于 2021-01-06 - 来自专栏机器之心
速度、准确率与泛化性能媲美SOTA CNN，Facebook开源高效图像Transformer
由于类和蒸馏嵌入是在每一层上进行计算的，因此它们在网络中变得越来越相似，一直到最后一层时相似度达到非常高（cos=0.93），但仍低于 1。这种情况在预期之中，因为它们的目的是生成相似但不同的目标。 迁移学习：下游任务的性能 尽管 DeiT 在 ImageNet 数据集上表现良好，但通过迁移学习评估 DeiT 在其他数据集上的性能也很重要，这样可以度量 DeiT 的泛化性能。
40010编辑于 2023-03-29 - 来自专栏新智元
泛化性的危机！LeCun发文质疑：测试集和训练集永远没关系
---- 新智元报道 来源：arXiv 编辑：LRS 【新智元导读】长久以来一个观点就是在测试集上表现更好的模型，泛化性一定更好，但事实真是这样吗？ 因此，他们得出了两个结论： 目前使用和研究的模型基本都是外推的了； 鉴于这些模型所实现的超越人类的性能，外推机制也不一定非要避免，但这也不是泛化性能的指标。 从以往的经验来看似乎已经下了定论，即模型的泛化性能取决于模型的插值方式。这篇文章通过实验证明了这个错误观念。 并且研究人员特别反对使用内插和外推作为泛化性能的指标，从现有的理论结果和彻底的实验中证明，为了保持新样本的插值，数据集大小应该相对于数据维度呈指数增长。 所以研究人员认为，这些观察为构建更适合的内插和外推几何定义打开了大门，这些定义与泛化性能相一致，特别是在高维数据的情况下 参考资料： https://arxiv.org/abs/2110.09485
65120编辑于 2023-05-22 - 来自专栏函数式编程语言及工具
泛函编程（10）－异常处理－Either
} 9 def orElse[EE >: E, AA >: A](default: Either[EE, AA]): Either[EE, AA] = this match { 10 def map2_1[EE >: E, B, C](b: Either[EE, B])(f: (A,B) => C): Either[EE, C] = { 9 for { 10 10 salary <- Right(10000.00) 11 } yield Employee(name,age,salary) //> res1: ch4.either.Either 8 es.foldRight[Either[E, List[B]]](Right(Nil))((h,t) => f(h).map2(t)(_ :: _)) 9 } 10 either.Name] 8 def mkAge(age: Int): Either[String,Age] = { 9 if ( age < 0 ) Left("Invalid age") 10
95950发布于 2018-01-04 - 来自专栏机器之心
泛化性暴涨47%！首个意图检测奖励范式，AI工具爆炸时代意图识别新解法
如何在开源的轻量级 LLMs 上训练泛化性更好、鲁棒性更强的意图识别模型，使得模型能够更准确理解未见场景的意图至关重要。 该团队证明了在意图检测问题上，通过强化学习（RL）训练的模型在泛化能力上显著优于通过监督微调（SFT）训练的模型，具体体现在对未见意图和跨语言能力的泛化性能大幅提升。 在强化学习过程中引入思考（Thought），显著提升了模型在复杂意图检测任务中的泛化能力。这一发现表明，在更具挑战性的场景中，Thought 对于提升模型的泛化能力至关重要。 4. 为了进一步探究 GRPO 的优势，研究团队针对模型的泛化性进行了评测。 实验结果表明，GRPO 方法相较于 SFT 方法，有着更好的泛化性能。 RCS 方法实验结果：在此基础上，研究团队进一步应用 RCS 方法进行实验。
63100编辑于 2025-05-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号