- 综合排序
- 最热优先
- 最新优先
- 来自专栏图与推荐
图神经网络遇到OOD的泛化性咋样?
作者 | 范少华 单位 | 北邮 GAMMA Lab 研究方向 | 图神经网络 目前提出的图神经网络 (GNN) 方法没有考虑训练图和测试图之间的不可知偏差，从而导致 GNN 在分布外（OOD）图上的泛化性能变差 导致 GNN 方法泛化性能下降的根本原因是这些方法都是基于 IID 假设。在此条件下，GNN 模型倾向于利用图数据中的虚假相关进行预测。 “房子”模体分类例子 为了去除虚假相关对于 GNN 模型泛化性的影响，我们提出了一个新颖的用于图的因果表示框架，称之为 StableGNN, 其结合了 GNN 模型灵活的表示学习和因果学习方法对于区分虚假相关能力的两方面优势 如图 2 所示，所提出的模型框架主要分为两个部分：图高层语义表示学习模块和因果变量区分模块。 图2. MUTAG数据集上的可解释性实验 结论和未来工作 在本文中，我们首次研究了图数据在 OOD 上的泛化问题。我们以因果视角分析了这个问题，认为子图之间的虚假相关会影响模型的泛化性。
2K10编辑于 2021-12-09 - 来自专栏计算机视觉战队
VIVO提出泛化性更强的SAM（附源码下载）
PART/2 背景 基础模型的概念在自然语言处理（NLP）领域以及近期计算机视觉领域的发展中起到了关键作用。 比如DINOv2、CLIP、BLIP、SAM以及Stable Diffusion等视觉基础模型在多种任务上都展示了卓越的零样本能力和广泛的泛化能力。 这些挑战引出了本项工作的核心动机：在不依赖额外数据、不更改基础架构且不牺牲零样本能力的条件下，如何进一步提升SAM作为基础视觉模型的泛化性？于是，研究者便能在保持广泛适用性的同时，释放SAM的潜力。 受到NLP中成功的优化方法的启发，研究者提出使用这些更加“自然”的对抗样本来微调SAM，从而避免了传统对抗训练通常伴随的高成本问题。 每张图像的文本描述是通过 BLIPv2 生成的。 Adversarial Optimization of Latent 作者对潜在表示进行优化，以增强自然对抗图像的生成。
33510编辑于 2024-08-30 - 来自专栏量子位
谷歌实现2种新的强化学习算法，“比肩”DQN，泛化性能更佳！｜ICLR 2021
本次实验中的群体（population）规模约为300个智能体，研究人员观察到在2-5万个突变后,发现候选损失函数的进化需要大约3天的训练。 发现两种表现出良好泛化性能的算法 最终，他们发现了两种表现出良好泛化性能的算法： 一种是DQNReg，它建立在DQN的基础上，在Q值上增加一个加权惩罚（weighted penalty），使其成为标准的平方 参考链接： [1]https://ai.googleblog.com/2021/04/evolving-reinforcement-learning.html [2]https://arxiv.org/
68940发布于 2021-05-11 - 来自专栏深度学习|机器学习|歌声合成|语音合成
深度学习端到端的优缺点和网络泛化性
端到端模型就是将可以多步骤/模块解决的任务使用单个模型来建模解决，一般在深度学习中比较常见。使用多步骤、多模型解决一个复杂任务的时候，一个明显的弊端是各个模块训练目标不一致，某个模块的目标函数可能与系统的宏观目标有偏差，这样训练出来的系统最终很难达到最优的性能；另一个问题是误差的累积，前一模块产生的偏差可能影响后一个模块。
3.8K00发布于 2021-01-14 - 来自专栏机器之心
只有通过海量测试才能抓住泛化性的本质吗？
典型地，对神经网络泛化性的研究依然停留在一个相对较浅的层面——主要在高维特征空间分析解释神经网络的泛化性（例如通过损失函数景观平滑度来判断泛化性）。 因此，我们始终无法对神经网络泛化性给出一个「究竟」的解释——究竟怎样的确切的表征才叫高泛化性的表征。 三、通过符号化交互概念复杂度分布直接判断神经网络的泛化性 问题 2：我们能否直接通过神经网络所等效建模的符号化交互概念，直接判断神经网络的泛化性。 由于问题 1 已经在实验室前期工作中给出了理论解答，本文主要讨论解决问题 2——究竟能否在交互概念表征层面判断一个黑盒模型的泛化性，即我们能否从某个具体的数学指标，直接将神经网络的交互概念表征和神经网络的泛化性建立起内在的相关性 换言之，不可泛化的交互在不同阶数上的分布呈现纺锤形。 图 2.
30410编辑于 2025-05-12 - 来自专栏机器之心
Bengio等人提出新型循环架构，大幅提升模型泛化性能
它具备专门化特性，可以大幅提升模型在大量不同任务上的泛化性能。 ? 模块化结构可以反映环境动态，学习这类结构可实现更好的泛化效果和对微小变化的稳健性。 该研究证明，RIM 具备专门化（specialization）特性，并反过来大幅提升了模型在大量不同任务上的泛化性能。 实验 实验目标是，证明 RIM 能够改善模型在不同环境和/或模块化任务中的泛化效果。 研究者按照以下顺序展示实验结果：基于时序模式、对象和二者解决泛化问题。 注意，当测试集对象与训练集不同时，RIM 的 Out-of-Distribution 泛化效果显著优于 LSTM。
1.2K20发布于 2019-10-12 - 来自专栏DrugOne
. | TRAP: 基于对比学习的高泛化性能T细胞表位免疫原性预测框架
TRAP具有高度准确且可推广的预测能力 图2. 模型在真实免疫学研究场景中的实用效能，作者设置了两种模拟应用场景：在场景1中，将阳性样本和阴性样本以9:1的比例随机分成训练集和测试集，模拟预测数据库中存在的TCR-pMHC相互作用的常见情况；在场景2中 在场景2中，对于未知表位对的预测，TRAP展现出良好的泛化能力，并且在AUC上分别比包含pMHC和表位信息的epiTCR高出10.8%和18.1%。 实验验证表明，基于健康个体TCR数据集的测试中，优化的负采样策略有效抑制了模型分数虚高现象。值得注意的是，TRAP 不仅能够精准区分不同表位，还可同时捕获TCR的交叉反应性与结合特异性。
62610编辑于 2025-05-04 - 来自专栏用户9447256的专栏
清华大学出品：罚梯度范数提高深度学习模型泛化性
神经网络结构简单，训练样本量不足，则会导致训练出来的模型分类精度不高；神经网络结构复杂，训练样本量过大，则又会导致模型过拟合，所以如何训练神经网络提高模型的泛化性是人工智能领域一个非常核心的问题。 最近读到了一篇与该问题相关的文章，论文中作者在训练过程中通过在损失函数中增加正则化项梯度范数的约束从而来提高深度学习模型的泛化性。作者从原理和实验两方面分别对论文中的方法进行了详细地阐述和验证。 原文链接：https://blog.csdn.net/qq_38406029/article/details/122851202 清华大学出品：罚梯度范数提高深度学习模型泛化性_欢迎来到道的世界-CSDN
41030编辑于 2022-02-14 - 来自专栏AI研习社
ICLR 2019 | 如何理解深度神经网络的泛化性能？谷歌认为可以从「泛化鸿沟」入手
其中，泛化是预测和理解 DNN 在未见过样本上的性能的重要指标，而理解泛化的一个重要概念便是泛化鸿沟（generalization gap）。 该领域在推导出更好的 DNN 泛化边界（泛化鸿沟的上限）方面已经取得了很大的进展，但它们仍然倾向于高估实际泛化鸿沟，这使得它们无法解释为什么一些模型泛化得如此之好。 鉴于此，利用边际概念来研究泛化性能已经被扩展到 DNN 上了，导致泛化鸿沟上的理论上界高度细化，但并没有显著提高对模型泛化表现的预测能力。 ? 一个支持向量机决策边界的例子。 将边际分布作为泛化预测因子 直观地说，如果边际分布的统计量能够真实地预测泛化性能，那么一个简单的预测方案应该能够建立两者的关系。因此，我们选择线性回归作为预测因子。 CIFAR-100 + ResNet-32 上预测的泛化差距（x 轴）与真实的泛化差距（y 轴）。这说明对数线性模型的预测值与真实的泛化鸿沟十分吻合。
58430发布于 2019-07-22 - 来自专栏AI科技评论
ICLR 2019 | 如何理解深度神经网络的泛化性能？谷歌认为可以从「泛化鸿沟」入手
其中，泛化是预测和理解 DNN 在未见过样本上的性能的重要指标，而理解泛化的一个重要概念便是泛化鸿沟（generalization gap）。 该领域在推导出更好的 DNN 泛化边界（泛化鸿沟的上限）方面已经取得了很大的进展，但它们仍然倾向于高估实际泛化鸿沟，这使得它们无法解释为什么一些模型泛化得如此之好。 鉴于此，利用边际概念来研究泛化性能已经被扩展到 DNN 上了，导致泛化鸿沟上的理论上界高度细化，但并没有显著提高对模型泛化表现的预测能力。 ? 一个支持向量机决策边界的例子。 将边际分布作为泛化预测因子 直观地说，如果边际分布的统计量能够真实地预测泛化性能，那么一个简单的预测方案应该能够建立两者的关系。因此，我们选择线性回归作为预测因子。 CIFAR-100 + ResNet-32 上预测的泛化差距（x 轴）与真实的泛化差距（y 轴）。这说明对数线性模型的预测值与真实的泛化鸿沟十分吻合。
1.7K10发布于 2019-07-18 - 来自专栏DPDK VPP源码分析
VPP 如何优化性能（系统调优）--2
2root@jinsh:~# systemctl status irqbalance 3● irqbalance.service - irqbalance daemon 4 Loaded: https://github.com/Irqbalance/irqbalance 8 Main PID: 907 (irqbalance) 9 Tasks: 2 6 7-smp 2,sockets=1,cores=4,threads=2 8 9To disable PXE boot delays, add the ",rombar=0" option to -------- 11Core 0 [0] [1] [2] [3] 12 13 ###numactl --hardware 命令行查询是正确的。 每个逻辑内核共享物理内核的资源(L1和L2缓存、寄存器)。这是由BIOS中的设置控制的。 一般来说，当启用超线程时，数据平面性能会受到影响，因此建议禁用它。
2.1K10编辑于 2023-09-25 - 来自专栏DeepHub IMBA
使用折外预测（oof）评估模型的泛化性能和构建集成模型
折外预测在机器学习中发挥着重要作用，可以提高模型的泛化性能。 在本文中，将介绍机器学习中的折外预测，主要包括以下几个方面： 折外预测是对不用于训练模型的数据进行的一种样本外预测。 相当用于使用了新数据（训练时不可见的数据）进行预测和对模型性能的估计，使用不可见的数据可以评估模型的泛化性能，也就是模型是否过拟合了。 这样的好处是更能突出模型的泛化性能。 Accuracy: 0.930 除了对模型评估以外，折外预测的最大作用就是可以进行模型的集成，提高泛化能力。 折外预测还可用于构建集成模型，称为堆叠泛化或堆叠集成。 作者：Jason Brownlee PhD
1.6K20编辑于 2022-03-12 - 来自专栏DrugOne
Methods | 单细胞扰动响应预测算法的泛化性基准研究
这引发了对模型“泛化性”的系统性质疑，也凸显了统一基准评测的必要性。 方法概述 研究人员构建了一个系统性的基准评测框架，从任务设定、数据集构建和评估指标三个层面进行设计。 评测覆盖两类核心场景： 细胞环境泛化：在未见过的细胞类型、患者或物种中预测已知扰动的响应； 扰动泛化：在固定细胞环境中预测模型未见过的新基因扰动或药物扰动。 图 1｜单细胞扰动响应预测的基准评测框架与数据集构成 细胞环境泛化：跨细胞背景预测依然困难 在细胞环境泛化任务中，所有方法在“已见分布”条件下表现明显优于“未见分布”条件。 结果表明，目前方法普遍未能充分建模不同细胞环境之间的异质性，这是限制其泛化能力的核心因素。 图 2｜细胞环境泛化场景下不同算法的性能对比 扰动泛化：任务类型强烈影响最优模型选择 在扰动泛化任务中，研究人员发现不存在适用于所有情形的最佳模型： 在单基因扰动预测中，部分方法在小数据集上表现突出，而在数据量充足时
35810编辑于 2025-12-25 - 来自专栏CreateAMind
模型误设下贝叶斯最优实验设计的泛化性能分析
我们的第二项贡献是提供了详细的实证分析，表明那些能产生具有代表性且具备去放大特性的训练数据的方法，可以提升泛化性能。 正如我们对泛化误差的新颖分解所示，泛化性能不仅取决于训练数据的代表性，还取决于其与模型（误）设定的交互方式：当训练数据最能代表测试分布，并且同时位于模型误设方向“有益”（即减少误差）的区域时，泛化性能得到提升 其核心思想是鼓励选择那些不仅具有高信息增益，而且有助于减小训练点与测试点分布之间差异的设计点。 这表明，当模型正确设定时，协变量偏移不会显著影响泛化性能。然而，在模型误设情形下，协变量偏移对模型性能产生负面影响。 局限性与未来工作本研究的一个局限在于，主要贡献依赖于定理 3.7 所提供的洞见，而该定理仅给出了泛化性能的一个上界。该上界在多大程度上反映实际泛化性能，取决于这些界是否紧致（tightness）。
20010编辑于 2026-03-11 - 来自专栏机器之心
学界 | SWATS：自动由Adam切换为SGD而实现更好的泛化性能
这些理论基础体现在避免陷入鞍点问题（Lee et al., 2016）、提高泛化性能（Hardt et al., 2015; Wilson et al., 2017）和解释为贝叶斯推断（Mandt et 此外，Wilson 等人今年发表研究表明适应性方法因为非均匀的梯度缩放而导致泛化性能的损失，因此我们比较自然的策略是利用 Adam 算法初始化训练，然后在适当的时候转换为 SGD 方法。 https://arxiv.org/abs/1712.07628 摘要：尽管训练结果十分优秀，Adam、Adagrad 或 RMSprop 等适应性优化方法相比于随机梯度下降（SGD）还是会有较差的泛化性能 SGD 在训练中实现了最佳测试准确率，且与 Adam 的泛化差距大概为 2%。为 Adam 的每个参数设置最小的学习速率可以减小泛化差距。 正如图 2 所示，在 10 个 epoch 之后切换会导致学习曲线非常类似于 SGD，而在 80 个 epoch 之后切换会导致精度下降约 6.5%。 ?
1.9K60发布于 2018-05-11 - 来自专栏函数式编程语言及工具
泛函编程（2）－初次体验泛函编程
泛函编程和数学方程式解题相似；用某种方式找出问题的答案。泛函编程通用的方式包括了模式匹配（pattern matching）以及递归思维（Recursive thinking）。 | case 2 => "Error number 2." 4 | case 3 => "Error number 3." 5 | case _ => "Unknown error! 看看引用情况： 1 reportError(2) 2 res3: String = Error number 2. 3 4 scala> reportError(-1) 5 res4: String * (2 * factorial(1))) 5 4 * (3 * (2 * 1)) = 24 可以得出预料的答案。 虽然从表达形式上失去了泛函编程的优雅，但除了可以解决堆栈溢出问题外，运行效率也比递归方式优化。但这并不意味着完全违背了“不可改变性”（Immutability）。因为变量是锁定在函数内部的。
97990发布于 2018-01-04 - 来自专栏深度学习技术前沿
速度、准确率与泛化性能媲美SOTA CNN，Facebook开源高效图像Transformer
由于类和蒸馏嵌入是在每一层上进行计算的，因此它们在网络中变得越来越相似，一直到最后一层时相似度达到非常高（cos=0.93），但仍低于 1。这种情况在预期之中，因为它们的目的是生成相似但不同的目标。 下表 2 对比了使用不同教师架构的蒸馏结果： ? 2. 不同蒸馏方法的对比 接下来，我们来看蒸馏方法的对比，不同蒸馏策略的性能对比结果参见下表 3。 效率与准确率权衡 下表总结了不同方法在 ImageNet V2 和 ImageNet Real 数据集上的性能结果。 迁移学习：下游任务的性能 尽管 DeiT 在 ImageNet 数据集上表现良好，但通过迁移学习评估 DeiT 在其他数据集上的性能也很重要，这样可以度量 DeiT 的泛化性能。
88820发布于 2021-01-06 - 来自专栏深度学习和计算机视觉
Facebook开源高效图像Transformer，速度、准确率与泛化性能媲美SOTA CNN
由于类和蒸馏嵌入是在每一层上进行计算的，因此它们在网络中变得越来越相似，一直到最后一层时相似度达到非常高（cos=0.93），但仍低于 1。这种情况在预期之中，因为它们的目的是生成相似但不同的目标。 下表 2 对比了使用不同教师架构的蒸馏结果： ? 2. 不同蒸馏方法的对比 接下来，我们来看蒸馏方法的对比，不同蒸馏策略的性能对比结果参见下表 3。 效率与准确率权衡 下表总结了不同方法在 ImageNet V2 和 ImageNet Real 数据集上的性能结果。 迁移学习：下游任务的性能 尽管 DeiT 在 ImageNet 数据集上表现良好，但通过迁移学习评估 DeiT 在其他数据集上的性能也很重要，这样可以度量 DeiT 的泛化性能。
83520发布于 2021-01-06 - 来自专栏机器之心
速度、准确率与泛化性能媲美SOTA CNN，Facebook开源高效图像Transformer
由于类和蒸馏嵌入是在每一层上进行计算的，因此它们在网络中变得越来越相似，一直到最后一层时相似度达到非常高（cos=0.93），但仍低于 1。这种情况在预期之中，因为它们的目的是生成相似但不同的目标。 下表 2 对比了使用不同教师架构的蒸馏结果： 2. 不同蒸馏方法的对比 接下来，我们来看蒸馏方法的对比，不同蒸馏策略的性能对比结果参见下表 3。 效率与准确率权衡 下表总结了不同方法在 ImageNet V2 和 ImageNet Real 数据集上的性能结果。 迁移学习：下游任务的性能 尽管 DeiT 在 ImageNet 数据集上表现良好，但通过迁移学习评估 DeiT 在其他数据集上的性能也很重要，这样可以度量 DeiT 的泛化性能。 4场技术工作坊分享智慧城市、智能出行、华为开源生态与边缘智能引擎等话题，2场黑客松等你来战。 点击阅读原文，选择你感兴趣的环节，立即报名。
40010编辑于 2023-03-29 - 来自专栏新智元
泛化性的危机！LeCun发文质疑：测试集和训练集永远没关系
---- 新智元报道 来源：arXiv 编辑：LRS 【新智元导读】长久以来一个观点就是在测试集上表现更好的模型，泛化性一定更好，但事实真是这样吗？ 因此，他们得出了两个结论： 目前使用和研究的模型基本都是外推的了； 鉴于这些模型所实现的超越人类的性能，外推机制也不一定非要避免，但这也不是泛化性能的指标。 从以往的经验来看似乎已经下了定论，即模型的泛化性能取决于模型的插值方式。这篇文章通过实验证明了这个错误观念。 并且研究人员特别反对使用内插和外推作为泛化性能的指标，从现有的理论结果和彻底的实验中证明，为了保持新样本的插值，数据集大小应该相对于数据维度呈指数增长。 所以研究人员认为，这些观察为构建更适合的内插和外推几何定义打开了大门，这些定义与泛化性能相一致，特别是在高维数据的情况下 参考资料： https://arxiv.org/abs/2110.09485
65120编辑于 2023-05-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号