- 综合排序
- 最热优先
- 最新优先
CLIP, DINO等多模型融合DreamSim，让电脑“看懂”图片有多像！模型融合成为热门！
DreamSim不是要另起炉灶，而是很聪明地把已有的老牌嵌入模型（CLIP, DINO, OpenCLIP）拿来，融合起来。就像请了一个专家团：CLIP 擅长语义理解（知道是啥）。 但真正的魔法在这里：这个融合后的结果，会用海量的人类主观判断数据进行微调。这就是独门秘籍。模型不仅仅是从原始数据中学习，而是在学习像我们人类一样去看图像。 他们用AI扩散模型生成了一个巨大的图像三元组数据集（NIGHTS）。 速度与精度的权衡：总有一款适合你全能冠军（默认集成模型）：精度最高，与人类判断一致性可达96%以上，适合对精度要求高的场景。 轻量快手（单分支模型）：比如只使用DINO主干，速度提升近3倍，精度略有牺牲，适合需要快速响应的应用。
40510编辑于 2025-10-16- 来自专栏全栈程序员必看
多模型融合权重如何训练_单因子模型
结构化多因子风险模型首先对收益率进行简单的线性分解，分解方程中包含四个组成部分：股票收益率、因子暴露、因子收益率和特质因子收益率。 组合权重优化 组合权重优化在多因子模型中起到了至关重要的作用。组合权重优化的目的在于将组合的风险特征完全定量化，使得投资经理可以清楚的了解组合的收益来源和风险暴露。 具体权重优化表达为： 3）最大化组合信息比率 最大化组合信息比率为目标函数以预期收益与预期组合风险的比值作为目标函数，具体权重优化表达为： 上述三种优化目标函数中，第一种方法和第三种方法完全依赖风险模型给定的数据结果进行计算 ，发现组合满足行业中性的约束： 同时也满足风格中性的约束： 如果我们想使得组合在行业和风格因子上的风险敞口较基准而言有所暴露，我们直接修改约束条件就行，比如我们想在价值因子（Value）上多暴露 最后贴出源码和策略克隆链接：基于Barra多因子模型的组合权重优化 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
1.5K20编辑于 2022-11-08 - 来自专栏机器之心
苹果发现原生多模态模型Scaling Laws：早融合优于后融合，MoE优于密集模型
此外，对于多模态 Scaling Laws 的研究表明，随着计算预算的增加，早融合和后融合的计算最优模型性能相似。 NMM 的 Scaling Laws 早融合和后融合模型的 Scaling Laws。 图 2 左图展示了早融合 NMM 在多模态交织数据集、图像 - 描述数据集和文本数据集上的平均最终损失。 早融合的训练效率更高。 该团队比较了后融合和早融合架构的训练效率。如图 5 所示，在相同的计算预算下，早融合模型消耗的内存更少，训练速度更快。 考虑到预训练的成本，这些结果表明，为了在多模态基准测试中实现相同性能，原生训练可能是更有效方法。 迈向多模态专业化 研究证明了在固定计算预算下，早融合模型的性能与后融合模型相当。 具体而言，早融合优于后融合，而多模态 MoE 优于密集模型。然而，由于这些模型规模相对较小（15 亿规模）、从零开始训练，并在小型数据集上进行微调，因此总体得分低于目前的 SOTA 水平。
45810编辑于 2025-04-13 - 来自专栏PPV课数据科学社区
多模型融合推荐算法——从原理到实践
但是其中一类方法非常特殊，我们称为多模型融合算法。融合算法的意思是，将多个推荐算法通过特定的方式组合的方法。融合在推荐系统中扮演着极为重要的作用，本文结合达观数据的实践经验为大家进行系统性的介绍。 常见的多模型融合算法 达观数据的众多实践发现，多模型融合算法可以比单一模型算法有极为明显的效果提升。但是怎样进行有效的融合，充分发挥各个算法的长处？ 2） 交叉融合法 交叉融合常被称为Blending方法，其思路是在推荐结果中，穿插不同推荐模型的结果，以确保结果的多样性。 通过特征融合的方法能确保模型不挑食，扩大适用面。 5）预测融合法 推荐算法也可以被视为一种“预测算法”，即我们为每个用户来预测他接下来最有可能喜欢的商品。 通过模型进行融合往往效果最好，但实现代价和计算开销也比较大。 达观的多级融合技术 在达观数据（http://datagrand.com）的实践中，采用的多级融合架构如下： ?
3.3K80发布于 2018-04-24 - 来自专栏自然语言处理
贷款违约预测-Task5 模型融合
Task5 模型融合 Tip:此部分为零基础入门金融风控的 Task5 模型融合部分，欢迎大家后续多多交流。 （模型融合一般用于A榜比赛的尾声和B榜比赛的全程） 5.2 内容介绍 模型融合是比赛后期上分的重要手段，特别是多人组队学习的比赛中，将不同队友的模型进行融合，可能会收获意想不到的效果哦，往往模型相差越大且模型表现都不错的前提下 ，模型融合后结果会有大幅提升，以下是模型融合的方式。 平均： 简单平均法 加权平均法 投票： 简单投票法 加权投票法 综合： 排序融合 log融合 stacking: 构建多层模型，并利用预测结果再拟合预测。 +pren )/n 加权平均法 一般根据之前预测模型的准确率，进行加权融合，将准确性高的模型赋予更高的权重。
1.1K40发布于 2020-10-10 - 来自专栏技术汇总专栏
基于大模型的多模态数据融合实战应用
基于大模型的多模态数据融合实战应用引言多模态数据融合是当前人工智能（AI）研究的热门领域，涉及文本、图像、音频、视频等多种数据类型的集成。 本文将探讨基于大模型的多模态数据融合方法，并通过 Python 代码示例演示如何构建多模态应用。 基于大模型的多模态数据融合案例我们以 BLIP-2（Bootstrapped Language-Image Pre-training） 为例，展示如何使用大模型进行图像和文本的多模态融合。 BLIP-2 是一种高效的图文理解模型，它利用 Vision Transformer（ViT）+ 预训练语言模型（如 T5、GPT）实现图文对齐和融合。1. 文本生成：使用大规模 Transformer 语言模型（如 T5）生成描述文本。端到端融合：输入图像，输出文本，形成完整的图文多模态处理流程。
4K10编辑于 2025-03-03 - 来自专栏达观数据
多模型融合推荐算法在达观数据的运用
多模型融合推荐算法在达观数据的运用 研发背景 互联网时代也是信息爆炸的时代，内容太多，而用户的时间太少，如何选择成了难题。 但是其中一类方法非常特殊，我们称为多模型融合算法。融合算法的意思是，将多个推荐算法通过特定的方式组合的方法。融合在推荐系统中扮演着极为重要的作用，本文结合达观数据的实践经验为大家进行系统性的介绍。 常见的多模型融合算法 达观数据的众多实践发现，多模型融合算法可以比单一模型算法有极为明显的效果提升。但是怎样进行有效的融合，充分发挥各个算法的长处？ （达观数据 纪达麒 陈运文） 3）瀑布融合法 瀑布型（Waterfall Model）融合方法采用了将多个模型串联的方法。 通过特征融合的方法能确保模型不挑食，扩大适用面。 5）预测融合法 推荐算法也可以被视为一种“预测算法”，即我们为每个用户来预测他接下来最有可能喜欢的商品。
1.9K60发布于 2018-03-30 - 来自专栏Python与算法之美
超越stacking, 使用optuna对多模型进行加权融合
多模型加权融合是一个常见的提升机器学习效果的方案。 但是各个模型的权重如何确定呢？ 由于optuna是一个强大的不可微问题调优工具，我们可以使用它来寻找模型融合的权重，直接对auc,acc等不可微的评价指标进行优化，当给予足够的搜索次数时，其结果相比stacking ensemble通常更加有竞争力 print("stacking_score:",get_test_auc(stacking)) stacking_score: 0.9304879610655739 可以看到，stacking模型融合方案相比于最好的 svm模型在测试集的AUC提升了0.67个百分点，达到了0.9305 # 五，获取CV预测结果 # 为了充分利用训练数据集，采用类似stacking的方式，用5折CV的方式获取各个模型在训练集的预测结果 optuna_ensemble_score:', test_score(best_params)) optuna_ensemble_score: 0.9320248463114754 nice，optuna多模型融合方案在测试集
1.5K41编辑于 2023-02-23 - 来自专栏pydata
模型融合
具体到损失函数本身的选择，如果选择平方损失函数，差值就是所说的残差 让损失函数沿着梯度方向下降，就是gbdt的gb的核心，利用损失函数的负梯度在当前模型的值作为回归问题提升树算法中的残差的近似值去拟合一个回归树 gbdt每轮迭代的时候，都去拟合损失函数在当前模型下的负梯度。 Adaboost是通过提升错分数据点的权重来定位模型的不足，而Gradient Boosting是通过算梯度来定位模型的不足。
56730发布于 2018-08-02 - 来自专栏mathor
模型融合
一般来说，通过融合多个不同模型的结果，可以提升最终的成绩，所以这以方法在各种数据竞赛中应用非常广泛。模型融合又可以从模型结果、模型自身、样本集等不同的角度进行融合。 ，准确率更高，所以我们无论用什么方式，都应该给第二个模型的预测值赋予更高的权重 # 加权融合，权重的默认值是(1/n)，n为模型个数，相当于默认使用平均加权融合 def weighted_method( # 结果 Weighted_pre MAE: 0.0575 上述加权融合的技术是从模型结果的层面进行的，就是让每个模型跑一遍结果，然后对所有的结果进行融合，当然融合的方式不只有加权平均，还有例如平均 更多详情可以参考这篇博客模型融合方法学习总结 3. 模型自身的融合方面， 我们学习了Stacking和Blending的原理及具体实现方法，介绍了mlxtend库里面的模型融合工具 ?
1.9K20发布于 2020-04-08 融合Transformer与CNN的多模态时间序列预测模型
引言:融合Transformer与CNN的多模态时间序列预测模型 在人工智能落地工业场景的进程中，时间序列预测始终是核心痛点——无论是设备监测的故障预警、气象数据的灾害预判，还是股票市场的趋势分析，传统模型要么难以捕捉长时依赖 而Transformer的注意力机制擅长挖掘长序列关联，CNN则在局部特征提取上表现优异，将两者融合构建多模态预测模型，成为突破性能瓶颈的关键方向。 本文将原创改进一款融合Transformer与CNN的多模态时间序列预测模型，从架构设计、代码实现到NASA数据集实战，全程拆解落地流程。 ，容易出现梯度消失或信息衰减，无法精准挖掘远期关联特征； 多模态数据适配缺失：实际工业场景中，时序数据常伴随多源模态（如设备监测的振动数据+温度数据、气象预测的气压数据+湿度数据），传统模型难以有效融合跨模态信息 二、原创模型架构：Transformer与CNN的融合设计 本次改进模型的核心思路是：通过CNN分支提取各模态时序数据的局部关键特征，通过Transformer分支捕捉跨时间步的长时关联，最后通过融合层整合多模态特征并输出预测结果
58410编辑于 2025-12-31- 来自专栏机器学习AI算法工程
全球AI挑战-场景分类的比赛源码(多模型融合)
Fine-tune时松太开，可能导致训练耗时，也可能导致机器带不动；绑太紧可能导致Fixed的权重参数扼制了模型的学习能力。建议是在机器能扛得住的基础下，尽可能松绑多一些。 提高2~5个百分点 模型选择很重要！！！ 糟糕的模型训练几天几夜，可能赶不上优势模型训练几个epoch。VGG16=>Xception提高5~8个百分点 Loss降不下去时尝试调低LR！！！ 降不下去就调小，调下的幅度一般是5倍、10倍左右。提高1~3个百分点 TensorbBoard监视训练状态！！！ 训练过程中一直没有过拟合，要从两方面考虑： 模型太简单，拟合能力不足，这时要考虑增强网络复杂度 数据增强程度太大，学不到某些特征 模型集成！！！ 单模型没有什么提升空间时，要尝试将多个单模型进行集成。 集成的方式可以选择投票法、均值法、按照模型Acc加权法等等。提高0.5~1.5个百分点 预测数据增强！！！
1K21发布于 2019-10-28 - 来自专栏机器学习与统计学
玩转机器学习：基于多损失函数的模型融合
基于多损失函数的模型融合 原理其实很简单，利用不同损失函数的特性，结合使用不同损失函数分别训练多个模型，将多个训练得到的模型结果进行加权平均或分段预测。 这里我们使用的是MAE 和 MSE： 平均绝对差值(MAE) 绝对误差的平均值，通常用来衡量模型预测结果对标准结果的接近程度。 ? 来源见水印 可以看出，MSE对误差进行了平方，这就会放大误差之间的差距，也即加大对异常值的惩罚，在高分段和低分段能获得更好的表现，使用MAE的模型在中分段能获得更好的表现。 因此可以结合使用以MSE和MAE为损失函数的模型，分段进行预测。 注：单模型而言，如果数据的异常值对于业务是有用的，我们希望考虑到这些异常值，那么就用MSE。 模型融合实例 书中使用lightgbm建模并进行融合，只列出关键代码。 ?
1.9K30发布于 2020-06-16 - 来自专栏点云PCL
多帧数据融合思路
一.对数据的输入 A、如何获取你的点云数据（使用什么设备，查找相应设备的介绍，设备的精度、稳定度、抗噪能力、数据的可视深度范围等，采用无标记点融合，或标记点融合；要考虑多帧数据之间的旋转角度）； B、如何将你的数据对象从环境中分割出来 （识别分割、手动分割CC），深度学习若能做分割，并且针对特定对象的效果还行的话，再结合PCL做多帧数据的融合，是一个创新点（前提是提高效率）； C、对数据的输入输出要掌握，一般程序都是一样的，复制粘贴即可 二、对数据的预处理（融合肯定至少两帧数据） A、数据是否有噪声：根据噪声的类别，选择合适的算法进行去除（直通滤波、条件滤波、统计滤波、双边滤波等等）； B、数据是否需要下采样：体素栅格滤波（参数的设置， 根据自己的目的，参考北航出的国内唯一一本PCL的书，同时兼顾PCL官网的更新内容）； B、精配准执行前的准备：是否建立空间拓扑关系（一般需要建立，加快计算速度）； C、是否需要剔除错误点对（一般需要剔除，提高融合精度 书以及官网都可查阅）； D、执行计算，并输出精配准融合点云对象，输出精配R和T，输出精配时间，并可视化（保存或可视化都行）。
2.5K20发布于 2019-07-30 - 来自专栏全栈程序员必看
blender模型(sklearn模型融合)
几种方式融合 基本的模型融合组合及适用场景、优缺点等 什么是融合？ 构建并结合多个学习器来完成学习任务，我们把它称为模型融合或者集成学习。 基本的融合方式有： Blending Stacking 选择融合模型的模型有两点要求： 准确性 要求该模型的性能不能太差 差异性 选择模型一般是多个，要求这多个模型之间有差异，有差异才能通过融合模型发挥他们的优势 3、依次用train2作为验证集，其他四份作为训练集，得到model_1_2，这样一个基模型在train1-train5上有5个模型，同时，train1到train5都有预测值：pred1 – pred5 5、考虑test数据集，每一个基模型对与test都有一次预测，但基模型在train上有5个模型，因此test的预测结果也有5次，会对这5次结果求平均值用于作为下一层输入 上面是第一层的训练结果，我们现在来看下第二层的训练过程 ，这样就会有很多模型产生，也就是会形成多份“训练集Predictions”以及多份“测试集Predictions”，这样在第二层建立的模型及预测的结果相对会好一些。
98330编辑于 2022-08-01 - 来自专栏AI智韵
【多模态大模型实战】 搭建DeepSeek Janus-Pro 7B 多模态模型，以及推理微调，推理后的模型融合
模型信息 Janus-Pro是DeepSeek最新开源的多模态模型，是一种新颖的自回归框架，统一了多模态理解和生成。 ，现已支持450+大模型与150+多模态大模型的训练（预训练、微调、人类对齐）、推理、评测、量化与部署。 目前ms-swift的主要能力包含： 模型类型：支持450+纯文本大模型、150+多模态大模型，All-to-All全模态模型的训练到部署全流程。 工具箱能力：除了对大模型和多模态大模型的训练支持外，还支持其推理、评测、量化和部署全流程。 模型评测：以EvalScope作为评测后端，支持100+评测数据集对纯文本和多模态模型进行评测。
4K10编辑于 2025-02-08 - 来自专栏云云众生s
5个实际开源的多模态AI模型
译自 5 Multimodal AI Models That Are Actually Open Source，作者 Kimberley Mok。 虽然市场上已经存在许多强大的、专有的多模态AI系统，但小型多模态AI模型和开源替代方案也正在迅速发展，因为用户不断寻求更易访问和更易适应的选项，并优先考虑透明度和协作。 CogVLM CogVLM利用深度融合技术来获得高性能，代表认知视觉语言模型，这是一个开源的、最先进的视觉语言基础模型，可用于视觉问答 (VQA)和图像字幕。 CogVLM使用基于注意力的融合机制融合文本和图像嵌入，并冻结网络层以保持高性能。它还采用EVA2-CLIP-E视觉编码器和多层感知器(MLP)适配器，用于将视觉和文本特征映射到同一空间。 4. 5. xGen-MM 也被称为 BLIP-3，这是来自Salesforce 的一套最先进的开源多模态模型，它包含一系列变体，包括一个预训练基础模型，一个指令微调模型和一个旨在减少有害输出的安全微调模型。
2.1K10编辑于 2024-12-14 - 来自专栏啄木鸟软件测试
多模态大模型技术原理及实战(5)
国内外多模态大模型对比 国内 LLaMA-Adapter V2 香港中文大学 双语输出 输入 •图像 •语音 •文本 •视频 • 3D 点云 起源：LLaMA-Adapter •在线性层上进行偏差调整 •提出了一种简单的早期融合策略。 多模态大模型评测数据集 国内评测数据集 OwlEval •基于mPLUG-Owl模型发布 • 包含 •50 张图片 •82 个回题 •功能 •故事生成 •广告生成 •代码生成 MME •开发 •结构 •265 016张图片 •每张图片至少有 3 个问题(平均 5.4个每个问题） •每个问题 •有 10 个基本事实答案 •有 3 个合理(但可能不正确)的答案 多模态大模型的评测标准 国内评测标准 •KROCC( Kendall Rank Order Correlation Coefficient，肯德尔秩相关系数) •RMSE( Root Mean Square Error,均方根误差 ) 多模态大模型对比
35810编辑于 2024-09-10 - 来自专栏云云众生s
5个小型多模态AI模型及其功能
译自 5 Small-Scale Multimodal AI Models and What They Can Do，作者 Kimberley Mok。 TinyGPT-V 这款功能强大且资源高效的28亿参数多模态模型可以处理文本和图像输入，并在使用比大型同类产品少得多的资源的同时保持令人印象深刻的性能水平。 GPT-4o mini GPT-4o mini作为OpenAI GPT-4o多模态模型的较小且更便宜的版本发布，其运行成本比OpenAI模型系列中以前最实惠的模型GPT-3.5 Turbo低约60%。 5. Mississippi 2B 和 Mississippi 0.8B 最近由H2O.ai发布，这两个多模态基础模型专为OCR和文档AI用例而设计。 结论 多模态模型以及大型语言模型的可访问性和成本效益仍然是主要问题。但随着越来越多的相对轻量级但功能强大的多模态AI选项可用，这意味着更多机构和小型企业将能够在其工作流程中采用AI。
71010编辑于 2024-12-04 - 来自专栏时空探索之旅
KDD 2025 | MDPNet：融合多尺度分解与扩散模型的时空预测
它巧妙地利用复杂系统的多尺度结构，来发现其内在动态所在的潜在空间 。首先，MDPNet包含了一个多尺度扩散自编码器，通过编码多尺度特征来引导扩散模型进行可靠的重构 。 其核心思想是，将编码器提取的多尺度潜在向量 作为条件，去引导扩散模型在不同时间步的去噪（重构）过程 。 图5：计算时间成本对比，MDPNet（蓝色）相比传统LBM方法（橙色）实现了显著的计算加速 3.2 核心机制验证：多尺度设计的内在优势 为了证明MDPNet的卓越性能源于其创新的多尺度设计，作者进行了深入的机制分析 结果显示，MDPNet的多尺度方法能够更高效地利用潜在空间的容量。如下图所示，MDPNet在64维时已接近性能饱和点，显著优于需要更大维度才能收敛的基线模型，证明了其表征能力的优越性。 图6：模型性能随潜在维度的变化。MDPNet（绿色）在更低的维度上达到了比基线模型更高的精度 多尺度分解的必要性：直接证据表明，MDPNet显式地解耦多尺度信息是提升性能的关键。
82010编辑于 2025-06-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号