- 综合排序
- 最热优先
- 最新优先
- 来自专栏翻译scikit-learn Cookbook
Probabilistic clustering with Gaussian Mixture Models
Hard KMeans clustering is the same as applying a Gaussian Mixture Model with a covariance matrix, S, look at how we can do this in scikit-learn: 好的，现在我们看看我们如何基于分布分类点，让我们看一看用scikit-learn怎么做： from sklearn.mixture
77610发布于 2019-11-25 - 来自专栏机器学习、深度学习
人群计数--Mixture of Counting CNNs
Mixture of Counting CNNs: Adaptive Integration of CNNs Specialized to Specific Appearance for Crowd Counting 我们提出的网络结构 Mixture of Counting CNNs ? 3.1. Counting by MoC-CNN 网络最终的人数估计等于所有所有小CNN的人数估计权重之和。
70570发布于 2018-01-03 - 来自专栏AI
原来这就是 MoA(Mixture-of-Agents)
今天看到一个项目，Mixture-of-Agents (MoA)，打开了一个新思路。 介绍Mixture-of-Agents (MoA) 是一种新颖的方法，它利用多个 LLMs 的集体优势来增强性能，实现最先进的结果。 # Mixture-of-Agents in 50 lines of codeimport asyncioimport osfrom together import AsyncTogether, Togetherclient
1K10编辑于 2024-07-10 - 来自专栏半杯茶的小酒杯
混合密度网络-Mixture Density Networks
翻译自: https://blog.otoro.net/2015/11 /24/mixture-density-networks-with- tensorflow/? tdsourcetag=s_pctim_ai omsg Notebook-(Tensorflow实现)： http://otoro.net/ml/ipynb/mixture/mixture.html Notebook 这就是混合密度网络(Mixture Density Network, MDN)的思想。 混合密度网络(Mixture Density Network) 混合密度网络(Mixture Density Networks,MDNs)是由Christopher Bishop在上世纪90年代提出的， Bishop的MDNs预测单个分类的混合高斯分布(Mixture Gaussian Distributions)，其中混合高斯分布的输出是多个均值和方差都不相同的高斯分布的加权和。
2.1K00编辑于 2022-04-28 - 来自专栏null的专栏
Multi-gate Mixture-of-Experts（MMoE）
Google于2018年提出了Multi-gate Mixture-of-Experts（MMoE）模型[1]来对任务之间相互关系建模。 2. Multi-gate Mixture-of-Experts（MMoE）模型 从MMoE的名称来看，可以看到主要包括两个部分，分别为：Multi-gate（多门控网络）和Mixture-of-Experts Mixture-of-Experts（MoE）模型 MoE模型可以表示为 其中 ， 表示的是 的第 个输出值，代表的是选择专家 的概率值。 是第 个专家网络的值。 One-gate Mixture-of-Experts（OMoE）模型 在shared-bottom模型中，无法实现对多个任务之间关系的建模，结合shared-bottom和MoE，便有了One-gate Multi-gate Mixture-of-Experts（MMoE）模型 Multi-gate Mixture-of-Experts是One-gate Mixture-of-Experts的升级版本，
1.5K20编辑于 2022-05-12 - 来自专栏SimpleAI
Mixture-of-Experts (MoE) 经典论文一览
Mixture-of-Experts (MoE) 经典论文一览 最近接触到 Mixture-of-Experts (MoE) 这个概念，才发现这是一个已经有30多年历史、至今依然在被广泛应用的技术，所以读了相关的几篇经典论文 Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, ICLR'17 期刊/会议：ICLR'17 这篇文章提出了 Sparsely-Gated Mixture-of-Experts layer ，声称终于解决了传统 conditional computational 的问题，在牺牲极少的计算效率的情况下 Sparsely-Gated Mixture-of-Experts layer 跟1991年那个工作对比，这里的MoE主要有两个区别： Sparsely-Gated：不是所有expert都会起作用，而是极少数的 MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation, NAACL'22 期刊/会议：NAACL'22 论文链接
3K30编辑于 2022-12-01 - 来自专栏算法一只狗
MoE(Mixture-of-Experts)大模型架构的优势是什么？
在其MOE架构中，引入了路由专家 (Routed Experts) 和共享专家 (Shared Experts) 。主要是用来激活那些参数需要被更新。
1.1K20编辑于 2025-01-01 - 来自专栏人工智能
Mixture-of-Experts：大语言模型的多路专家架构详解
在现代深度学习领域，尤其是大规模语言模型的研究中，Mixture-of-Experts（简称 MoE）是一种高效的模型架构设计。 总结Mixture-of-Experts 架构是一种强大的模型设计策略，特别适合于大规模语言模型的训练与推理。它通过引入专家网络和稀疏激活技术，实现了高效的计算资源利用，同时显著提升了模型的表达能力。
97400编辑于 2025-01-12 - 来自专栏大鹅专栏：大数据到机器学习
多任务学习模型MMoE详解 Multi-gate Mixture-of-Experts 与代码实现
因此，论文中提出了一个Multi-gate Mixture-of-Experts(MMoE)的多任务学习结构。 往上，K个子任务分别对应一个tower network（表示为h^k），每个子任务的输出y_k=h^k(f(x)) Mixture-of-Experts(MoE) MoE模型可以形式化表示为y=\sum Multi-gate Mixture-of-Experts(MMoE) MMoE目的就是相对于shared-bottom结构不明显增加模型参数的要求下捕捉任务的不同。 task_dnn_units=None, seed=1024, dnn_dropout=0, dnn_activation='relu'): """Instantiates the Multi-gate Mixture-of-Experts www.kdd.org/kdd2018/accepted-papers/view/modeling-task-relationships-in-multi-task-learning-with-multi-gate-mixture
19.3K116发布于 2021-06-09 - 来自专栏拓端tecdat
R语言有限混合模型(FMM,finite mixture model)EM算法聚类分析间歇泉喷发时间
本文提供了一套用于分析各种有限混合模型的方法。既包括传统的方法，如单变量和多变量正态混合的EM算法，也包括反映有限混合模型的一些最新研究的方法（点击文末“阅读原文”获取完整代码数据）。
88710编辑于 2023-12-20 - 来自专栏人工智能极简应用
【深度学习】多目标融合算法（四）：多门混合专家网络MMOE（Multi-gate Mixture-of-Experts）
二、MMoE（Multi-gate Mixture-of-Experts，多门混合专家网络） 2.1 技术原理 MMoE（Multi-gate Mixture-of-Experts）全称为多门混合专家网络
2.1K10编辑于 2025-02-11 - 来自专栏拓端tecdat
用有限混合模型(FMM,FINITE MIXTURE MODEL)创建衰退指标对股市SPY、ETF收益聚类双坐标图可视化
---- 本文摘选《R语言用有限混合模型(FMM,FINITE MIXTURE MODEL)创建衰退指标对股市SPY、ETF收益聚类 》
63730编辑于 2022-03-11 - 来自专栏MixLab科技+设计实验室
深度学习生成舞蹈影片01之MDN
先案例一个Github的项目： DanceNet Dance generator using Variational Autoencoder, LSTM and Mixture Density Network 2 深度混合密度模型 deep mixture density network MDN 你也许会想，用神经网络输出多个值并不难，只要定义最后的输出层节点数大于 1 就可以了。 使用这个思想设计的网络就叫混合密度网络Mixture Density Network： ? 早在1994年，Christopher M. Bishop就提出Mixture Density Networks，MDN 结合了常规的深度神经网络和高斯混合模型GMM，MDN的结构如上图所示： neural network + mixture model kadenze-deep-creative-apps/blob/master/final-project/glyphs-rnn.ipynb 参考资料： http://blog.otoro.net/2015/11/24/mixture-density-networks-with-tensorflow
1.7K30发布于 2018-10-09 - 来自专栏Rust语言学习交流
【Rust 日报】2021-05-20 我常常将 Rust 视为开发编程语言的工艺和社区，而非编程语言自身
id=9f5fcc94-4291-4929-8f31-02c89565642f 教程：Infinite Mixture Model in Rust with rv 0.12 – 用极其有用的编程语言构建极其有用的模型 无限混合模型(Infinite mixture model)是我们最喜欢的统计模型之一。它使用非参数混合模型(non-parametric Mixture model)逼近任意的概率分布。 在这篇文章中，我们将在高层次上遍历无限混合模型(Infinite mixture model)，并使用 rv 这个库在 Rust 中实现一个。
59750发布于 2021-06-16 - 来自专栏CreateAMind
FFG节点就是神经元
ago implication.jl(File) Update docs last year matrix_dirichlet.jl(File) fixes for rules 4 days ago mixture.jl formatting rules last year normal_mean_variance.jl(File) apply new formatting rules last year normal_mixture.jl simple example work 3 weeks ago gamma_inverse(Directory) make a simple example work 3 weeks ago gamma_mixture rules last year matrix_dirichlet(Directory) format(): use JuliaFormatter for auto-formatting last year mixture example work 3 weeks ago normal_mean_variance(Directory) make a simple example work 3 weeks ago normal_mixture
17600编辑于 2023-12-01 - 来自专栏DrugOne
arXiv | ExT5：利用大规模有监督多任务学习来改进NLP模型的自监督预训练策略
本文提出了一个由107个有监督NLP任务组成、跨越不同领域和任务族的庞大集合EXMIX（Extreme Mixture）。 3.2 实验设置 实验考虑了within-mixture和out-of-mixture的任务（即一个任务是否包括在EXMIX中）。 对于out-of-mixture的任务，作者考虑了可能未包括在EXMIX中的、新的未见过的任务或集合，测试ExT5泛化到未见过的任务效果。 3.3 实验结果 WITHIN-MIXTURE结果 作者给出了ExT5在SuperGLUE、GEM、Rainbow、MsMarco和CBQA数据集上的结果。 OUT-OF-MIXTURE结果 作者在EXMIX之外的任务上评估了ExT5，并假设ExT5的极限多任务预训练可以让其在新的未见过的设定中获得更好的性能。
89710编辑于 2022-01-13 - 来自专栏DeepHub IMBA
高斯混合模型:GMM和期望最大化算法的理论和代码实现
高斯混合模型(Gaussian mixture model, GMM)是一种常见的混合模型，其概率密度由高斯分布的混合给出: X是一个d维向量。 μₖ是第k个高斯分量的平均向量。 , label='Mixture model', color='black') plt.xlabel('$x$') plt.ylabel('$p(x)$') plt.legend 让我们使用前面编写的plot_mixture()函数来绘制最终分布，绘制采样数据的直方图: def plot_mixture(x, mean1, std1, mean2, std2, w1, w2): () plot_mixture(x, *final_dist_params) 结果如下图所示: 可以看出，估计的分布与数据点的直方图密切一致。 Scikit-Learn中的GMM Scikit-Learn在类sklearn.mixture.GaussianMixture中提供了高斯混合模型的实现。
1.4K10编辑于 2023-12-04 - 来自专栏DeepHub IMBA
高斯混合模型:GMM和期望最大化算法的理论和代码实现
高斯混合模型(Gaussian mixture model, GMM)是一种常见的混合模型，其概率密度由高斯分布的混合给出: X是一个d维向量。 μₖ是第k个高斯分量的平均向量。 , label='Mixture model', color='black') plt.xlabel('$x$') plt.ylabel('$p(x)$') plt.legend 让我们使用前面编写的plot_mixture()函数来绘制最终分布，绘制采样数据的直方图: def plot_mixture(x, mean1, std1, mean2, std2, w1, w2): () plot_mixture(x, *final_dist_params) 结果如下图所示: 可以看出，估计的分布与数据点的直方图密切一致。 Scikit-Learn中的GMM Scikit-Learn在类sklearn.mixture.GaussianMixture中提供了高斯混合模型的实现。
1.1K10编辑于 2023-12-04 - 来自专栏生信小驿站
黑箱方法-神经网络①人工神经网络
$ Blast.Furnace.Slag..component.2..kg.in.a.m.3.mixture.: num 0 0 142 142 132 ... $ Fly.Ash..component.3..kg.in.a.m.3.mixture. : num 0 0 0 0 0 0 0 0 0 0 ... $ Water...component.4..kg.in.a.m.3.mixture. $ Superplasticizer..component.5..kg.in.a.m.3.mixture. : num 2.5 2.5 0 0 0 0 0 0 0 0 ... $ Coarse.Aggregate...component.6..kg.in.a.m.3.mixture. : num 1040 1055 932 932 978 ...
96130发布于 2018-08-27 - 来自专栏小小挖掘机
RS Meet DL(68)-建模多任务学习中任务相关性的模型MMoE
本文介绍的论文题目是：《Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》 论文下载地址为 id=3220007 多任务学习最近越来越受欢迎，咱们前面也介绍过几篇阿里多任务学习的模型，不过多任务学习的效果受不同任务之间的相关性影响较大，因此本文基于Mixture-of-Experts (MoE )模型，提出了一种显式建模任务相关性的模型Multi-gate Mixture-of-Experts (MMoE) ，一起来学习一下。 3、MMoE模型 3.1 MoE模型 先来看一下Mixture-of-Experts (MoE)模型（文中后面称作 One-gate Mixture-of-Experts (OMoE)），如下图所示： 3.2 MMoE模型 相较于MoE模型，Multi-gate Mixture-of-Experts (MMoE)模型为每一个task设置了一个gate，使不同的任务和不同的数据可以多样化的使用共享层，模型结构如下
1.7K10发布于 2019-10-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号