图神经网络在多媒体领域应用非常多,本文整理了七篇ACM MM 2019最新GNN相关论文,并附上论文链接供参考——个性化推荐、短视频推荐、多视频摘要、基于文本的行人搜索、视频关系检测、社区问答(CQA) 我们基于图神经网络的消息传递思想设计了一个多模态图卷积网络(MMGCN)框架,该框架可以生成用户和微视频的特定模态表示,以更好地捕获用户的偏好。 为了获得群体图像的鲁棒表示,我们设计了一种域转移图神经网络(DoT-GNN)方法。优点包括三个方面:1)风格转移。 2)图生成。我们将组视为图,其中每个节点表示单个特征,每个边沿表示几个个体之间的关系。我们提出了一种图生成策略来创建足够的图形样本。3)图神经网络。 doid=3343031.3351058 7.
文章分类在学习摘录和笔记专栏: 学习摘录和笔记(26)---《图神经网络(GNN)》 图神经网络(GNN) 1 图神经网络(GNN)介绍 图不但包含数据,也包含数据之间的依赖关系,因而图神经网络 图神经网络(GNN)最擅长处理和建模图结构数据。 GNN的工作原理简单概况就是,聚合节点的邻居节点/边的信息,来更新节点的向量表征。 最后,清楚图的结构和转化后,该如何选择合适的图神经网络进行学习? 1. 对于同构图,总结了一类成为homogeneous GNN的图神经网络类型。 常见的有基于元路径的(meta-path based),关系神经网络延伸的(R-GNN based)等等。 语义角色标注(Semantic Role Labelling) 参考:新智元 《自然语言处理中图神经网络从入门到精通》 文章若有不当和不正确之处,还望理解与指出。
来源:百度Aistudio 图神经网络7日打卡营 图(graph)近来正逐渐变成机器学习的一大核心领域,在开始PGL框架学习之前,我们先简单学习一下图论的基本概念,图论的经典算法,以及近些年来图学习的发展 (0, 8), (0, 10), (0, 11), (0, 12), (0, 13), (0, 17), (0, 19), (0, 21), (0, 31), (1, 2), (1, 3), (1, 7) , (1, 13), (1, 17), (1, 19), (1, 21), (1, 30), (2, 3), (2, 7), (2, 8), (2, 9), (2, 13), (2, 27), (2, 28), (2, 32), (3, 7), (3, 12), (3, 13), (4, 6), (4, 10), (5, 6), (5, 10), (5, 16), (6, 16), (8, 30), 传统同构图(Homogeneous Graph)数据中只存在一种节点和边,因此在构建图神经网络时所有节点共享同样的模型参数并且拥有同样维度的特征空间。
图神经网络基础 图神经网络用于挖掘事物的“普遍联系”,理解原理、应用技术。本文汇总图神经网络相关介绍和基础模型。 图及特性 图是由顶点和边组成的,如下图左所示。 [3a503f611707484ebde76b2da7c38c3e.jpg] 在数学中一般使用邻接矩阵来表示图,如上图右所示。 [7d72ac39e692436089a88cd60a442ba9.jpg] 为什么需要图神经网络 [image-20210908183829949.png] 图神经网络提出的目的是针对图这种非欧几里得数据来学习图网络中的实体 图神经网络的机制 [02f669ed-d162-461c-9fd7-bb16a8125b85.png] 首先从一种最简单的图结构,也就是如上图所示的链条结构开始,实际上这个结构可以看作是一种有向图。 [eb7ea9eeb2004835aec7af232de947fe.gif] 图神经网络是直接在图上进行计算,整个计算的过程,沿着图的结构进行,这样处理的好处是能够很好的保留图的结构信息。
关于图的概念可以参考图论整理 ,这里不再赘述。 图神经网络Graph neural networks(GNNs)是深度学习在图领域的基本方法,它既不属于CNN,也不属于RNN。 这个是图神经网络核心的概念。 图任务(Graph Tasks) 上图是一个节点的分类任务,在左边的部分,有些节点有颜色,有些节点没颜色。 图神经网络很难可视化,它不像图像或者声音那样有可以确定的样子和波形,过于抽象,错综复杂。 在a图的CNN中的中间层是一个3*3的卷积核,往下扩大就是一个5*5的卷积核,再往下扩大的话可以扩大到7*7、9*9。 图卷积神经网络(Graph Convolution Networks) GCN是一种可以直接作用于图上的卷积神经网络,它能够提取图的特征。
在这之后,图嵌入算法逐渐过渡到神经网络时代,涌现出一大批优质的图神经网络模型,包括 SDNE (2016) 与 GraphSAGE (2017) 等等,在工业界大放异彩。 依据 Wu et. al (2019) 的定义,图神经网络可分为五大类: 图卷积网络(Graph Convolution Networks):简称为 GCN,是目前最主流的图神经网络算法,其余四种图神经网络皆由 image.png 总结 图神经网络相对于传统的卷积神经网络和循环神经网络的不同之处,在于其高度的可塑性和多样性。 】 【7】使用邻接矩阵或是使用节点的固有特征:邻接矩阵【8】、节点特征【13】 【8】使用能进行节点级别分类任务的 <基于谱的图卷积网络>, e.g. 1stChebNet 【9】使用能进行图级别分类任务的 Spectral CNN, ChebNet【3】数据规模:大型【5】、小型【7】 【11】使用 SDNE 等高效应对稀疏数据的 <基于空间的图自编码器> 对节点进行编码后进入【13】 【12】使用能进行节点级别分类任务的
公众号:尤而小屋作者:Peter编辑:Peter图神经网络GNN和传统深度学习网络的对比:循环神经网络(1997)和卷积神经网络(2012):擅长处理图像等欧式数据或者文本和信号等序列数据图神经网络:擅长处理社交网络 、推荐系统、药物发现和程序分析中的图和流行结构等数据图结构数据不适合高度规则化的神经网络结构,比如RNN或者CNN等。 图神经网络基础GNN方法GNN的理论理解GNN的可扩展性GNN的可解释性GNN的对抗鲁棒性GNN方法GNN是专门设计的用于在图结构数据上进行操作的神经网络架构,其目的是通过聚合邻居节点的表征及其前一次迭代中的表征来迭代更新节点表征 有监督的GNN无监督的GNN训练深度图神经网络的问题:过平滑问题(其中所有的节点都有类似的特征)GNN的理论理解GNN能够达到一维Weisfeiler-Lehman测试的表达能力,甚至超越该能力,包含附加随机属性 对抗性攻击对抗性训练图神经网络前沿图分类和预测链接图生成和图转换图匹配和图结构学习动态图神经网络异质图神经网络基于图神经网络的AutoML和自监督学习图神经网络应用图构建:具有显式或隐式图结构的输入数据图表征学习
图神经网络入门指南神经网络已经适应了图的结构和特性。我们探讨了构建图神经网络所需的组件,并解释了其背后的设计选择。将鼠标悬停在下图中的一个节点上,观察它如何通过网络中的各层从周围节点累积信息。 图神经网络图神经网络(GNN)是对图的所有属性(节点、边、全局上下文)进行可优化的变换,同时保持图的对称性(置换不变性)。GNN 采用“图输入,图输出”的架构。 所有聚合后的消息通过一个更新函数(通常是一个学习到的神经网络)。通过堆叠消息传递 GNN 层,一个节点最终可以整合来自整个图的信息。 GCN 作为子图函数近似器:k 层的 GCN 可以看作是在大小为 k 的子图的学习嵌入上操作的神经网络。边与图的对偶:图 G 上的边预测任务可以表述为 G 的对偶图上的节点级别预测。 本文概述了研究人员在构建基于神经网络的图处理模型方面的一些里程碑,并探讨了使用这些架构时必须做出的一些重要设计选择。近年来 GNN 的成功为各种新问题创造了巨大机遇。FINISHED
image.png 二、图有两个基本特征: 每个节点都有自己的特征信息 图谱中的每个节点还具有结构信息 图神经网络相关: 在了解图神经网络之前,我们来复习一下与图神经网络相关的一些概念 一、Graph deep learning方法搭建的网络统称为图神经网络GNN 图神经网络 图神经网络(Graph Neural Network, GNN)是指神经网络在图上应用的模型的统称,根据采用的技术不同和分类方法的不同 图神经网络是一种直接作用在图结构上面的神经网络。 一、定义 在论文《Relational inductive biases, deep learning, and graph networks》中作者定义了图神经网络的通用结构,也就是现在的图神经网络的开山鼻祖 更加细节的如何从傅立叶变换到拉普拉斯算子到拉普拉斯矩阵的数学推倒可以转向博客[7],为了避免数学功底没有那么强的初学者(比如我)被绕晕,我们先建立大纲,不要太发散。
来源:专知本文约1800字,建议阅读7分钟本文与你分享图神经网络的相关论文及科学应用。 随着该领域的成熟,图神经网络论文的数量也在增长,作者仔细研究了一些科学应用,并收集了几篇发表在Nature上的GNN论文。 我们周围的很多信息都可以用图表来表示。 图神经网络(GNN)可以处理基于图的信息以进行预测。 卷积神经网络(CNN)擅长处理图像、文本或视频等数据。这些可以被认为是简单的图形或固定大小和形状的序列。 GNN 可以在整个图的级别上执行预测或分类任务,也可以针对每个节点或边执行预测或分类任务。 基于图的深度学习在许多领域都取得了成功,从推荐系统到交通时间预测。
从图(Graph)到图卷积(Graph Convolution): 漫谈图神经网络 (二) 作者: SivilTaram 编辑: Houye 在从图(Graph)到图卷积(Graph Convolution ): 漫谈图神经网络 (一)中,我们简单介绍了基于循环图神经网络的两种重要模型,在本篇中,我们将着大量笔墨介绍图卷积神经网络中的卷积操作。 接下来,我们将首先介绍一下图卷积神经网络的大概框架,借此说明它与基于循环的图神经网络的区别。接着,我们将从头开始为读者介绍卷积的基本概念,以及其在物理模型中的涵义。 这两条实际上也是后续图卷积神经网络的设计原则,图卷积的本质是想找到适用于图的可学习卷积核。 图卷积框架(Framework) 上面说了图卷积的核心特征,下面我们先来一窥图卷积神经网络的全貌。 1stChebNet)[7]等。
return test_acc 输出: 正如我们看到的,效果很差,一个重要的原因就是有标签的节点数量过少,训练的时候会有一些过拟合 接下来我们介绍图卷积神经网络: 然后开始构建我们的图神经网络: : 通过visualize的函数处理,7维特征的节点被映射到2维的平面上,可以看到有点“同类节点群聚”的现象 接下来,构建我们的图神经网络: from torch_geometric.nn import test_acc test_acc=test() print(f"Test Accuracy:{test_acc:.4f}") 输出: 可以看到准确率已经提高到了80%,与前面获得59%的测准确率的MLP图神经网络相比 ,GCN图神经网络准确性要高的多,这表明节点的邻接信息再取得更好的准确率方面起着更关键的作用。 再来做个图看看吧: 通过上面这个图发现,同类节点群聚的现象更加明显了,这意味着在训练后,GCN图神经网络生成的节点表征质量更高了。 完
从图(Graph)到图卷积(Graph Convolution): 漫谈图神经网络 (一) 作者: SivilTaram 编辑: Houye 作者最近看了一些图与图卷积神经网络的论文,深感其强大,但一些 因此,本文试图沿着图神经网络的历史脉络,从最早基于不动点理论的图神经网络(Graph Neural Network, GNN)一步步讲到当前用得最火的图卷积神经网络(Graph Convolutional Deep Learning on Graphs: A Survey[7], 在这里向两篇Survey的作者表示敬意。 不过,因为图神经网络的发展分支非常之多,笔者某些叙述可能并不全面,一家之言仅供各位读者参考: 图神经网络的概念最早在2005年提出。 下面是一个生动的例子,图片来自论文[7]: ? 图像与图示例 image.png ? 更新公式示例 image.png ?
或多或少接触NLP的同学,应该比较清楚目前文本分类的模型众多,比如Text-RNN(LSTM),Text-CNN等,但是当时很少有关于将神经网络用于文本分类的任务中。 GCN属于一类图形神经网络,称为消息传递网络,其中消息(在这种情况下,边缘权重乘以节点表示形式)在邻居之间传递。 我们可以将这些消息传递网络视为帮助学习节点表示的方法,该节点表示法考虑了其图结构的附近邻居。因此,图的构造方式,即在哪些节点之间形成哪些边,非常重要。 Text-GCN:基于图神经网络的文本分类 ? 文本Graph的构建 构造“文本”图的细节如下。首先,节点总数是文档 ? 数加上不同词语 ? 的个数。节点特征矩阵是恒等矩阵 ? 总的来说,我认为本文显示了图神经网络的强大能力及其在我们可以定义和构建某种有用图结构的任何领域中的适用性。
从图(Graph)到图卷积(Graph Convolution): 漫谈图神经网络 (三) 作者: SivilTaram 编辑: Houye 恭喜你看到了本系列的第三篇! 前面两篇分别介绍了基于循环的图神经网络和基于卷积的图神经网络,那么在本篇中,我们则主要关注在得到了各个结点的表示后,如何生成整个图的表示。 图读出操作(ReadOut) 图读出操作,顾名思义,就是用来生成图表示的。它的别名有图粗化(翻译捉急,Graph Coarsening)/图池化(Graph Pooling)。 这就是典型的**图重构(Graph Isomorphism)**问题。比如下面左右两个图,其实是等价的: ? 图重构 为了使得同构图的表示能够保持一致,图读出的操作就需要对结点顺序不敏感。 基于学习的方法(Learning Category) 基于统计的方法的一个坏处大概是它没办法参数化,间接地难以表示结点到图向量的这个“复杂”过程。基于学习的方法就是希望用神经网络来拟合这个过程。
二、有哪些图神经网络 三、图神经网络的应用 一、什么是图神经网络? 在深度学习的成功推动下,研究人员借鉴了卷积网络、循环网络和深度自动编码器的思想,定义和设计了用于处理图数据的神经网络结构,由此一个新的研究热点——“图神经网络(Graph Neural Networks 同时图嵌入的深度学习方法也属于图神经网络,包括基于图自动编码器的算法(如DNGR和SDNE)和无监督训练的图卷积神经网络(如GraphSage)。下图描述了图嵌入和图神经网络在本文中的区别。 ? 二、有哪些图神经网络? 图卷积网络是许多复杂图神经网络模型的基础,包括基于自动编码器的模型、生成模型和时空网络等。下图直观地展示了图神经网络学习节点表示的步骤。 ?
图神经网络(GNN):理解复杂网络数据的有效工具 图神经网络(Graph Neural Network, GNN)是近年来机器学习领域的热门话题。 本文将深入探讨图神经网络的基本概念、主要模型及其应用,并通过代码示例展示如何从头实现一个 GNN。 1. 图神经网络基础 1.1 什么是图? 1.2 图神经网络的目标 图神经网络的主要目标是通过图的结构和节点的特征来进行学习。具体来说,GNN 可以用来解决以下问题: 节点分类:例如,在社交网络中预测用户的兴趣。 图分类:例如,判断一个分子是否具有某种化学性质。 2. 图神经网络的工作原理 GNN 的核心思想是通过迭代地聚合每个节点邻居的信息来更新节点的表示。 动态图神经网络:现实世界中的图通常是动态变化的,例如社交网络中的好友关系,研究动态 GNN 是一个重要的方向。 可解释性:增强 GNN 的可解释性,帮助人们更好地理解 GNN 的决策过程。 7.
从贝叶斯学派的代表方法——概率图模型的角度对图神经网络加以解释。它的强大之处在于生成的解释具有丰富的统计信息,能够以条件概率的形式自然的表达出节点之间的依赖关系。 ? Graphical Model Explanations for Graph Neural Networks 论文地址:https://arxiv.org/pdf/2010.05788.pdf 0.摘要 在图神经网络 在节点分类任务中, 是图 的所有节点预测的向量,其中 是目标预测(即本文中需要被解释的预测);在图分类任务中, 是在图 上的预测,简单的将 写成 。 对于解释域 的选取,可以选择图 的边子集、特征矩阵 的实例子集。本文采用了[17]中提出的神经网络的解释模型框架,并认为 是一个可解释模型家族。 合成数据集上的结果 每个输入图都是一个基础图和一组 motifs 的组合。 ground-truth:与被预测节点处于同一 motif 中的节点。 ? fig7 2.
图神经网络的研究已经成为今年机器学习领域 炙手可热 的话题之一。最近,图神经网络在生物学、化学、社会科学、物理学和许多其他领域的问题上,取得了一系列成功。 到目前为止,图神经网络模型主要是针对静态图而开发的,静态图不会随着时间而改变。然而,许多有趣的现实世界图都是动态的,并且会随着时间的推移而不断变化,突出的例子包括社交网络、金融交易和推荐系统。 该事件流由编码器神经网络接受,这个编码器神经网络为图的每个节点生成时间相关的嵌入。然后,可以将嵌入馈送到为特定任务而设计的解码器中。 这项消融研究揭示了不同时间图网网络模块的重要性,并使我们能够得出一些一般性结论。首先,内存很重要:内存的缺失会导致性能的大幅下降【7】。其次,嵌入模块的使用(与直接输出内存状态相反)很重要。 【7】 虽然内存包含关于一个节点过去所有交互作用的信息,但图嵌入模块只能访问时间邻域的样本(出于计算原因),因此可能无法访问对手头任务至关重要的信息。
2.3 作为关系图的通用神经网络 本节讨论了如何将关系图推广到通用神经网络,特别是可变宽度MLP。 我们研究发现,表现最佳的关系图与生物神经网络惊人地相似,如表2和图6所示。顶级人工神经网络的图度量与生物神经网络高度相似,且关系图表示能将生物神经网络转化为5层MLP,优于基线完整图。 表2 顶级人工神经网络可以类似于生物神经网络 图6 生物(左)和人工(右)神经网络图结构的可视化。 6 相关工作 神经网络连接。神经网络连接模式设计主要关注宏观结构和微观结构。 7 讨论 神经网络的层次图结构。我们的工作重点是层级别的图结构,这是神经网络的基础。虽然探索这个领域在计算上具有挑战性,但我们希望我们的方法和发现能够推广。 高效实施。 结果(图7)发现,训练收敛后提取的图不再是E-R随机图,而是朝着最佳点区域移动。这些学习到的图与作为结构强加的性能最佳图之间仍然存在差距,这可能解释了全连接的MLP性能较差的原因。 图7 先验与学习。