机器学习思维导图

翻译至dformoso

机器学习、深度学习思维导图

tips：文末附高清大图下载链接 机器学习篇 1. 流程 数据科学不是一蹴而就之事，而是一个需要设计，实施和维护的过程，下图包含对所涉及内容的快速概述。 ? 2. 数据处理 首先，我们需要一些数据。 数学 机器学习是一个建立在数学基础之上。 ? 4. 概念 部分类型，类别，方法，库和方法列表。 ? 5. 模型 目前最流行的机器学习模型。 ? ? 深度学习篇 1.概念 深度学习体系结构的构成，以及每个组件背后的数学注释。 ? 2.架构 根据需要解决的问题，已开发不同的深度学习架构，这是部分内容和调整说明。 ? 3. Tensorflow TensorFlow是一个使用数据流图进行数值计算的开源软件库。思维导图列出了它的一些组件，包和整体架构。 ?

【干货书】图机器学习，带你学习图数据的机器学习处理技术与实战案例

图机器学习将向您介绍一组用于处理网络数据的工具，并利用实体之间的关系的力量，可以用于预测、建模和分析任务。 第一章将介绍图论和图机器学习，以及它们的潜在使用范围。 您还将学习如何构建和扩展用于图分析的数据驱动应用程序，以存储、查询和处理网络信息，并探索图的最新趋势。 读完这本机器学习的书，你将学习图论的基本概念和所有用于构建成功的机器学习应用程序的算法和技术。 第2章，图机器学习，介绍了图机器学习和图嵌入技术的主要概念。 第3章，无监督图学习，介绍了近年来的无监督图嵌入方法。 第4章，监督图学习，介绍了最近的监督图嵌入方法。 第7章，文本分析和使用图表的自然语言处理，展示了机器学习算法在自然语言处理任务中的应用。 第8章，信用卡交易图分析，展示了机器学习算法在信用卡欺诈检测中的应用。 第9章，构建数据驱动的图驱动应用程序，介绍了一些处理大型图的有用技术和技巧。 第10章，图的新趋势，介绍了一些新的趋势(算法和应用)在图机器学习。

机器学习——图神经网络

图神经网络(GNN)：理解复杂网络数据的有效工具 图神经网络（Graph Neural Network, GNN）是近年来机器学习领域的热门话题。 1.2 图神经网络的目标 图神经网络的主要目标是通过图的结构和节点的特征来进行学习。具体来说，GNN 可以用来解决以下问题： 节点分类：例如，在社交网络中预测用户的兴趣。 3.3 图自编码器（Graph Autoencoder, GAE） 图自编码器是一种用于无监督学习图嵌入的方法。GAE 通过编码器和解码器来学习节点的低维表示。 print(f'Epoch {epoch}, Loss: {loss.item()}') 在这个代码中，我们使用了 Variational Graph Autoencoder (VGAE) 来进行图的无监督学习 GAE 可以有效地学习图的潜在结构，特别适合于节点嵌入和链接预测任务。 4.

【机器学习】六、概率图模型

今天我们对概率图模型（Probabilistic Graphical Model，PGM）做一个总结。 模型表示 概率图模型，是指一种用图结构来描述多元随机变量之间条件独立关系的概率模型。 它提出的背景是为了更好研究复杂联合概率分布的数据特征，假设一些变量的条件独立性，由此我们把概率图模型分为有向图和无向图，并且介绍了它们的模型表示、条件独立性。 (模型表示) 概率图模型(D分离) 模型推断 概率图模型只是为了简便研究模型方便而提出的工具，通常我们把得到联合概率分布参数的过程称为Learning问题，得到参数后，最终要进行推断，称为Inference 在⽆向图的基础上，引⼊隐变量得到了玻尔兹曼机，这个图模型的概率密度函数是⼀个指数族分布。 目前重点是把原理介绍清楚，对机器学习有个整体把握。熟悉这些工具，加上其原理的思想，在我们工作中灵活应用，希望对亲爱的读者你有用！ 我们不久后开始深度学习的内容，再难，我也想你一起学算法！！！

机器学习和深度学习知识框架图

一张图了解机器学习

机器学习 机器学习是人工智能(AI)的一种应用，为系统提供无需明确编程就能根据经验自动学习和改进的能力。 机器学习根据不同的任务类型可以分为以下三大类型: 有监督学习 无监督学习 强化学习 有监督学习 监督学习是一种机器学习任务，通过训练学习一个函数，该函数根据示例输入-输出对将输入映射到输出。 （需要数据标注，输入->输出） 在这种类型中，机器学习算法是在标记数据上训练的。尽管这种方法需要准确地标记数据，但在适当的情况下使用监督学习是非常有效的。 开始时，系统接收输入数据和输出数据。 监督学习的类型: Regression：回归，输出是连续值 Classification：分类，输出是离散值 回归 回归是一种有监督的机器学习技术，用于预测连续值。 强化学习 强化学习 (RL) 是一种机器学习技术，它使代理通在交互式环境中通过来自其自身行为和经验的反馈进行学习。

机器学习26：概率图模型概述

学习问题：图模型的学习包括图结构的学习和参数的学习。在本章我们只关注在给定图结构时的参数学习，即参数估计问题。 一、模型表示： 1，有向图模型(贝叶斯网)： ? 1.2，朴素贝叶斯分类器： 《机器学习21：概率图--朴素贝叶斯模型》中已有详细解释。 1.3，隐马尔可夫模型： 《机器学习23：概率图--隐马尔可夫模型(HMM)》中已有详细解释。 《机器学习24：概率图--马尔可夫随机场(MRF)》中有更详细的解释。 2.1，对数线性模型(最大熵模型)： 势函数一般定义为： ? 2.2，条件随机场： 《机器学习25：概率图--条件随机场(CRF)》中已有详细的解释。 二、推断： 概率模型提供了一种描述框架，将学习任务归结于计算变量的概率分布。 三、学习： 图模型的学习可以分为两部分：一是网络结构学习，即寻找最优的网络结构；二是网络参数估计，即已知网络结构，估计每个条件概率分布的参数。

《机器学习》笔记-概率图模型（14)

对于自己，经历了一段时间的系统学习（参考《机器学习/深度学习入门资料汇总》），现在计划重新阅读《机器学习》[周志华]和《深度学习》[Goodfellow et al]这两本书，并在阅读的过程中进行记录和总结 这两本是机器学习和深度学习的入门经典。 记录笔记，一方面，是对自己先前学习过程的总结和补充。 另一方面，相信这个系列学习过程的记录，也能为像我一样入门机器学习和深度学习同学作为学习参考。 往期回顾之作者刘才权 【1】《机器学习》笔记-半监督学习（13） 【2】《机器学习》笔记-计算学习理论（12） 【3】《机器学习》笔记-特征选择与稀疏学习（11） 【4】《机器学习》笔记-降维与度量学习 （10） 【5】《机器学习》笔记-聚类（9） 【6】《机器学习》笔记-集成学习（8） 【7】《机器学习》笔记-贝叶斯分类器（7）

【机器学习-无监督学习】概率图模型

  本文讨论无监督学习中的数据分布建模问题。当我们需要在一个数据集上完成某个任务时，数据集中的样本分布显然是最基本的要素。面对不同的数据分布，我们可能针对同一任务采用完全不同的算法。 像上面这样，由依赖关系构成的概率图是有向图，称为贝叶斯网络（Bayes networks）。 图4 3个变量的依赖关系   接下来我们考虑图4(b)展示的头对头关系。 最大似然估计与最大后验估计是机器学习中常用的两种求解模型参数的方式，但两者有所不同。设数据集为 \mathcal D ，模型参数为 \boldsymbol w 。 这时，我们可以把贝叶斯网络的有向图变为无向图，构造出马尔可夫网络。   

以图搜图：基于机器学习的反向图像检索

从commercetools中调用图像检索API的演示程序 commercetools的机器学习团队发布了新的图像检索API的测试版（https://commercetools.com/）。 图1：在计算机屏幕的RGB像素视图中缩放 卷积神经网络：机器视觉的前沿 一种相对较新的计算机视觉模型，被称为卷积神经网络（CNN），可用于跨越人与机器之间的这种鸿沟--CNN从图像中提取潜在的意义。 与其他机器学习技术相比，使用CNN的最大优势在于，它可以对以下情况进行建模：相邻的像素通常是彼此局部相关的（如果图像中的某一个像素是一只可爱的狗的一部分，那么其周围的像素很可能也是狗的一部分）。 图3：一个卷积样例。 从特征向量到图像搜索 与所有产品型机器学习项目一样，下一步工作是围绕我们的预测好的模型来构建软件工程的基础设施。

图机器学习入门：基本概念介绍

图机器学习（Graph Machine Learning，简称Graph ML）是机器学习的一个分支，专注于利用图形结构的数据。 有向与无向 图可以是无向图或有向图: 无向图:边是无向的，关系是对称的。画边的顺序并不重要。 有向图:边是有向的(也称为有向图)，顶点之间的边可以有方向，可以用箭头表示(也称为弧线)。 除了邻接矩阵，我们还可以将图表示为一个边的列表: 但是这种方法对于机器学习分析是有问题的，所以就出现了一种常用的方法：邻接表，因为邻接表对大型和稀疏的节点很有用，它允许快速检索节点的邻居。 双部图 我们上面所看到的图称为单部图，其中只有一种类型的节点和一种类型的关系 双部图是一种将节点划分为两个不相交集合（通常称为 U 和 V）的图。 平面图 如果一幅图可以绘制成没有任何边相交的形式（对于图来说，如果可以以这种方式绘制，它被称为平面表示），则可以将其视为平面图。即使绘制时边相交，图也可以是平面的。

《美团机器学习实践》—— 思维导图

第七章 评论挖掘 第八章 O2O场景下的查询理解和用户引导 第九章 O2O场景下排序的特点 第十章 推荐在O2O场景中的应用 第十一章 O2O场景下的广告营销 第十二章 用户偏好和损失建模 第十三章 深度学习概述 第十四章 深度学习在文本领域中的应用 第十五章 深度学习在计算机视觉中的应用 第十六章 大规模机器学习 第十七章 特征工程和实验平台

机器学习训练之使用静态图加速

前言 MindSpore有两种运行模式：动态图模式和静态图模式。默认情况下是动态图模式，也可以手工切换为静态图模式。 动态图模式 动态图的特点是计算图的构建和计算同时发生，符合Python的解释执行方式。在调试模型时较为方便，能够实时得到中间结果的值。但由于所有节点都需要被保存，导致难以对整个计算图进行优化。 静态图模式 相较于动态图而言，静态图的特点是将计算图的构建和实际计算分开（Define and run）。 在MindSpore中，静态图模式又被称为Graph模式，在Graph模式下，基于图优化、计算图整图下沉等技术，编译器可以针对图进行全局的优化，获得较好的性能，因此比较适合网络固定且需要高性能的场景。 总结 本文介绍了MindSpore中动态图(PyNative)和静态图(Graph)两种运行模式的特点和使用场景。动态图更适合模型调试和快速迭代,静态图则能提供更高的性能。

机器学习day19概率图模型

概率图模型 概率图模型（Probabilistic Graphic Model），能够很好地挖掘潜在的内容。 概率图中的节点分为隐含节点和观测节点，边分为有向边和无向边。 概率图模型分为贝叶斯网络（Bayesian Network）和马尔可夫网络（Markov Network）两大类。贝叶斯用有向图结构表示，马尔可夫网络用无向图的网络结构表示。 概率图模型包含朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、条件随机场、主题模型等等。 贝叶斯联合概率分布 左边为贝叶斯网络，右边为马尔可夫网络 ? 贝叶斯网路和马尔可夫网络 由图可见，在给定A的条件下，B和C是条件独立的，基于条件条件概率的定义可得 ? 同理，在给定B和C的条件下，A和D是条件独立的，可得 ?

DGL&NVIDIA | 图机器学习在线讲座

图机器学习目前是深度学习和人工智能领域最火热的课题之一。仅仅几年间，图神经网络（GNN）从小规模的理论原型，成长到在多个领域开花结果。 这些领域包括经典的图数据应用（比如信息抽取、推荐系统、欺诈检测、知识图谱等），以及在生化、材料、高能物理、医疗等学科中的基于结构化数据的应用。 当然也包括计算机科学中的许多基本问题，比如计算机视觉、自然语言处理、图形学、强化学习等等。 因此，为了更好地联系广大对图机器学习有兴趣的研究者和相关领域的从业者，AWS DGL团队和NVIDIA RAPIDS团队一起组织了针对图神经网络的系列讲座。 我们每月会举办一次线上交流，邀请来自学界和业界的讲者分享最新的成果，交流和促进图机器学习的发展。

图机器学习 2.1 Properties of Networks, Random Graph

：考虑最简单的图模型 【注意这里考虑的是无向图】我们用G_{np}来表示具有n个节点且每个边(u,v)都是服从概率p的独立同分布的无向图 ? 【下面的学习部分，需要记住随机图的聚合系数是p】 讨论完了度分布和聚合系数，下面来看随机图的路径长度，这里通过“扩展(expansion）“来衡量 （3）expansion 什么是扩展数？ ? img 学习完了随机图中的四个重要属性，下面来看随机图的应用性如何，看看和MSN数据的对比 ? img 之前说过度分布的直方图有利于判断图的结构，MSN和随机图的直方图差距还是很大的； 平均路径：MSN和随机图的数据差不多 平均聚合系数：差距很大，随机图的非常小 最大连接元：很接近 综上来看，随机图的实际应用性如何 那么问题来了，既然如此又为什么要学习随机图呢？因为这是最简单也是最有效的学习和评估网络的方法！

图机器学习调研洞察：PyG与DGL

图神经网络（Graph Neural Networks，GNN）是人工智能领域最火热的课题之一，近年来，越来越多的研究机构和企业投入大量精力研究图神经网络，推出了自己的图学习引擎，并将其广泛应用在社交网络 目前，主流的开源图学习引擎有DGL，PyG，GraphScope，Angel，PGL等，其基本信息如下：可以看出，DGL和PyG支持的算法数量最多，且社区活跃度很高，充分反映了它们在图学习领域的受欢迎程度 除此之外，一款优秀的图学习引擎，其应该具备强悍的训练和推理性能，针对此，我们基于ogbn-products数据集（点规模2449029，边规模61859140，无向同构图，训练集:验证集:测试集=98: 1:1，10个epoch，CPU训练）和GCN算法，对上述图学习引擎进行了性能对比测试，测试结果如下：综合上述测试结果可以看出，DGL性能最好、内存占用最低，PyG和GraphScope表现次之，Angel 值得指出的是，PyG与DGL分别代表了两种不同的图机器学习计算框架。

《美团机器学习实践》—— 思维导图

第七章 评论挖掘 第八章 O2O场景下的查询理解和用户引导 第九章 O2O场景下排序的特点 第十章 推荐在O2O场景中的应用 第十一章 O2O场景下的广告营销 第十二章 用户偏好和损失建模 第十三章 深度学习概述 第十四章 深度学习在文本领域中的应用 第十五章 深度学习在计算机视觉中的应用 第十六章 大规模机器学习 第十七章 特征工程和实验平台 原文链接：http://www.cnblogs.com/xing901022

2020年，图机器学习将走向何方？

选自towardsdatascience 作者：Sergei Ivanov 机器之心编译 参与：魔王、杜伟 2020 年已经过去了一个多月，但我们已经可以从最近的研究论文中一窥图机器学习（Graph 机器学习研究科学家 Sergei Ivanov 对 2020 年 GML 的发展趋势发表了自己的看法，并讨论了近期的相关研究论文。 ? 本文作者、机器学习研究科学家 Sergei Ivanov。 现在我们来一一探究（以下以第一人称视角讲述）。 id=S1g8K1BFwS 新的图嵌入框架 图嵌入是图机器学习领域中的老话题了，今年关于如何学习图表示出现了一些新的观点。 GNN 成为很多实际问题的解决方案，不过我认为 GML 才刚刚触及到图理论和机器学习交叉领域的皮毛，我们应该更多地关注即将出现的研究成果。