首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏杨熹的专栏

    TensorFlow-9-词的向量表示

    http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/word2vec.html 这一节是关于 word2vec 模型的,可以用来学习词的向量表达 TensorFlow 中训练词向量,主要看一下这个代码: tensorflow/examples/tutorials/word2vec/word2vec_basic.py 词向量就是用一个具有一定维度的向量来表示一个单词 word2vec 可以很有效地从文本中学习出词向量,主要有两种算法,Continuous Bag-of-Words model (CBOW) 和 Skip-Gram ,CBOW 根据上下文('the cat 用 SGD 优化器去优化目标, valid_embeddings 是用来检验的 16 个单词的词向量表示, similarity 是定义验证单词与词汇表中所有单词的相似度: ? 5.

    1.1K70发布于 2018-04-03
  • 来自专栏Marigold

    表示学习01

    表示学习01 机器学习并不是分析图形数据的唯一方法,但机器学习在提高我们建模、分析和理解图数据能力方面发挥着重要作用。 基于同源性的概念,我们可以建立机器学习模型,试图将相似的标签分配给图中的相邻节点[Zhou et al.,2004]。 在训练过程中结合标记和未标记数据的模型的通用术语是半监督学习,因此可以理解该术语经常用于节点分类任务。 然而,要注意,半监督学习的标准公式仍然需要独立同分布假设,这对于节点分类不成立。 图上的机器学习任务很难符合我们的标准类别。 关系预测 根据具体的应用领域,该任务有许多名称,例如链接预测、图补全和关系推断,这里简单地称之为关系预测。 聚类和社区检测 节点分类和关系预测都需要推断图数据中的缺失信息,在许多方面,这两项任务都是监督学习的图类似。 另一方面,社区检测是无监督聚类的图类似。

    32830编辑于 2023-08-24
  • 来自专栏人工智能前沿讲习

    网络表示学习介绍

    随着表示学习技术在自然语言处理领域的成熟,相关的低维稠密向量表示方法也被应用于网络数据中。 本文主要对近年来比较流行的几种网络表示学习方法进行简要的梳理和总结,以方便读者选择合适的方法解决特定的问题。 目前研究兴趣为网络表示学习应用,涉及领域有城市活动建模和区块链交易模式挖掘。 ? 网络嵌入概述(Network Embedding) ---- 网络嵌入是学习一个映射,将网络中的节点映射到一个低维空间的稠密向量表示,即学习一个映射 ? , ? 是网络中的一个节点, ? 输入X和Y为两个顶点的one-hot向量表示,维度等于顶点数量 ? 和 ? 是待学习的嵌入矩阵,r是由元路径表示的关系, ?

    1.5K20发布于 2020-05-11
  • 来自专栏机器学习与推荐算法

    网络表示学习概述

    1 目录 摘要 社交网络分析现状 网络表示学习概念 网络表示学习分类及代表方法 其与图神经网络的关系 常用包库 研究热点及趋势 2 摘要 随着社交媒体的飞速发展,在线社交网络成为了人们赖以生存的第二世界 大规模社交网络用户的形成使得传统的网络表示方法遇到了瓶颈,由于随着深度学习技术的蓬勃发展以及受自然语言处理领域词嵌入技术的启发,自动学习网络中节点的向量表示成为近年来的研究热点。 网络表示学习是一种分布式的表示学习技术。 网络表示学习表示学习技术的一个子集。 (特征工程),也可以是自动学习到的隐含特征(矩阵分解);可以是无监督的特征表示(AutoEncoder),也可以是监督的降维表示(LDA);可以是局部的流形学习方法(LLE),也可是全局的特征表示方法( 而网络表示学习则更加专注于社交网络的表示,旨在将网络中的节点以更加直观、更加高效的某种方式尽可能的还原原始空间中节点的关系。 网络表示学习是对于节点的一种分布式表示方案。

    96530发布于 2020-04-21
  • 来自专栏算法工程师的学习日志

    Simulink建模与仿真(9)-动态系统模型及其Simulink表示(连续系统模型及表示

    线性连续系统的Simulink描述 一般来说,在Simulink中对线性连续系统的描述方式有以下三种: (1) 线性连续系统的传递函数模型描述:在Simulink中,传递函数表示为num=[n0,n1] ;den=[d0,d1,d2]; 其中num表示传递函数的分子系数向量,den为分母系数向量。 (2) 线性连续系统的零极点模型描述:在Simulink中,零极点模型表示为gain=k; zeros=z1; poles=[p1,p2];其中gain表示系统增益,zeros表示系统零点,poles表示系统极点 (3) 线性连续系统的状态空间模型描述:如果系统的状态空间表示为 则在Simulink中直接输入变换矩阵A,B,C,D即可。

    1.5K30编辑于 2023-09-19
  • 来自专栏AI研习社

    博客 | 「特征工程」与「表示学习

    1.表示学习 当我们学习一个复杂概念时,总想有一条捷径可以化繁为简。机器学习模型也不例外,如果有经过提炼的对于原始数据的更好表达,往往可以使得后续任务事倍功半。 值得注意的是,在现实情况中我们所提炼的到表示往往是很复杂的,往往对于高维矩阵提取到特征也是高维矩阵。这个例子仅供抛砖引玉之用,表示学习不等于维度压缩或者特征选择。 2. 特征工程与表示学习:人工 vs. 自动 正因为数据表示的重要性,机器学习一般有两种思路来提升原始数据的表达: 特征学习(feature learning),又叫表示学习(representation learning)或者表征学习,一般指的是自动学习有用的数据特征 根据这个思路,机器学习模型对于数据的处理可以被大致归类到两个方向: 1. 表示学习:模型自动对输入数据进行学习,得到更有利于使用的特征(*可能同时做出了预测)。

    1.3K40发布于 2018-09-25
  • 来自专栏专知

    网络节点表示学习论文笔记01—AAAI2018超网络节点表示学习

    但是为了学习异构网络嵌入,需要达到如下要求: 1、 不可分:异构超网络中的超边通常是不可分的。在这个例子中,超边中一组节点有很强的关联关系(节点子集并不强相关)。 为了解决结构保护问题,作者设计了一个深度自编码器通过重建临近结构去学习网络节点表示,保证了邻近的节点映射到相似的嵌入空间中。使用元组相似性函数与自动编码器同时联合优化以解决这两个问题。 作者提出了一个新颖的深度模型,命名为深度超网络嵌入(Deep Hyper-Network Embedding, DHNE),用来学习那些异构超网络的嵌入的问题,这一模型可以同时在保护富结构信息的前提下解决超边不可分的问题 为了保留网络结构,作者设计了一个 Autoencoder,通过重构节点的邻居结构来学习节点表示,也就说有相似邻居的节点将有相似的向量表示,每一种节点类型对应一个autoencoder。 ▌结论 ---- ---- 本文提出了一个名为DHNE的深度模型,去学习具有不可分超边的超网络结构的低维表示

    1.8K40发布于 2018-04-13
  • 来自专栏CreateAMind

    vae 相关论文 表示学习 2

    https://arxiv.org/pdf/1804.02086.pdf Structured Disentangled Representations

    1.1K40发布于 2018-09-27
  • 来自专栏图与推荐

    表示学习Graph Embedding综述

    最近在学习Embedding相关的知识的时候看到了一篇关于图嵌入的综述,觉得写的不错便把文章中的一部分翻译了出来。因自身水平有限,文中难免存在一些纰漏,欢迎发现的知友在评论区中指正。 二、图嵌入的挑战 如前所述,图嵌入的目标是发现高维图的低维向量表示,而获取图中每个节点的向量表示是十分困难的,并且具有几个挑战,这些挑战一直在推动本领域的研究: 属性选择:节点的“良好”向量表示应保留图的结构和单个节点之间的连接 发展到现在,大体上可以将这些嵌入方法分为三大类:( 1 )基于因子分解的方法,( 2 )基于随机游走的方法,以及( 3 )基于深度学习的方法。 DeepWalk DeepWalk方法受到word2vec的启发,首先选择某一特定点为起始点,做随机游走得到点的序列,然后将这个得到的序列视为句子,用word2vec来学习,得到该点的表示向量。 输入是邻接矩阵,它们依赖于GCN来学习节点之间的高阶依赖关系。他们的经验表明,与非概率自编码器相比,使用变分自编码器可以提高性能。

    3.5K10发布于 2020-04-07
  • 来自专栏数据派THU

    【2023新书】机器学习中的表示学习

    来源:专知本文为书籍介绍,建议阅读5分钟本书为表示提供了简明而全面的指南,这是机器学习(ML)的核心。 本书为表示提供了简明而全面的指南,这是机器学习(ML)的核心。 不幸的是,许多流行的机器学习算法在面对庞大的基础数据时,在理论和实践中都无法执行。本书恰当地介绍了这个问题的解决方案。 本书讨论了机器学习(ML)中最重要的表示问题。在使用机器从数据中学习类/聚类抽象时,以适合有效和高效机器学习的形式表示数据是很重要的。在本书中,我们建议涵盖各种在理论和实践中都很重要的表示技术。 因此,在低维空间中表示数据是不可避免的。 常用的降维技术有以下几种: 1. 特征选择方案:在这里,给定的特征集的一个适当子集被识别并用于学习。 2. 特征提取方案:在学习中使用给定特征的线性或非线性组合。 一些流行的线性特征提取器基于主成分、随机投影和非负矩阵分解。我们在本书中涵盖了所有这些技术。关于用主成分子集表示数据,文献中存在一些误解。

    41610编辑于 2023-02-23
  • 来自专栏项目文章

    Redis学习9:Jedis学习

    Jedis学习 编程语言中的数据如任何和redis联动,如果是java语言,那么就可以使用Jedis工具,同时springdata redis也可以使用,lettuce也可以使用。

    18010编辑于 2024-06-07
  • 来自专栏CreateAMind

    vae 相关论文 表示学习 1

    互信息 DIM https://github.com/rdevon/DIM gqn 多传感器 位置信息+视觉信息的互相学习

    1.5K20发布于 2018-09-27
  • 来自专栏素质云笔记

    cips2016+学习笔记︱简述常见的语言表示模型(词嵌入、句表示、篇章表示

    . ---- ★三、连续表示——分散式表示 另一种连续表示是分散式表示(Distributed Representations),即将语言表示为稠密、低维、连续的向量 1、词向量 研究者最早发现学习得到词嵌入之间存在类比关系 . . . ---- 四、总结 基于深度学习的方法在自然语言处理中取得了很大的进展,因此,分散式表示也成为语言表示中最热门的方法,不但可以在特定的任务中端到端地学习字、词、句子、篇章的分散式表示 语言中出现所有符号是否都需要使用统一的表示模型?比如,无意义的符号、变量、数字等。 新词以及低频词的表示学习方法。 它学习将输入的句子编码成固定维度的向量表示,这些向量表示能够对许多任务有用,例如检测释义,或对产品评论进行积极或消极的分类等等。 black-and-white and unrealistic . (0.335) 8. hopelessly inane , humorless and under-inspired . (0.335) 9.

    1.4K20发布于 2019-05-26
  • 来自专栏MiningAlgorithms

    机器学习9:采样

    另外,利用重采样技术,可以在保持特定的信息下(目标信息不丢失),有意识地改变样本的分布,以更适应后续的模型训练和学习,例如利用重采样来处理分类模型的训练样本不均衡问题。 以场景描述中的图8.9为例,先对Cloudy变量进行采样,然后再对Sprinkler和Rain变量进行采样,最后对WetGrass变量采样,如图8.10所示(图中绿色表示变量取值为True,红色表示取值为 对于很多分类算法,如果直接采用不均衡的样本集来进行训练学习,会存在一些问题。 )来矫正这种不平衡性;当样本数目极其不均衡时,也可以将问题转化为单类学习(one-classlearning)、异常检测(anomaly detection)。 if __name__ == '__main__': plot_mcmc(0.1, 0.1) plot_mcmc(1, 1) plot_mcmc(2, 3) Reference: 《百面机器学习

    2.3K30发布于 2019-08-08
  • 来自专栏新智元

    NeurIPS图表示学习研讨会录取论文揭晓:92篇论文看懂图表示学习

    近年来,图表示学习的研究激增,包括用于深图嵌入的技术,卷积神经网络对图结构数据的泛化以及受信念传播启发的神经信息传递方法。 近年来,图表示学习的研究激增,包括用于深图嵌入的技术,卷积神经网络对图结构数据的泛化以及受信念传播启发的神经信息传递方法。 来自谷歌、Twitter、MIT、斯坦福等公司和高校的9位科学家共同组织了NeurIPS 2019 Workshop。 除了传统的研究论文提交之外,我们还将欢迎以一页纸的形式提交的论文,描述图形表示学习领域的开放性问题和挑战。这些未解决的问题将在茶歇之前立即进行简短演讲(5-10分钟),以促进讨论。 随着数百名新的研究人员开始在该领域开展项目,我们希望将他们聚集在一起,以将这个快速增长的图形表示学习领域整合为一个健康而充满活力的子领域。

    1.7K20发布于 2019-10-23
  • 来自专栏智能生信

    分子表示的几何深度学习

    简读分享 | 蒋一 编辑 | 龙文韬 论文题目 Geometric deep learning on molecular representations 论文摘要 几何深度学习(Geometric deep 几何深度学习(GDL)基于包含和处理对称信息的神经网络架构。GDL为依赖于具有不同对称性和抽象级别的分子表示的分子建模应用提供了希望。 它介绍了GDL的原理,以及相关的分子表示,如分子图、smiles串等及其各自的属性。讨论了GDL在分子科学中的当前挑战,并对未来的发展前景进行展望。

    62920编辑于 2022-12-29
  • 来自专栏周小末天天开心

    Java 基础学习9

    2)原码的第一位表示的是符号位,正数为 0,负数为 1. 2)例如:int d = -9 其原码为:10000000  00000000  00000000  00001001 其反码为:11111111  11111111  11111111  11110110

    30320编辑于 2022-10-26
  • 来自专栏算法进阶

    时间序列表示学习的综述

    1 介绍 本文综述了时间序列数据中的通用表示学习方法,提出了一种新颖的分类方法,并讨论了其对提高学习表示质量的影响。 还有基于dilation causal 1D-CNN的表示学习框架,用于提高长时间序列学习的效率和可扩展性。此外,还有名为MTRL的多任务表示学习方法,使用监督学习分类和无监督学习检索。 mTAN通过学习连续时间值的表示,TE-ESN利用必要的时编码机制从不规则数据中学习表示,而TimeFlow使用超网络调节隐式神经表示。 这些方法展示了时间序列表示学习神经架构的多样化创新,包括随机扭曲序列、分层相关池化、解耦表示学习等技术。 5.3.2 重新采样策略 重新采样策略在时间序列表示学习中起着关键作用,通过选择最佳样本来优化表示学习

    1.2K10编辑于 2024-07-22
  • 来自专栏CreateAMind

    上下文多任务表示学习

    在具有独立于上下文的前馈权重的生物物理学现实神经元模型网络中,我们证明了对细树突的调制输入可以使用 Hebb 误差调制学习规则解决线性不可分学习问题。 最后,我们证明了对表示是源自不同输入还是源自同一输入的不同上下文调制的局部预测会导致跨处理层的分层前馈权重的表示学习,以适应多种上下文。 这反过来又允许网络通过仅适应调制突触来学习新任务,并启发我们思考是否存在前馈权重的无监督学习原则,这些原则通过神经元特定调制支持多任务学习。 最后,我们展示了上下文调制表示通过为对比学习提供一种数据增强形式来促进跨处理层层次结构的自我监督学习,这种形式允许更深的处理层提取一般的高级特征,而无需错误 跨层反向传播。 因此,我们测试了我们的具有神经元特定调制的框架是否能够有效地利用先验知识,这些知识编码在学习到的前馈权重中。我们在 47 个任务的子集上训练共享参数,并通过专门调整特定于任务的参数来学习其余任务。

    28110编辑于 2023-09-13
  • 来自专栏皮皮鲁的AI星球

    机器学习 | 线性回归的数学表示

    监督学习的过程大概就是下图这样。在一些其他机器学习资料中,一般使用符号 表示这个函数,本文将使用符号 。 ? 例如, 表示一个名为 的向量,因为手写时加粗字体并不现实,一般使用 来表示向量。绝大多数教材和资料中会以列向量作为默认的表示形式。 统计学家通常使用 来表示损失函数。 对于线性回归,一个简单实用的损失函数为预测值与真实值误差的平方。下面的公式来表示单个样本点上预测值与真实值的误差的平方。 公式中 是一种常见的数学符号,表示寻找能让 函数最小的参数 和 。 以上就是最小二乘法的数学表示,“二乘”表示取平方,“最小”表示损失函数最小。 这里的 就是机器学习模型的参数(也可以叫做权重),是从 到 的线性回归参数。为了简化表示,我们可以把 里面的 省略掉,就简写成 。

    86020发布于 2020-05-26
领券