首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏全栈程序员必看

    什么是语义分割_词法分析语法分析语义分析

    且慢,下面举个例子: 假如:宠物店有10只动物,其中6只狗,4只猫(真实值),现有一个模型将这10只动物进行分类,分类结果为(预测结果为):5只狗,5只猫(预测值),对分类结果画出对应混淆矩阵进行分析 (那就对了…) 分析混淆矩阵的3个要点:(参考链接) ①矩阵对角线上的数字,为当前类别预测正确的类别数目;非对角线数字,预测都是错误的! 比如:第2列,模型对猫(类别2)预测了1+4=5只(此时,不看预测对与错),再分析,第2列第1行非对角线元素,预测错误(预测值是猫,实际是狗),第2列第2行为对角元素,预测正确(预测值是猫,实际是猫), 上面分析了一大堆,最终还是不够精炼,于是大佬们定义了几个公式: 准确率(Accuracy),对应:语义分割的像素准确率 PA 公式:Accuracy = (TP + TN) / (TP + TN + ——IoU 语义分割代码阅读—评价指标mIoU的计算 深度学习图像分割评测指标MIOU之python代码详解 语义分割常用指标详解(附代码) 【语义分割】评价指标总结及代码实现 numpy.bincount

    1.8K20编辑于 2022-09-25
  • 词法分析、语法分析语义分析

    语义分析(Syntax analysis)   语义分析是编译过程的一个逻辑阶段. 语义分析的任务是对结构上正确的源程序进行上下文有关性质的审查, 进行类型审查.例如一个C程序片断:   int arr[2],b;   b = arr * 10;    源程序的结构是正确的.     语义分析将审查类型并报告错误:不能在表达式中使用一个数组变量,赋值语句的右端和左端的类型不匹配. Lex    一个词法分析程序的自动生成工具。 它接受语言的文法,构造一个LALR(1)分析程序.因为它采用语法制导翻译的思想,还可以接受用C语言描述的语义动作,从而构造一个编译程序. 中间语言(中间表示)(Intermediate language(representation))    在进行了语法分析语义分析阶段的工作之后,有的编译程序将源程序变成一种内部表示形式,这种内部表示形式叫做中间语言或中间表示或中间代码

    58510编辑于 2025-04-05
  • 来自专栏小白技术社

    关于语义分析的方法(上)

    语义分析,本文指运用各种机器学习方法,挖掘与学习文本、图片等的深层次概念。 本文主要由以下四部分组成:文本基本处理,文本语义分析,图片语义分析语义分析小结。 先讲述文本处理的基本方法,这构成了语义分析的基础。接着分文本和图片两节讲述各自语义分析的一些方法,值得注意的是,虽说分为两节,但文本和图片在语义分析方法上有很多共通与关联。 最后我们简单介绍下语义分析在广点通“用户广告匹配”上的应用,并展望一下未来的语义分析方法 1 文本基本处理 在讲文本语义分析之前,我们先说下文本基本处理,因为它构成了语义分析的基础。 N-Gram语言模型简单有效,但是它只考虑了词的位置关系,没有考虑词之间的相似度,词语法和词语义,并且还存在数据稀疏的问题,所以后来,又逐渐提出更多的语言模型,例如Class-based ngram model

    1.3K10发布于 2020-07-08
  • 来自专栏深度学习和计算机视觉

    PSPNet | 语义分割及场景分析

    语义分割的目标仅仅是获知已知对象的每个像素的类别标签。 场景解析是基于语义分割的,它的目标是获知图像内所有像素的类别标签。

    86810编辑于 2022-09-28
  • 来自专栏数据饕餮

    NLP专题:LSA浅层语义分析

    原文地址:http://en.wikipedia.org/wiki/Latent_semantic_analysis 前言 浅层语义分析(LSA)是一种自然语言处理中用到的方法,其通过“矢量语义空间”来提取文档与词中的 “概念”,进而分析文档与词之间的关系。 词-文档矩阵和传统的语义模型相比并没有实质上的区别,只是因为传统的语义模型并不是使用“矩阵”这种数学语言来进行描述。 将其映射到语义空间,再与文档进行比较。 应用 低维的语义空间可以用于以下几个方面: 在低维语义空间可对文档进行比较,进而可用于文档聚类和文档分类。 通过查询映射到语义空间,可进行信息检索。 从语义的角度发现词语的相关性,可用于“选择题回答模型”(multi choice qustions answering model)。

    1.9K20发布于 2019-06-14
  • 来自专栏AI科技评论

    PSPNet ——语义分割及场景分析

    语义分割的目标仅仅是获知已知对象的每个像素的类别标签。 场景解析是基于语义分割的,它的目标是获知图像内所有像素的类别标签。

    4.1K20发布于 2019-08-21
  • 来自专栏CSDN社区搬运

    基于BERT的语义分析实现

    BERT作为一种预训练语言模型,它具有很好的兼容性,能够运用在各种下游任务中,本文的主要目的是利用数据集来对BERT进行训练,从而实现一个语义分类的模型。 语义分类 语义分类是自然语言处理任务中的一种,包含文本分类、情感分析 文本分类 文本分类是指给定文本a,将文本分类为n个类别中的一个或多个。 情感分类 情感分析是自然语言处理中常见的场景,比如商品评价等。通过情感分析,可以挖掘产品在各个维度的优劣。情感分类其实也是一种特殊的文本分类,只是他更聚焦于情感匹配词典。 本文将以情感二分类为例,实现如何利用BERT进行语义分析。 实现原理 首先,基于BERT预训练模型,能将一个文本转换成向量,作为模型的输入。

    41210编辑于 2024-11-30
  • 来自专栏AI科技评论

    总结 | 邹炎炎:语义分析介绍及跨语言信息在语义分析中的应用

    近年来,随着人工智能的发展,语义分析也越发重要。 word embedding 是很常见的 input feature,能够很大程度地提升语义分析模型的性能。 然而,对于 output 对语义分析模型性能的影响,大家的关注度却并不是很高。 分享主题:语义分析介绍及跨语言信息在语义分析中的应用 分享提纲: 1.semantic parsing 背景介绍 2.semantic parsing 模型介绍 3. 为了让大家更好地区分语法分析语义分析的不同点,我先介绍一下两种分析的任务: Dependency parsing :比如输入一句话「I saw a girl with a telescope」,Dependency 最后做一下总结,本次我们分享了语义分析的基本背景知识,我们实验室工作中用到的一些语义分析模型、ACL 2018 会议中的短文《跨语言信息在语义分析中的应用》以及语义分析的一些表现。

    1.6K30发布于 2018-10-25
  • 来自专栏Michael阿明学习之路

    潜在语义分析(Latent Semantic Analysis,LSA)

    一种无监督学习方法,主要用于文本的话题分析 其特点是通过矩阵分解发现文本与单词之间的基于话题的语义关系 最初应用于文本信息检索,也被称为潜在语义索引(latent semantic indexing, LSI),在推荐系统、图像处理、生物信息学等领域也有广泛应用 文本信息处理中: 传统的方法以单词向量表示文本的语义内容,以单词向量空间的度量表示文本之间的语义相似度 潜在语义分析 旨在 解决这种方法不能准确表示语义的问题 ,试图从大量的文本数据中发现潜在的话题 以话题向量表示文本的语义内容,以话题向量空间的度量更准确地表示文本之间的语义相似度 潜在语义分析使用的是非概率的话题分析模型 将文本集合表示为单词-文本矩阵 对单词 非负矩阵分解也可以用于话题分析。 1. 单词向量空间、话题向量空间 1.1 单词向量空间 文本信息处理的一个核心问题是对文本的语义内容进行表示,并进行文本之间的语义相似度计算。 潜在语义分析算法 潜在语义分析 利用 矩阵奇异值分解(SVD),对单词-文本矩阵进行奇异值分解 左矩阵 作为话题向量空间 对角矩阵 与 右矩阵的乘积 作为 文本在话题向量空间的表示 潜在语义分析 根据

    3.7K30发布于 2020-07-13
  • 来自专栏机器学习爱好者社区

    语义分割之Dice Loss深度分析

    来自文章VNet(V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation),旨在应对语义分割中正负样本强烈不平衡的场景 sum(predictive) + torch.sum(target) + ep loss = 1 - intersection / union return loss 梯度分析 从dice 因此分析起来比较复杂,这里我们简化一下,首先从loss曲线和求导曲线对单点输出方式分析。然后对于多点输出的情况,利用模拟预测输出来分析其梯度。 多点情况分析 dice loss 是应用于语义分割而不是分类任务,并且是一个区域相关的loss,因此更适合针对多点的情况进行分析。 这点和单点的情况分析不同。这里求偏导,当 时: 可以看出, 背景区域的梯度是存在的,只有预测值命中的区域极小时, 背景梯度才会很小. 「dice loss 为何训练会很不稳定?」

    3.6K30发布于 2020-08-25
  • 来自专栏登神长阶

    【论文复现】基于BERT的语义分析实现

    BERT作为一种预训练语言模型,它具有很好的兼容性,能够运用在各种下游任务中,本文的主要目的是利用数据集来对BERT进行训练,从而实现一个语义分类的模型。 语义分类 语义分类是自然语言处理任务中的一种,包含文本分类、情感分析 文本分类 文本分类是指给定文本a,将文本分类为n个类别中的一个或多个。 情感分类 情感分析是自然语言处理中常见的场景,比如商品评价等。通过情感分析,可以挖掘产品在各个维度的优劣。情感分类其实也是一种特殊的文本分类,只是他更聚焦于情感匹配词典。 本文将以情感二分类为例,实现如何利用BERT进行语义分析。 实现原理 首先,基于BERT预训练模型,能将一个文本转换成向量,作为模型的输入。

    51710编辑于 2024-12-01
  • 来自专栏小白技术社

    语义分析的一些方法(中篇)

    一个文本串,对其进行分词和重要性打分后(当然还有更多的文本处理任务),就可以开始更高层的语义分析任务。 2 文本语义分析 ? 2.1 Topic Model 首先介绍主题模型。 个人总结,主要原因是lda模型可控性可解释性相对比较差:对于每个topic,不能用很明确的语义归纳出这个topic在讲什么;重新训练一遍lda模型,每个topic id所对应的语义可能发生了变化;有些topic 可以看到句向量在对句子的语义表征上还是相当惊叹的。 ? 但除了图片外,它在文本分析上也取得一些成功的应用。 基于CNN,可以用来做文本分类,情感分析,本体分类等[36,41,84]。 Lenet5网络结构图 2.4 文本分类 文本分类应该是最常见的文本语义分析任务了。

    1.6K10发布于 2020-07-09
  • 来自专栏全栈数据化营销

    Excel数据分析案例:用Excel做文档语义挖掘分析

    语义分析,运用的范围相当广,例如可以通过一定语义算法科学地抽取文档的主题,可以发现文章中的重点词汇、研究文本的感情色彩等。本案例用Excel来做文档的语义分析。 在Excel的潜在语义分析工具中做好基本设置(具体的设置步骤将会分享在知识星球),选择30个主题数,以便为这组文档显示尽可能多的主题,而且还可以在计算出的截断矩阵上获得适当的解释方差,之后将每个主题的最大术语数 因此,可以将这些对组合成为一个通用术语,该符号表示此大小问题,从而消除了初始文档术语矩阵中的语义冗余(同义词)。 它允许可视化新创建的语义空间中术语之间的相似度(余弦相似度)。余弦相似度测量可以比较具有不同出现频率的项。

    2.1K20发布于 2020-02-13
  • 来自专栏walterlv - 吕毅的博客

    使用 Roslyn 对 C# 代码进行语义分析

    使用语法分析,可以轻松为代码编写提供各种错误报告以及修改代码(见这里)。而使用语义分析,你可以像在运行时使用反射一样,在编译时访问源代码中的各种类型、属性、方法等,特别适合用来分析引用、生成代码等。 第一步:找到编译信息和语法树 在开始后面的实际语义分析之前,你需要先拿到以下对象的实例: Microsoft.CodeAnalysis.SyntaxTree:包含单个文件里所有语法节点的语法树 Microsoft.CodeAnalysis.Compilation 通过这个语义模型,你可以找到每一个语法节点所对应的语义符号到底是什么。 接下来的部分,你需要先拥有 Roslyn 语法分析的基本能力才能完成,因为要拿到一个语义符号,你需要先拿到其对应的语法节点(至少是第一个节点)。 } } 第三步:使用语义模型 经过了前两个步骤,Roslyn 语义分析最难的部分就结束了(没错,两句代码就结束了)。 接下来对语义符号的使用你可以简单想象成就是在使用反射功能的编译形式而已。

    1.3K20编辑于 2023-10-23
  • 来自专栏云社区活动

    解构语义分析:核心算法揭秘与实战

    解构语义分析:核心算法揭秘与实战作为一名开发者,我们每天都在和文本打交道,搜索引擎、智能客服、机器翻译,甚至代码分析都离不开 语义分析。但你有没有想过,这些智能应用背后究竟用了什么算法? 今天,我就带大家 拆解语义分析的核心算法,并通过 Python 代码 从零实现一个简单的语义分析系统,让大家从原理到实践全面掌握这项技术。1. 语义分析的核心算法2.1 传统方法:基于规则和统计在深度学习流行之前,语义分析主要依赖 规则和统计模型:基于规则的方法:人工编写规则,如词典、模式匹配。 Transformer & BERT:当前最主流的 NLP 语义分析模型。我们重点讲解 BERT 及其在语义分析中的应用。3. 适用于多种 NLP 任务:情感分析、问答系统、语义匹配等。我们通过代码看看 如何使用 BERT 进行语义分析。4.

    53910编辑于 2025-03-21
  • 来自专栏Michael阿明学习之路

    概率潜在语义分析(Probabilistic Latent Semantic Analysis,PLSA)

    概率潜在语义分析(probabilistic latent semantic analysis,PLSA),也称概率潜在语义索引(probabilistic latent semantic indexing ,PLSI) 利用概率生成模型对文本集合进行话题分析的无监督学习方法 最大特点:用隐变量表示话题 整个模型表示 文本生成话题,话题生成单词,从而得到单词-文本共现数据的过程 假设每个文本由一个话题分布决定 概率潜在语义分析模型 概率潜在语义分析 模型有生成模型,以及等价的共现模型 1.1 基本想法 给定文本集合,每个文本讨论若干个话题,每个话题由若干个单词表示 对文本集合进行概率潜在语义分析,就能够发现每个文本的话题 概率潜在语义分析通过话题对数据进行了更简洁地表示,减少了学习过程中过拟合的可能性 2. 概率潜在语义分析的算法 概率潜在语义分析模型是含有隐变量的模型,其学习通常使用 EM算法。

    1.3K10发布于 2020-07-13
  • 从视觉到语义逻辑:版面分析技术浅析

    此外,图卷积网络(GCN)被用于建模文档组件之间的关系,增强语义布局分析。基于网格的方法强调保留空间结构的重要性。 基于图的方法尽管基于图像的方法显著推动了文档布局分析(DLA)的发展,但这些方法主要依赖于视觉特征,一定程度上限制了对文档语义结构的理解。 为了解决这一问题,图卷积网络(GCN)通过建模文档组件之间的关系,增强了对布局的语义分析能力[8]。例如,Doc-GCN通过优化组件间的语义和上下文关系,提升了整体性能。 逻辑版面分析随着文档分析的复杂性增加,仅依赖物理布局分析已不足以满足需求,结合语义信息的DLA方法成为重要的发展方向。 形象地来说,逻辑版面分析能够通过语义的层次关系使文档形成一个树状结构。

    44410编辑于 2025-02-28
  • 来自专栏机器学习AI算法工程

    文本挖掘:语义分析的一些方法

    语义分析,本文指运用各种机器学习方法,挖掘与学习文本、图片等的深层次概念。 1 文本基本处理 在讲文本语义分析之前,我们先说下文本基本处理,因为它构成了语义分析的基础。 2 文本语义分析 前面讲到一些文本基本处理方法。一个文本串,对其进行分词和重要性打分后(当然还有更多的文本处理任务),就可以开始更高层的语义分析任务。 2.4 文本分类 文本分类应该是最常见的文本语义分析任务了。 4 总结 4.1 语义分析方法在实际业务中的使用 前面讲述了很多语义分析方法,接下来我们看看如何利用这些方法帮忙我们的实际业务,这里举一个例子,用户广告的语义匹配。 利用文本和图片的语义分析方法,我们可以提取出广告的topic,类目,keyword,tag描述。 语义匹配。提取到相应的语义特征之后,怎么用于改善匹配呢? 用户-广告的语义检索。

    3.7K80发布于 2018-03-12
  • 来自专栏AI科技评论

    今日 Paper | 多人姿势估计;对话框语义分析;无监督语义分析;自然语言处理工具包等

    目录 基于层次表示的面向任务对话框语义分析 固定的无监督语义分析 斯坦福CoreNLP自然语言处理工具包 DeepCut:用于多人姿势估计的联合子集分区和标签 基于搜索的神经结构学习的顺序问答 基于层次表示的面向任务对话框语义分析 论文名称:Semantic Parsing for Task Oriented Dialog using Hierarchical 固定的无监督语义分析 论文名称:Grounded Unsupervised Semantic Parsing 作者:Hoifung Poon 发表时间:2017 5依存句法分析 等等,提供了一系列的人类语言技术工具。 创新点:为了解刚才所提出的问题,本论文提出了一种新的动态神经网络语义分析框架,应用了一种弱监督的奖励引导搜索。

    60820发布于 2020-02-21
  • 来自专栏全栈程序员必看

    语义分割步骤_实时语义分割

    为此有很多策略可以使用,先进行数据统计,数据分析后再制定策略。 1.2.1 数据统计  拿到数据后一般需要分析标签中各个类别的占比。

    83630编辑于 2022-09-25
领券