首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏IT技术圈

    习题2-2 阶梯电价 (15分)

    为了提倡居民节约用电,某省电力公司执行“阶梯电价”,安装一户一表的居民用户电价分为两个“阶梯”:月用电量50千瓦时(含50千瓦时)以内的,电价为0.53元/千瓦时;超过50千瓦时的,超出部分的用电量,电价上调0.05元/千瓦时。请编写程序计算电费。

    3.3K10发布于 2021-04-01
  • 来自专栏AI机器学习与深度学习算法

    学习分类 2-2 内积

    对于分类问题,我们不再像回归问题那样,找出直线的斜率和截距。为了方便理解,将拥有一个特征的回归问题所绘制的图示和拥有两个特征的分类问题绘制的图示进行对比。

    63210编辑于 2022-11-08
  • 来自专栏爬蜥的学习之旅

    文本获取和搜索引擎简介

    根据句法本身去推断为什么这样做,理解为什么有人这样描述,比如可能是想让某人把狗唤回来,以免男孩被狗伤着 Bag of words:保留所有的单词,重复的也会保留,但是不关心单词在生个句子中出现的顺序 文本获取的分类 类似搜索引擎的Pull模型:用户拥有主动权,它具有Ad hoc属性,就是说暂时性的需要,后续不再使用,比如搜索到某个关键字的文档后,这个关键字就不再被使用 查询和浏览的区别:查询是用户知道搜索什么, 浏览是将内容放置供人查看,而不是查询 类似推荐系统的Push模型:系统拥有主动权,一个良好的推荐系统能够给用户推送它真正需要的信息 文本获取的方式 用户给定查询关键字在既有的数据集里头搜索出想要的结果以供浏览 文本获取的方式一般有两种: 第一是 document selection,即根据某种函数f给查询q和文件d作用后的结果来分类,[f(q,d)=1 / 0],明确把文档分隔开,要么完全相关,要么完全不相关 ; 第二是 Ranking,它是计算相关性,并依次排列顺序,关键在于如何说明某个文件的相关性比另一个的相关性更大,当相关性大于某个阈值的时候就返回匹配的文件[ f(q,d)>THETA] 文本获取(Text

    1K30发布于 2019-07-09
  • 来自专栏Hank’s Blog

    2-2 R语言基础 向量

    > x <- vector("character",length=10) > x1 <- 1:4 > x2 <- c(1,2,3,4) > x3 <- c(TRUE,10,"a") #如果给向量赋值时元素类型不一致,R就会强制转换,将他们变为同一类型 > x4 <- c("a","b","c","d")

    82410发布于 2020-09-16
  • 来自专栏机器学习算法原理与实践

    文本主题模型之潜在语义索引(LSI)

        在文本挖掘中,主题模型是比较特殊的一块,它的思想不同于我们常用的机器学习算法,因此这里我们需要专门来总结文本主题模型的算法。本文关注于潜在语义索引算法(LSI)的原理。 1. 潜在语义索引(LSI)概述     潜在语义索引(Latent Semantic Indexing,以下简称LSI),有的文章也叫Latent Semantic  Analysis(LSA)。 image.png     如果把上式用到我们的主题模型,则SVD可以这样解释:我们输入的有m个文本,每个文本有n个词。 也可以反过来解释:我们输入的有m个词,对应n个文本。而$A_{ij}$则对应第i个词档的第j个文本的特征值,这里最常用的是基于预处理后的标准化TF-IDF值。k是我们假设的主题数,一般要比文本数少。 LSI用于文本相似度计算     在上面我们通过LSI得到的文本主题矩阵可以用于文本相似度计算。而计算方法一般是通过余弦相似度。比如对于上面的三文档两主题的例子。

    1.8K20发布于 2018-08-07
  • 来自专栏让技术和时代并行

    lucene给文本索引和搜索功能的应用

    lucene允许你往程序中添加搜索功能,lucene能够把你从文本中解析出来的数据进行索引和搜索 ,lucene不关心数据来源 甚至不关心语种,不过你需要把它转换成文本格式。 也就是说你可以搜索 html网页,文本文档,word文档 ,pdf,或者其他一些 总之 只要能够提取出文本信息的即可。 , 而每个field相当于我们的表名 ,它能够对文本进行自动处理去掉里面的一些语气词,它能把你规定的域当作关键词来进行索引 以备查询时使用,lucene比较容易使用 ,但是不如数据库灵活,速度很快。 list.add(doc.get("contents")); } reader.close(); return list; } } //这里我主要给文档中的文本进行添加了索引 ,你也可以在Field 中给路径 等等一些属性进行添加索引   具体你可以搜索lucene api 进行使用 里面的一些方法。

    1.1K30发布于 2019-04-16
  • 来自专栏波波烤鸭

    2-2 SPU和SKU详解及MyBatisPlus自动生成

    2-2 SPU和SKU详解   商城系统中的商品信息肯定避免不了SPU和SKU这两个概念,本节就给大家详细介绍下这块的内容 1、掌握SKU和SPU关系 SPU = Standard Product Unit

    3.3K41发布于 2021-01-21
  • 来自专栏刷题笔记

    2-2 学生成绩链表处理 (20 分)

    本文链接:https://blog.csdn.net/shiliang97/article/details/101169860 2-2 学生成绩链表处理 (20 分) 本题要求实现两个函数,一个将输入的学生成绩组织成单向链表

    1.7K20发布于 2019-11-08
  • 来自专栏mysql

    hhdb数据库介绍(2-2)

    HHDB Server在计算节点、数据节点、配置库等层次提供全面的高可用保障。提供完善的心跳检测、故障切换对存储节点同步追平判断、全局自增序列在故障时自动跳号、客户端连接Hold等机制,保障数据服务的可用性与数据的一致性。

    26510编辑于 2024-11-28
  • 来自专栏爬蜥的学习之旅

    文本获取和搜索引擎的概率模型

    coursera课程 text retrieval and search engine 第四周 推荐。

    1.4K30发布于 2019-07-09
  • 来自专栏爬蜥的学习之旅

    文本获取和搜索引擎之推荐系统

    推荐系统即把恰当的内容推送给用户,类似于在一系列文档中过滤出用户想要的。一般有两种方式:

    80631发布于 2019-07-09
  • MySQL 中的全文索引:强大的文本搜索利器

    一、什么是全文索引?全文索引是一种特殊类型的索引,它允许我们在文本字段中进行快速的全文搜索。 与传统的索引不同,全文索引不是基于特定的列值进行索引,而是对文本内容进行分析和索引,以便能够快速地找到包含特定关键词的记录。 二、全文索引的工作原理 文本分析 当我们在 MySQL 表中创建全文索引时,MySQL 会对被索引文本字段进行分析。 经过分析后的文本被存储在全文索引中,以便后续的搜索操作。 索引构建 在分析完文本后,MySQL 会构建全文索引。全文索引通常是一种倒排索引结构,它将每个单词与包含该单词的记录列表相关联。 MySQL 中的全文索引是一种非常强大的功能,它可以帮助我们在大量文本数据中进行快速的全文搜索。

    1.7K00编辑于 2025-02-17
  • 来自专栏悟道

    2-2 二分&前缀和模板

    二分模板 int mid=0; while(left<right){ mid=(left+right)/2; if(check(mid)<K) r=mid; else l=mid+1; } 前缀和模板 : 前缀呢 无非就是 从left->right的和: ( s[right] - s[left-1]) import java.util.Scanner; public class Main { public static void main(Stri

    40430发布于 2021-03-11
  • 来自专栏python3

    Python自动化开发学习2-2

    open()打开文件。windows系统默认的是gbk编码,如果不指定字符编码,就会使用系统默认的字符编码打开文件。比如这时python就会使用gbk编码去读utf-8文件,运行后会报错或者读到乱码。

    78030发布于 2020-01-10
  • 来自专栏育种数据分析之放飞自我

    笔记 | GWAS 操作流程2-2:性别质控

    「原理:」检查性别差异。先验信息,女性的受试者的F值必须小于0.2,男性的受试者的F值必须大于0.8。这个F值是基于X染色体近交(纯合子)估计。不符合这些要求的受试者被PLINK标记为“PROBLEM”。

    1.7K31发布于 2020-05-18
  • 来自专栏爬蜥的学习之旅

    文本获取和搜索引擎中的反馈模型

    coursera课程 text retrieval and search engine 第五周 推荐。

    2.5K30发布于 2019-07-09
  • 来自专栏沈唁志

    文本处理,第2部分:OH,倒排索引

    这是我的文本处理系列的第二部分。在这篇博客中,我们将研究如何将文本文档存储在可以通过查询轻松检索的表单中。我将使用流行的开源Apache Lucene索引进行说明。 系统中有两个主要的处理流程... 文档索引:给定一个文档,将其添加到索引中 文档检索:给定查询,从索引中检索最相关的文档。 下图说明了这是如何在Lucene中完成的。 p1.png 指数结构 文档和查询都以一句话表示。 为了控制文档在其包含字段中的索引方式,可以用多种方式声明一个字段,以指定是否应该分析它(索引期间的预处理步骤),索引(参与索引)还是存储(如果是它需要在查询结果中返回)。 关键字(未分析,索引,存储) 未编入索引(未分析,未索引,已存储) 未存储(分析,索引,未存储) 文本(分析,索引,存储) 倒排索引是存储的核心数据结构。 (这可以使Web API检索某些文本输出,抓取网页或接收HTTP文档上载)。这可以以批处理或在线方式完成。当索引处理开始时,它解析每个原始文档并分析其文本内容。典型的步骤包括...

    3K40发布于 2018-06-04
  • 来自专栏ShowMeAI研究中心

    带你快速构建基础文本索引擎 ⛵

    图片本文使用tf-idf(词频-逆文件频率)、lsi(潜在语义索引)和 doc2vec(文档向量化嵌入)这3种最基础的NLP文档嵌入技术,对文本进行嵌入操作(即构建语义向量)并完成比对检索,构建一个基础版的文本索引擎 (即构建语义向量)并完成比对检索,完成一个基础版的文本索引擎。 图片 文档嵌入技术文档嵌入(doc embedding)方法能完成文本的向量化表示,我们可以进而将文本搜索问题简化为计算向量之间相似性的问题。 我们把『搜索词条』和『文档』都转换为向量(同一个向量空间中)之后,文本比较与检索变得容易得多。图片搜索引擎根据『文档』与『搜索词条』的相似度对文档进行评分与排序,并返回得分最高的文档。 几行代码就可以构建一个基于 tfidf 的原始搜索引擎。

    1.1K41编辑于 2022-08-26
  • 来自专栏NebulaGraph 技术文章

    Nebula 基于 ElasticSearch 的全文搜索引擎的文本搜索

    [Nebula 基于全文搜索引擎的文本搜索] 1 背景 Nebula 2.0 中已经支持了基于外部全文搜索引擎的文本查询功能。 另外,如果将 Nebula 索引的存储模型设计为适合文本搜索的倒排索引模型,那将背离 Nebula 索引初始的设计原则。 2 目标 2.1 功能 2.0 版本我们只对 LOOKUP 支持了文本搜索功能。也就是说基于 Nebula 的内部索引,借助第三方全文搜索引擎来完成 LOOKUP 的文本搜索功能。 数据查询性能:刚刚我们提到了,如果不借助第三方全文搜索引擎,Nebula 的文本搜索将是一场噩梦。 4.3 查询逻辑 [Nebula 基于全文搜索引擎的文本搜索] 由上图可知,其文本搜索的关键步骤是 “Send Fulltext Scan Request” → "Fulltext Cluster" →

    1.8K00发布于 2021-06-17
  • 来自专栏爬蜥的学习之旅

    文本获取与搜索引擎中的TF,TF-IDF

    这样看来,需要更好的方式来对长文本做出”惩罚”。另外需要考虑到的是,长文档可能存在两种情况,1是仅仅用了过多的词,2是有很多描述主题的内容,这是不希望有惩罚的。 这里b是一个变量,当b=0,文档长度被忽略,当b非0,|d|(文档长度)越大,权值反而越小,也就得到了”惩罚”长文档的目的,当文档太短时,如果包含查询关键字,很有可能主题就是这些,起到适当的激励作用 文本获取 (TR)的一般架构 tokenization:词提取,确定好词的边界,把相近意思的词映射到同一个 index :将文档转换成易于检索的数据结构,一般使用倒排索引(用一个字典存储文档的部分统计信息,比如当前词一共出现在了多少个文档

    82410编辑于 2024-02-05
领券