- 综合排序
- 最热优先
- 最新优先
- 来自专栏python3
Python学习笔记7——文本、模块
参考书籍：《Learning_Python_5th_Edition.pdf》，一本英文书呢，我上传到百度网盘吧，请点击这里，密码是：kym3 文本文件的输入输出 Python具有基本的文本文件读写功能。 文本文件的读写主要通过open()所构建的文件对象来实现。
55010发布于 2020-01-19 - 来自专栏爬蜥的学习之旅
文本获取和搜索引擎简介
根据句法本身去推断为什么这样做，理解为什么有人这样描述，比如可能是想让某人把狗唤回来，以免男孩被狗伤着 Bag of words:保留所有的单词，重复的也会保留，但是不关心单词在生个句子中出现的顺序 文本获取的分类 类似搜索引擎的Pull模型：用户拥有主动权，它具有Ad hoc属性，就是说暂时性的需要，后续不再使用，比如搜索到某个关键字的文档后，这个关键字就不再被使用 查询和浏览的区别：查询是用户知道搜索什么， 浏览是将内容放置供人查看，而不是查询 类似推荐系统的Push模型：系统拥有主动权，一个良好的推荐系统能够给用户推送它真正需要的信息 文本获取的方式 用户给定查询关键字在既有的数据集里头搜索出想要的结果以供浏览 文本获取的方式一般有两种： 第一是 document selection，即根据某种函数f给查询q和文件d作用后的结果来分类，[f(q,d)=1 / 0]，明确把文档分隔开，要么完全相关，要么完全不相关 ； 第二是 Ranking，它是计算相关性，并依次排列顺序，关键在于如何说明某个文件的相关性比另一个的相关性更大，当相关性大于某个阈值的时候就返回匹配的文件[ f(q,d)>THETA] 文本获取(Text
1K30发布于 2019-07-09 - 来自专栏机器学习算法原理与实践
文本主题模型之潜在语义索引(LSI)
在文本挖掘中，主题模型是比较特殊的一块，它的思想不同于我们常用的机器学习算法，因此这里我们需要专门来总结文本主题模型的算法。本文关注于潜在语义索引算法(LSI)的原理。 1. 潜在语义索引(LSI)概述 潜在语义索引(Latent Semantic Indexing,以下简称LSI)，有的文章也叫Latent Semantic Analysis（LSA）。 image.png 如果把上式用到我们的主题模型，则SVD可以这样解释：我们输入的有m个文本，每个文本有n个词。 也可以反过来解释：我们输入的有m个词，对应n个文本。而$A_{ij}$则对应第i个词档的第j个文本的特征值，这里最常用的是基于预处理后的标准化TF-IDF值。k是我们假设的主题数，一般要比文本数少。 LSI用于文本相似度计算 在上面我们通过LSI得到的文本主题矩阵可以用于文本相似度计算。而计算方法一般是通过余弦相似度。比如对于上面的三文档两主题的例子。
1.8K20发布于 2018-08-07 - 来自专栏让技术和时代并行
lucene给文本索引和搜索功能的应用
lucene允许你往程序中添加搜索功能，lucene能够把你从文本中解析出来的数据进行索引和搜索 ，lucene不关心数据来源 甚至不关心语种，不过你需要把它转换成文本格式。 也就是说你可以搜索 html网页，文本文档，word文档 ，pdf，或者其他一些 总之 只要能够提取出文本信息的即可。 ， 而每个field相当于我们的表名 ，它能够对文本进行自动处理去掉里面的一些语气词，它能把你规定的域当作关键词来进行索引 以备查询时使用，lucene比较容易使用 ，但是不如数据库灵活，速度很快。 for(ScoreDoc scoreDoc : hits.scoreDocs) { Document doc = is.doc(scoreDoc.doc); //7 list.add(doc.get("contents")); } reader.close(); return list; } } //这里我主要给文档中的文本进行添加了索引
1.1K30发布于 2019-04-16 - 来自专栏大数据学习笔记
Elasticsearch 7.x：2、索引管理
2.1 索引名规范 索引命名有如下限制： 仅限小写字母 不能包含\、/、 *、? RorVlzACQIOpGDCW9LJ1cA 2 2 0 0 522b 522b green open .kibana_1 vfaeT7wQSgyxXOlZioCFDQ 我们可以临时关闭某个索引，在需要时再重新打开该索引。 RorVlzACQIOpGDCW9LJ1cA green open .kibana_1 vfaeT7wQSgyxXOlZioCFDQ 索引别名不仅仅可以关联一个索引，它能聚合多个索引。
3.1K40发布于 2019-05-27 - 来自专栏blackheart的专栏
7-索引初始化器
Dictionary<int, string> { 4 { 1, "Value1" }, 5 { 2, "Value2" }, 6 { 3, "Value3" } 7 locals init ([0] class [mscorlib]System.Collections.Generic.Dictionary`2<int32,string> dictionary) 7 [1] = "Value1", 6 [2] = "Value2", 7 [3] = "Value3" 8 }; 9 } 看起来直观许多了吧，其实是一种语法改进。 locals init ([0] class [mscorlib]System.Collections.Generic.Dictionary`2<int32,string> dictionary) 7 既然是索引，那么就索引就不仅仅只能是int，也可以是string，任意的自定义类型。 3.
95670发布于 2018-01-19 - 来自专栏爬蜥的学习之旅
文本获取和搜索引擎的概率模型
coursera课程 text retrieval and search engine 第四周 推荐。
1.4K30发布于 2019-07-09 - 来自专栏爬蜥的学习之旅
文本获取和搜索引擎之推荐系统
推荐系统即把恰当的内容推送给用户，类似于在一系列文档中过滤出用户想要的。一般有两种方式:
80631发布于 2019-07-09 - 来自专栏路过君BLOG from CSDN
EXTJS7 实现点击拖拉选择文本
默认情况下，用户无法通过点击拖拉选择界面上的文本 解决方案 Ext.Component组件可以使用userSelectable配置项，设置为‘text’，即可实现此组件中文本的点选 注意：如果设置为true
78720发布于 2020-12-17 MySQL 中的全文索引：强大的文本搜索利器
一、什么是全文索引？全文索引是一种特殊类型的索引，它允许我们在文本字段中进行快速的全文搜索。 与传统的索引不同，全文索引不是基于特定的列值进行索引，而是对文本内容进行分析和索引，以便能够快速地找到包含特定关键词的记录。 二、全文索引的工作原理 文本分析 当我们在 MySQL 表中创建全文索引时，MySQL 会对被索引的文本字段进行分析。 经过分析后的文本被存储在全文索引中，以便后续的搜索操作。 索引构建 在分析完文本后，MySQL 会构建全文索引。全文索引通常是一种倒排索引结构，它将每个单词与包含该单词的记录列表相关联。 MySQL 中的全文索引是一种非常强大的功能，它可以帮助我们在大量文本数据中进行快速的全文搜索。
1.7K00编辑于 2025-02-17- 来自专栏爬蜥的学习之旅
文本获取和搜索引擎中的反馈模型
coursera课程 text retrieval and search engine 第五周 推荐。
2.5K30发布于 2019-07-09 - 来自专栏Android知识点总结
Flutter 文本解读 7 | RichText 写个代码高亮组件
---- 本系列其他文章 《Flutter 文本解读 1 | 从源码认识 Text 组件》 《Flutter 文本解读 2 | Text 是如何画出来的》 《Flutter 文本解读 3 | Text 组件使用介绍 》 《Flutter 文本解读 4 | TextStyle 文字样式解读 》 《Flutter 文本解读 5 | RichText 富文本的使用 (上)》 《Flutter 文本解读 6 | RichText 富文本的使用 (中)》 ---- 一、高亮关键字 1.资源介绍 这里的测试代码字符串放在 assets 目录下。 实现需要找到每个 final 在文本中出现的 起始和结束位置，然后将这两个位置记录下来。这里通过 SpanBean 进行存储信息。 ? 实现通过 _parseContent 方法，使用 StringScanner 对文本进行扫描。
2K10发布于 2021-01-27 - 来自专栏陈琛的Redis文章
MongoDB入门系列——7.地理位置索引
我们可以通过MongoDB自带的地址位置索引来实现。 如何使用 前期准备：插入数据 我们先插入四条数据，即店铺的类型，名称和地理位置。 查询结果 下图的语句是查询在经纬度为50和50位置附近的店铺，但我们看到是报错了，理由是我们要新建字段loc上面的地理索引。 ? 建立地理索引的步骤如下： （也就是在loc字段上面建立地理位置索引） ? 我们重复执行刚才的语句，发现成功啦。 ?
1K50发布于 2020-06-12 - 来自专栏沈唁志
文本处理，第2部分：OH，倒排索引
这是我的文本处理系列的第二部分。在这篇博客中，我们将研究如何将文本文档存储在可以通过查询轻松检索的表单中。我将使用流行的开源Apache Lucene索引进行说明。 系统中有两个主要的处理流程... 文档索引：给定一个文档，将其添加到索引中 文档检索：给定查询，从索引中检索最相关的文档。 下图说明了这是如何在Lucene中完成的。 p1.png 指数结构 文档和查询都以一句话表示。 为了控制文档在其包含字段中的索引方式，可以用多种方式声明一个字段，以指定是否应该分析它（索引期间的预处理步骤），索引（参与索引）还是存储（如果是它需要在查询结果中返回）。 关键字（未分析，索引，存储） 未编入索引（未分析，未索引，已存储） 未存储（分析，索引，未存储） 文本（分析，索引，存储） 倒排索引是存储的核心数据结构。 （这可以使Web API检索某些文本输出，抓取网页或接收HTTP文档上载）。这可以以批处理或在线方式完成。当索引处理开始时，它解析每个原始文档并分析其文本内容。典型的步骤包括...
3K40发布于 2018-06-04 - 来自专栏Java核心技术
7种SQL走索引or不走索引的优化，你竟然还不了解？
1.79秒 [9b7a98e24afc4ea198d7ac70a9fa5a18] 创建索引，然后再查询可以看到耗时0.00秒，这就是索引的威力 [fff8c467a816459ab82706fb6e75d447 范围查询走索引 [c6f7120e82224b959c0df2a7f68b918b] 3. 模糊查询只有左前缀使用索引 [d219d147bac14280a6f68dae2e04d75e] 4. 对条件计算(使用函数或者算数表达式)不走索引 使用函数计算不走索引，无论是对字段使用了函数还是值使用了函数都不走索引，解决办法通过应用程序计算好，将计算的结果传递给sql，而不是让数据库去计算 [7a68fae701d9473b8bfdb02114d2bf6f ] [18c6ac816e174562bccd14d7cb052241] id是主键，id/10使用了算数表达式不走索引 [5581d5802a1a4079be4d9e71289f8f5e] 6. 查询时必须使用正确的数据类型 如果索引字段是字符串类型，那么查询条件的值必须使用引号，否则不走索引 [6ae1965977cc43b584dad349ef17fc3b] 7. or 使用索引和不使用索引的情况
8.6K20发布于 2021-06-01 - 来自专栏ShowMeAI研究中心
带你快速构建基础文本搜索引擎 ⛵
图片本文使用tf-idf（词频-逆文件频率）、lsi（潜在语义索引）和 doc2vec(文档向量化嵌入)这3种最基础的NLP文档嵌入技术，对文本进行嵌入操作（即构建语义向量）并完成比对检索，构建一个基础版的文本搜索引擎 （即构建语义向量）并完成比对检索，完成一个基础版的文本搜索引擎。 图片 文档嵌入技术文档嵌入（doc embedding）方法能完成文本的向量化表示，我们可以进而将文本搜索问题简化为计算向量之间相似性的问题。 我们把『搜索词条』和『文档』都转换为向量（同一个向量空间中）之后，文本比较与检索变得容易得多。图片搜索引擎根据『文档』与『搜索词条』的相似度对文档进行评分与排序，并返回得分最高的文档。 几行代码就可以构建一个基于 tfidf 的原始搜索引擎。
1.1K41编辑于 2022-08-26 - 来自专栏NebulaGraph 技术文章
Nebula 基于 ElasticSearch 的全文搜索引擎的文本搜索
[Nebula 基于全文搜索引擎的文本搜索] 1 背景 Nebula 2.0 中已经支持了基于外部全文搜索引擎的文本查询功能。 另外，如果将 Nebula 索引的存储模型设计为适合文本搜索的倒排索引模型，那将背离 Nebula 索引初始的设计原则。 2 目标 2.1 功能 2.0 版本我们只对 LOOKUP 支持了文本搜索功能。也就是说基于 Nebula 的内部索引，借助第三方全文搜索引擎来完成 LOOKUP 的文本搜索功能。 数据查询性能：刚刚我们提到了，如果不借助第三方全文搜索引擎，Nebula 的文本搜索将是一场噩梦。 7 TODO 针对特定的 tag 或 edge 建立全文索引 全文索引的重构（REBUILD） 交流图数据库技术？
1.8K00发布于 2021-06-17 - 来自专栏菩提树下的杨过
langchain4j 学习系列(7)-文本分类
继续我们的langchain4j学习之旅，很多“智能客服”之类的AI应用，“问题分类”是非常重要的功能之一。比如：客人进来咨询问题，得判断出客人的问题是“订单相关”(比如：我要取消订单)，还是“支付相关”（比如：我要退款），还是“投诉相关”（比如：你们的服务太差了，我要投诉到相关部门）。识别出对应分类后，就可以交给相应的流程（或细分的sub agent)做进一步处理。
40510编辑于 2025-12-24 - 来自专栏kl的专栏
Lucene5.5学习(7)-索引文档域加权
前言 就拿百度说事吧，使用百度搜索引擎的时候，你会发现，卧槽，这什么玩意，前面的几个结果根本就不是老子要的东西，都是些推广的内容，而结果匹配度高的还排在老后面去了，百度这铲屎的干嘛吃的！ 这算文档域加权的使用场景吧 说明 所谓索引域加"权"，就是根据需求的不同，对不同的关键值或者不同的关键索引分配不同的权值，因为查询的时候Lucene的评分机制和权值的高低是成正比的，这样权值高的内容更容易被用户搜索出来 /** * @author kl by 2016/3/19 * @boke www.kailing.pub */ public class FieldSetBoostTest { //索引目录 IOException e){ e.printStackTrace(); } return directory; } /** * 创建索引不加权 field); writer.addDocument(doc); } writer.close(); } /** * 创建索引
50530编辑于 2023-11-18 - 来自专栏林雍岷
在ROBOTS文本设置SITEMAP路径并提交到搜索引擎
在ROBOTS TXT文本设置XML网站地图路径很重要，这将有利于谷歌轻松地找到你的网站地图，并加快搜索引擎编制索引网站的速度。 这讲将介绍如何把sitemap.xm文本映射到robots.txt文件，再把网站地图信息PING到搜索引擎。 提交网站地图到搜索引擎 将网站地图添加到robots.txt可让谷歌和其它机器人轻松找到抓取网站地图的方法，否则你需要在每次更新时提交更新内容。 下面介绍使用PING的方法提交网站地图到搜索引擎，告诉搜索引擎我的网站地图已经改变。 sitemap=http://你的网站地图路径.com/sitemap.xml 下图是提交林雍岷博客网站地图 使用PING的方法提交网站地图到搜索引擎绝对不能够代替通过网站管理员控制台提交给搜索引擎的方法
2.5K40发布于 2019-07-03
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号