- 综合排序
- 最热优先
- 最新优先
- 来自专栏黯羽轻扬
文本_bash笔记4
grep 用于文本搜索，匹配文件内容，语法格式为：grep pattern filename，例如： # 找出所有含有for的行 grep 'for' test.sh # 对多个文件进行搜索 grep "想做个好人" | cut -b 2-4 # -n选项不分割多字节字符，得到`想` echo "想做个好人" | cut -n -b 2-4 sed stream editor，非交互式的编辑器，常用的文本处理工具 ，最常用的功能是文本替换： # 删除行开头的空白字符 echo $' \t 我想左对齐' | sed $'s/^[[:space:]]*\t*//g' 另一个常用功能是文件原地替换（替换并把结果写入原文件 '{print 1"-"2"-"3}' 内置变量 awk里有一些特殊的内置变量： NR：number of records，当前行号 NF：number of fields，当前行字段数 $0：当前行文本内容 $123…：当前行第n个字段的文本内容 所以有更简单的统计行数的方式： echo $'1 2\n3 4' | awk 'END{print NR}' 每读一行更新NR，执行到END块时就是总行数 注意
1.4K30发布于 2019-06-12 - 来自专栏changxin7
4.MySQL索引原理
具体一页有多大数据跟操作系统有关，一般为4k或8k，也就是我们读取一页内的数据时候，实际上才发生了一次IO，这个理论对于索引的数据结构设计非常有帮助。 这就是为什么每个数据项，即索引字段要尽量的小，比如int占4字节，要比bigint8字节少一半。 四 聚集索引与辅助索引 在数据库中，B+树的高度一般都在2~4层，这也就是说查找某一个键值的行记录时最多只需要2到4次IO，这倒不错。 用在比较短的文本，如果就一两行字的，普通的 INDEX 也可以。 但其实对于全文搜索，我们并不会使用MySQL自带的该索引，而是会选择第三方软件如Sphinx，专门来做全文搜索。 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)顺序的索引，d是用不到索引的，如果建立(a,b,d,c)的索引则都可以用到，a,b,d的顺序可以任意调整。
90710发布于 2019-09-10 - 来自专栏大数据学习笔记
Neo4J：索引
本文链接：https://blog.csdn.net/chengyuqiang/article/details/102685464 创建索引 create index on :Dude(name) ? 使用索引查询 MATCH (n:Dude) WHERE n.name IN ["A1","C1"] RETURN n ? 显式使用索引 match (d:Dude{name:"B2"}) using index d:Dude(name) return d ?
1K10发布于 2019-10-24 - 来自专栏小工匠聊架构
MySQL-索引优化篇(4)_索引的维护
---- 删除重复索引 举个例子 ，对id 建立了多个索引 ，重复索引 primary key(id) 【主键索引】, unique key(id) 【唯一索引】, index(id)【普通索引】 主键上 MySQL会自动创建索引的，所以就么有必要再对主键建立 唯一索引，更没有必要建立普通索引了。 ---- 删除冗余索引 举个例子 index(a) , index(a,b) 在a上建立普通索引 ， 在a 、b 建立了联合索引。 这种情况是冗余的， 只需要保存 那个联合索引中就行了，删除 对a 单独建立的普通索引即可。 因为 a 都在左侧， 所以 查询a， 也是可以走那个联合索引的。 ---- primary key(id), index(a, id) 这种情况是冗余的，因为Innodb中对于二级索引会自动增加 主键索引，所以 也是没必要对a 和 主键id 建立联合索引的。
64030发布于 2021-08-17 - 来自专栏爬蜥的学习之旅
文本获取和搜索引擎简介
根据句法本身去推断为什么这样做，理解为什么有人这样描述，比如可能是想让某人把狗唤回来，以免男孩被狗伤着 Bag of words:保留所有的单词，重复的也会保留，但是不关心单词在生个句子中出现的顺序 文本获取的分类 类似搜索引擎的Pull模型：用户拥有主动权，它具有Ad hoc属性，就是说暂时性的需要，后续不再使用，比如搜索到某个关键字的文档后，这个关键字就不再被使用 查询和浏览的区别：查询是用户知道搜索什么， 浏览是将内容放置供人查看，而不是查询 类似推荐系统的Push模型：系统拥有主动权，一个良好的推荐系统能够给用户推送它真正需要的信息 文本获取的方式 用户给定查询关键字在既有的数据集里头搜索出想要的结果以供浏览 文本获取的方式一般有两种： 第一是 document selection，即根据某种函数f给查询q和文件d作用后的结果来分类，[f(q,d)=1 / 0]，明确把文档分隔开，要么完全相关，要么完全不相关 ； 第二是 Ranking，它是计算相关性，并依次排列顺序，关键在于如何说明某个文件的相关性比另一个的相关性更大，当相关性大于某个阈值的时候就返回匹配的文件[ f(q,d)>THETA] 文本获取(Text
1K30发布于 2019-07-09 - 来自专栏逸鹏说道
维护索引（4）——通过重组索引提高性能
总得来说，重组会清空当前的B-TREE，特别是索引的叶子节点，重组数据页和消除碎片。和重建不同，重组不会添加任何新数据页。 准备工作： 为了了解是否有必要重组索引，需要首先查看碎片程度，如果在10%以下，那一般没必要做什么维护，如果在10%~30%，就建议进行重组。 步骤： 1、 以下各种重组索引的方法： --不指定参数重组索引： ALTER INDEX [idx_refno] ON [ordDemo] REORGANIZE GO --重组表中所有索引 ： ALTER INDEX ALL ON [ordDemo] REORGANIZE GO --使用DBCC INDEXDEFRAG重建表上所有索引： DBCC INDEXDEFRAG 分析： 索引重组，也可以称为碎片重组，对单独索引的操作将使用单独的线程。不可以并行操作。所以同一时刻只有一个索引被操作。
1.1K80发布于 2018-04-11 - 来自专栏CaiRui
Shell-4-让文本飞
txt 使用正则表达式必须使用egrep （2）要打印除某行之外所有行 [root@cai tmp]# grep -v 3 1.txt this is a test2 11 44 55 55 （3）统计文本或文本中包含匹配字符串的行数 [root@cai tmp]# grep -c 3 1.txt 1 （4）打印包含匹配字符串的行数 [root@cai tmp]# grep 3 -n 1.txt 4:33 （5）搜索多个文件并找出匹配文本位于哪个文件中 6 7 8 要打印匹配某个结果之前的3行，可以使用-B选项 [root@cai tmp]# seq 10|grep 5 -B 3 2 3 4 5 要打印匹配某个结果之前以及之后的3行，使用-C选项 [ root@cai tmp]# seq 10|grep 5 -C 3 2 3 4 5 6 7 8 3.用cut按列切分文本 cut -f 2,3 filename 4.sed （1）sed可以替换给定文本中的字符串 （1）[root@cai tmp]# seq 100|awk 'NR==4,NR==8' （2）4awk ‘NR==M,NR==N’ filename 5 6 7 8
1.1K90发布于 2018-01-17 - 来自专栏悠扬前奏的博客
Neo4j-3.1 索引
Neo4j支持节点或关系上的索引，以提高程序的性能 可以为具有相同标签名称的所有节点的属性创建索引 可以在MATCH或WHERE或IN运算上使用索引来提高语句的执行效率 索引操作： CREATE Index 创建索引 语法，冒号（:)运算符用于引用节点或关系标签名称： CREATE INDEX ON :<label_name> (<property_name>) Drop Index 丢弃索引 语法,
55020发布于 2019-12-11 - 来自专栏初见Linux
4.文本样式-CSS基础
一、文本样式 字体样式：注重个体，针对的是文字本身效果。 文本样式：注重整体，针对的是整个段落的排版效果。 在CSS中，使用font和text两个前缀来区分这两类样式。 行高 letter-spacing、word-spacing 字母间距、词间距 二、text-indent（首行缩进） p元素首行不会缩进，因此在HTML中需要使用4个 来实现首行缩进2个字符的空格 四、text-decoration（文本修饰） 在CSS中，可以使用text-decoration属性来定义文本的修饰效果（下划线、中划线、顶划线）。 /*行高*/ } </style> </head> <body>
蝶恋花·庭院深深深几许
<h4> 宋·欧阳修</h4>庭院深深深几许，杨柳堆烟，帘幕无重数。
1.8K20发布于 2020-10-28 - 来自专栏IT云清
4.Elasticsearch索引文档
存储数据到es中的行为叫做索引，索引一个文档前，需要确定这个文档存放在哪里；一个es集群可以包含多个索引，每个索引可以包含多个类型，每个类型中又可以存储不同的文档，每个文档可以有多个属性。 倒排索引： 关系型数据库通过增加一个 索引 比如一个 B树（B-tree）索引 到指定的列上，以便提升数据检索速度。 索引内 - 4.people索引保存在es集群中 上面这四步，我们用一条命令即可完成 PUT people/user/1 { "id":1, "name":"张三", "age":18, "杭州", "interests": [ "bastkeyball", "football" ], "create_time":"2018-02-04" } PUT people/user/4 { "id":4, "name":"张飞", "age":27, "address":"宁波", "interests": [ "bastkeyball", "football" ]
89420发布于 2019-01-22 - 来自专栏机器学习算法原理与实践
文本主题模型之潜在语义索引(LSI)
在文本挖掘中，主题模型是比较特殊的一块，它的思想不同于我们常用的机器学习算法，因此这里我们需要专门来总结文本主题模型的算法。本文关注于潜在语义索引算法(LSI)的原理。 1. 潜在语义索引(LSI)概述 潜在语义索引(Latent Semantic Indexing,以下简称LSI)，有的文章也叫Latent Semantic Analysis（LSA）。 也可以反过来解释：我们输入的有m个词，对应n个文本。而$A_{ij}$则对应第i个词档的第j个文本的特征值，这里最常用的是基于预处理后的标准化TF-IDF值。k是我们假设的主题数，一般要比文本数少。 而从$V_k$可以看到3个文本和两个主题的相关性。大家可以看到里面有负数，所以这样得到的相关度比较难解释。 4. LSI用于文本相似度计算 在上面我们通过LSI得到的文本主题矩阵可以用于文本相似度计算。而计算方法一般是通过余弦相似度。比如对于上面的三文档两主题的例子。
1.8K20发布于 2018-08-07 - 来自专栏让技术和时代并行
lucene给文本索引和搜索功能的应用
lucene允许你往程序中添加搜索功能，lucene能够把你从文本中解析出来的数据进行索引和搜索 ，lucene不关心数据来源 甚至不关心语种，不过你需要把它转换成文本格式。 也就是说你可以搜索 html网页，文本文档，word文档 ，pdf，或者其他一些 总之 只要能够提取出文本信息的即可。 ， 而每个field相当于我们的表名 ，它能够对文本进行自动处理去掉里面的一些语气词，它能把你规定的域当作关键词来进行索引 以备查询时使用，lucene比较容易使用 ，但是不如数据库灵活，速度很快。 SmartChineseAnalyzer(Version.LUCENE_47)); Query query = parser.parse(q); //4 list.add(doc.get("contents")); } reader.close(); return list; } } //这里我主要给文档中的文本进行添加了索引
1.1K30发布于 2019-04-16 - 来自专栏爬蜥的学习之旅
文本获取和搜索引擎的概率模型
coursera课程 text retrieval and search engine 第四周 推荐。
1.4K30发布于 2019-07-09 - 来自专栏程序员千羽
MySQL进阶笔记-4(索引的使用)
varchar (100), `createtime` datetime, primary key(`sellerid`) )engine=innodb default charset=utf8mb4; 根据前面的两个字段name ， status 查询是走索引的， 但是最后一个条件address 没有用到索引。 4). 不要在索引列上进行运算操作， 索引将失效。 5). 尽量使用覆盖索引，避免select * 尽量使用覆盖索引（只访问索引的查询（索引列完全包含查询列）），减少select * 。 如果查询列，超出索引列，也会降低性能。 如果MySQL评估使用索引比全表更慢，则不使用索引。 10). is NULL ， is NOT NULL 有时索引失效。 11). in 走索引， not in 索引失效。 12). 单列索引和复合索引。 尽量使用复合索引，而少使用单列索引 。
57950编辑于 2021-12-29 - 来自专栏用户7737280的专栏
mysql 有4种不同的索引
主键索引（PRIMARY） 数据列不允许重复，不允许为NULL，一个表只能有一个主键 唯一索引（UNIQUE） 数据列不允许重复，允许为NULL值，一个表允许多个列创建唯一索引。 ,column2); 创建唯一组合索引 普通索引（INDEX） 可以通过 ALTER TABLE table_name ADD INDEX index_name (column); 创建普通索引 可以通过 ALTER TABLE table_name ADD INDEX index_name(column1, column2, column3); 创建组合索引 全文索引（FULLTEXT） 可以通过 ALTER TABLE table_name ADD FULLTEXT (column);https://www.alwdzr.com 创建全文索引 索引并非是越多越好，创建索引也需要耗费资源 ，一是增加了数据库的存储空间，二是在插入和删除时要花费较多的时间维护索引 二级索引：叶子节点中存储主键值，每次查找数据时，根据索引找到叶子节点中的主键值，根据主键值再到聚簇索引中得到完整的一行记录 排除缓存
1.5K60发布于 2020-09-09 - 来自专栏爬蜥的学习之旅
文本获取和搜索引擎之推荐系统
推荐系统即把恰当的内容推送给用户，类似于在一系列文档中过滤出用户想要的。一般有两种方式:
80631发布于 2019-07-09 - 来自专栏学而时习之
MySQL基础篇4 mysql的索引
以innodb的一个整数字段索引为例, 这个n差不多是1200, 这颗树高是4的时候, 就可以存1200的三次方这个值.考虑到树根的数据快总在内存中, 一个10亿行的表上一个整数字段的索引, 查找一个值最多只需要访问 如果用身份证号做主键，那么每个二级索引的叶子节点占用约 20 个字节，而如果用整型做主键，则只要 4 个字节，如果是长整型（bigint）则是 8 个字节 所以, 主键长度越小, 普通索引的叶子节点就越小 =500, 对应r4; 在 k 索引树取下一个值 k=6，不满足条件，循环结束 回到主键索引树搜索的过程, 叫做回表. 上述过程读k索引3次(1,3,5), 回表两次(2, 4) 由于查询的结果所需的数据只在主键索引上有, 所以不得不回表, 如何避免回表呢? image.png 索引项是按照索引定义里面出现的字段数据排序的 当你的逻辑需求是查到所有名字是“张三”的人时，可以快速定位到 ID4，然后向后遍历得到所有需要的结果 如果你要查的是所有名字第一个字是“
74340发布于 2020-05-18 MySQL 中的全文索引：强大的文本搜索利器
一、什么是全文索引？全文索引是一种特殊类型的索引，它允许我们在文本字段中进行快速的全文搜索。 与传统的索引不同，全文索引不是基于特定的列值进行索引，而是对文本内容进行分析和索引，以便能够快速地找到包含特定关键词的记录。 二、全文索引的工作原理 文本分析 当我们在 MySQL 表中创建全文索引时，MySQL 会对被索引的文本字段进行分析。 经过分析后的文本被存储在全文索引中，以便后续的搜索操作。 索引构建 在分析完文本后，MySQL 会构建全文索引。全文索引通常是一种倒排索引结构，它将每个单词与包含该单词的记录列表相关联。 MySQL 中的全文索引是一种非常强大的功能，它可以帮助我们在大量文本数据中进行快速的全文搜索。
1.7K00编辑于 2025-02-17- 来自专栏机器学习AI算法工程
【LDA数学八卦-4】文本建模
4. 文本建模 我们日常生活中总是产生大量的文本，如果每一个文本存储为一篇文档，那每篇文档从人的观察来说就是有序的词的序列 d=(w1,w2,⋯,wn)。 包含M 篇文档的语料库 统计文本建模的目的就是追问这些观察到语料库中的的词序列是如何生成的。 统计学被人们描述为猜测上帝的游戏，人类产生的所有的语料文本我们都可以看成是一个伟大的上帝在天堂中抛掷骰子生成的，我们观察到的只是上帝玩这个游戏的结果 —— 词序列构成的语料，而上帝玩这个游戏的过程对我们是个黑盒子 上帝掷骰子 4.1 Unigram Model 假设我们的词典中一共有 V 个词 v1,v2,⋯vV，那么最简单的 Unigram Model 就是认为上帝是按照如下的游戏规则产生文本的。 进一步，我们可以计算出文本语料的产生概率为 p(W|α→)=∫p(W|p→)p(p→|α→)dp→=∫∏k=1V**kkDir(p→|α→)dp→=∫∏k=1V**kk1Δ(α→)∏k=1Vpαk
1.3K30发布于 2018-03-12 - 来自专栏侯哥的Python分享
Mysql高级4-索引的使用规则
1 row in set, 1 warning (0.00 sec) 说明1：通过explain执行计划，可以查看使用的key仍然是mto,但是key_len只有66，比上一条的key_len少了4位 说明operator_staff_id的索引失效，并且operator_staff_id的长度为4 案例3：使用method+operator_staff_id查询 mysql> explain select 62，说明trader_staff_id的索引长度也为4 案例4：使用trader_staff_id + operator_staff_id查询 mysql> select * from account_transaction | account_transaction | NULL | index_merge | PRIMARY,trade_index | PRIMARY,trade_index | 4,62 --+-------------+---------+-------+------+----------+-------+ 1 row in set, 1 warning (0.00 sec) 案例4：
93940编辑于 2023-07-31
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号