MySQL 索引（3）

3. 平衡二叉树（AVL Tree） 平衡二叉树的定义：左右子树深度差绝对值不能超过1。 什么意思呢？比如左子树的深度是2，右子树的深度只能是1或者3。 https://www.cs.usfca.edu/~galles/visualization/BTree.html 比如MaxDegree（路数）是3的时候，我们插入数据1、2、3，在插入3的时候，本来应该在第一个磁盘块 把中间的数据2提上去，把1和3变成2的子节点。 ? 从这个里面我们也能看到，在更新索引的时候会有大量的索引的结构的调整，所以解释了为什么我们不要在频繁更新的列上建索引，或者为什么不要更新主键。 在查找数据时一次页的查找代表一次IO，也就是说，一张2000万左右的表，查询数据最多需要访问3次磁盘。 所以在InnoDB中B+树深度一般为1-3层，它就能满足千万级的数据存储。 索引的创建 1、在用于where判断order排序和join的（on）字段上创建索引 2、索引的个数不要过多。——浪费空间，更新变慢。 3、区分度低的字段，例如性别，不要建索引。

文本获取和搜索引擎简介

类似搜索引擎的Pull模型：用户拥有主动权，它具有Ad hoc属性，就是说暂时性的需要，后续不再使用，比如搜索到某个关键字的文档后，这个关键字就不再被使用 查询和浏览的区别：查询是用户知道搜索什么， 浏览是将内容放置供人查看，而不是查询 类似推荐系统的Push模型：系统拥有主动权，一个良好的推荐系统能够给用户推送它真正需要的信息 文本获取的方式 用户给定查询关键字在既有的数据集里头搜索出想要的结果以供浏览 文本获取的方式一般有两种： 第一是 document selection，即根据某种函数f给查询q和文件d作用后的结果来分类，[f(q,d)=1 / 0]，明确把文档分隔开，要么完全相关，要么完全不相关 ； 第二是 Ranking，它是计算相关性，并依次排列顺序，关键在于如何说明某个文件的相关性比另一个的相关性更大，当相关性大于某个阈值的时候就返回匹配的文件[ f(q,d)>THETA] 文本获取(Text Term）向量的方式来代表一个 doc/query，每一个Term都可以是不同的概念，每一个又代表不同的维度，N term代表N维，对于一个Query vector来说，它可以表示为q=(x1,x2,x3…

文本主题模型之潜在语义索引(LSI)

　　　　在文本挖掘中，主题模型是比较特殊的一块，它的思想不同于我们常用的机器学习算法，因此这里我们需要专门来总结文本主题模型的算法。本文关注于潜在语义索引算法(LSI)的原理。 1. 潜在语义索引(LSI)概述 　　　　潜在语义索引(Latent Semantic Indexing,以下简称LSI)，有的文章也叫Latent Semantic  Analysis（LSA）。 3. LSI简单实例 　　　　这里举一个简单的LSI实例，假设我们有下面这个有10个词三个文本的词频TF对应矩阵如下： ? 　　　　 而从$V_k$可以看到3个文本和两个主题的相关性。大家可以看到里面有负数，所以这样得到的相关度比较难解释。 4. 对于问题3），牛人们整出了pLSI(也叫pLSA)和隐含狄利克雷分布(LDA)这类基于概率分布的主题模型来替代基于矩阵分解的主题模型。 　　　　

lucene给文本索引和搜索功能的应用

lucene允许你往程序中添加搜索功能，lucene能够把你从文本中解析出来的数据进行索引和搜索 ，lucene不关心数据来源 甚至不关心语种，不过你需要把它转换成文本格式。 也就是说你可以搜索 html网页，文本文档，word文档 ，pdf，或者其他一些 总之 只要能够提取出文本信息的即可。 ， 而每个field相当于我们的表名 ，它能够对文本进行自动处理去掉里面的一些语气词，它能把你规定的域当作关键词来进行索引 以备查询时使用，lucene比较容易使用 ，但是不如数据库灵活，速度很快。 IndexSearcher is = new IndexSearcher(reader); //3 QueryParser parser = new QueryParser list.add(doc.get("contents")); } reader.close(); return list; } } //这里我主要给文档中的文本进行添加了索引

文本操作3(cut,sort)

需求 检查当前系统中的各种shell程序，统计出它们各被多少用户所使用，并把统计结果按照从多到少排序打印出来 解决方案 每个用户所使用登录的shell都保存在系统文件/etc/passwd中，我们已经知道这个文件中每一行对应一个用户的信息，并且最后一个字段就是这个用户所使用的shell程序。因此可以使用cut命令提取shell程序的字段，在通过sort命令进行合并，然后使用uniq命令统计各个shell的使用次数，最后通过sort命令对数字进行排序。 #cut命令从文件中的每一行数据中剪切出一部分 #sor

维护索引（3）——通过重建索引提高性能

前言： 重建一个索引只是在内部删除并重建索引，使得碎片消失、统计信息更新、物理顺序重新排列组织。它会压缩数据页，按照填充因子填充适当的数据。如果有需要，也会添加新的数据页。 准备工作： 首先先要决定是否达到了重建索引的临界值。否则，重组索引会更好。当碎片超过30%，那么重建索引会比较好。 重建索引有两种方式，在重建之前应该考虑使用哪种会更好： 1、 脱机：脱机重建索引是默认选项。它会锁住整个表，知道重建结束，没有人可以访问这个表。如果表非常大，这将持续几个小时甚至更久。 注意：是否联机重建索引只有开发版和企业版可用。其他版本只有脱机重建。 因为重建大表索引会非常耗时，所以不要不耐烦并停止重建操作，这样会引起一些危险的后果，并可能使得数据库进入恢复模式。 重建索引需要有sysadmin、db_onwer或者db_ddladmin角色。

MySQL-索引优化篇(3)_利用索引优化锁

---- 利用索引优化锁 为什么索引能优化锁 Innodb采用的行级锁，只有在修改行时才会对需要修改的行加锁。 但是这种情况只有在Innodb层过滤掉不需要的行是才有效。 所以利用索引可以过滤掉不需要的数据， 使用索引的话，仅需要锁定被索引检索出来的数据，而不是锁定全部数据，从而达到优化锁的目的。 索引可以减少锁定的行数 索引可以加快处理速度，同时也加快了锁的释放 ---- 演示 举个例子 （演示锁， 肯定需要两个会话了） 无索引的情况 （获取不同的数据 发生了阻塞） session 1 : mysql 1 row in set, 1 warning (0.00 sec) ERROR: No query specified mysql> mysql> begin ; # Step3 HUMPHREY | WILLIS | 2006-02-15 04:34:33 | +----------+------------+-----------+---------------------+ 3

文本获取和搜索引擎的概率模型

coursera课程 text retrieval and search engine 第四周 推荐。

3.联合索引、覆盖索引及最左匹配原则|MySQL索引学习

的索引被使用的前提下，tcol02的索引才会被使用。 `t3` ( `id` int(11) NOT NULL AUTO_INCREMENT, `tcol01` tinyint(4) DEFAULT NULL, `tcol02` smallint 情况3：下面的SQL用不到索引 [root@GreatSQL][test]>explain SELECT /* NO_CACHE */ * FROM t1 WHERE tcol02=167; +---- 那么就可以使用到覆盖索引的功能，查询数据无需回表，减少随机IO。 3.效率高。多列条件的查询下，索引列越多，通过索引筛选出的数据就越少。 3.尽量避免>、<、between、or、like首字母为%的范围查找，范围查询可能导致无法使用索引。 4.只筛选需要的数据字段，满足覆盖索引的要求，不要用 select * 筛选所有列数据。

文本获取和搜索引擎之推荐系统

推荐系统即把恰当的内容推送给用户，类似于在一系列文档中过滤出用户想要的。一般有两种方式:

「Mysql索引原理（十四）」索引案例3-优化排序

对于那些选择性非常低的列,可以增加一些特殊的索引来做排序。 例如,可以创建(sex，rating)索引用于下面的查询: mysql> SELECT <cols> FROM profiles WHERE sex=‘M’ ORDER BY rating LIMIT 10; 这个査询同时使用了ORDER BY和LIMIT，如果没有索引的话会很慢。 即使有索引，如果用户界面上需要翻页，并且翻页翻到比较靠后时査询也可能非常慢。 优化这类索引的另一个比较好的策略是使用延迟关联，通过使用覆盖索引查询返回需要的主键，再根据这些主键关联原表获得需要的行。这可以减少 MySQL扫描那些需要丢弃的行数。

HTML4.01规范-文本(3)

For example, consider this sentence: 例如：在西方语言中，文本应该只在空格的地方进行折行。 could be from a bill to change the legislation for how many deputies a County Sheriff can employ from 3 下的的例子来自对一个州可以拥有的雇员数的修订，将原来的3个雇员修订为5个。

A Sheriff can employ 35 deputies. 用户代理应该以显著的方式来展现插入的以及删除的文本。例如，插入的文本可以采用特殊的字体，删除的文本可以不显示或者以删除线亦或者用特殊的标记等。 For example: 对于INS和DEL元素，作者也可以用title属性来为插入和删除的文本做注释。用户代理会将信息展示给用户（例如，作为弹出提示）。

3 C++ Boost 字符,文本

3 C++ Boost 字符,文本 目录: 字符与数值转换 Boost format函数 简单实用 Boost format 输出人员信息 小案例 Boost format 数字处理 Boost format s2 = oss.size(); oss << r.d_ ; s3 = oss.size(); n = w - s3; if(n <= 0) { os.write(oss.begin(), fmter.clear_binds();  cout << fmter % 1 % 2 % 3; //          prints  "1 2 3 0x2 1 \n" // setting 0x2 77  1 2 3 0x2 1  1 2 3 0x2 1  |    7|  |7| ro        u. 000001 XXX2 1 XXX2 0x0000ffffff9c [-0018  iterator_range<string::iterator> head=find_head( str1, 3 ); cout << "head(3) of the str1: " << string

索引的数据结构（3）

3. 叶子节点包括 k-1 个关键字（叶子节点没有孩子），k 的取值范围为 [ceil(M/2), M]。 4. 上面那张图所表示的 B 树就是一棵 3 阶的 B 树。 我们可以看下磁盘块 2，里面的关键字为（8，12），它 有 3 个孩子 (3，5)，(9，10) 和 (13，15)，你能看到 (3，5) 小于 8，(9，10) 在 8 和 12 之间，而 (13，15 按照指针 P1 找到磁盘块 2，关键字为（8，12），因为 9 在 8 和 12 之间，所以我们得到指针 P2； 3. 3. 非叶子节点仅用于索引，不保存数据记录，跟记录有关的信息都放在叶子节点中。而 B 树中， 非 叶子节点既保存索引，也保存数据记录 。 4.

python3 - 文本读音器

本篇分享的是使用python3制作一个文本读音器，简单点就是把指定的文本文字转语音说出来；做这么个小工具主要是为了方便自己在平时看一些文章眼累的时候，可通过语音来帮助自己，当然如果你是小说迷，可以扩展成一个小说读音器 1 pip install pyttsx3 这里我选择了pyttsx3工具，其实百度的语音接口很不错，不过有些麻烦，我们姑且忽略；先安装python的文字转语音的工具pyttsx3，来简单封装一个文字转语音的方法 ： 1 import pyttsx3 2 3 class ttsx(object): 4 def __init__(self,rate=-10): 5 self.rate 1,columnspan=4) 19 20 self.tk.mainloop() 再者通过filedialog并增加一个按钮事件来达到选择电脑磁盘中的某个文件，并读取txt内容显示在文本框中 ，并调用读音方法就行了： 1 #读取txt中文本 2 def readTxt(self): 3 strTxt = self.txt.get(0.0,"end") 4

python3 文本变图片

python3下的PIL叫做 pillow python -m pip  install pillow 创建目录 fonts，把微软雅黑字体放到下面。msyh.ttf #! coding: utf-8 -*- import os from  PIL  import   Image,ImageFont,ImageDraw l = [1,23,4] text = u"这是一段测试文本

CSS3文本

nowrap 文本不会换行，文本会在在同一行上继续，直到遇到 标签为止。 pre-wrap 保留空白符序列，但是正常地进行换行。 pre-line 合并空白符序列，但是保留换行符。 3、text-shadow text-shadow 属性向文本添加一个或多个阴影。 text-shadow: x轴(X Offset) y轴(Y Offset) 模糊半径(Blur) 颜色(Color) 和box-shdow很像，可以设置偏移、颜色、阴影大小 text-shdow: 2px 2px 3px 0 #444; color: #fff; text-shadow: 1px 1px rgba(197, 223, 248,0.8),2px 2px rgba(197, 223, 248,0.8),3px 3px rgba(197, 223, 248,0.8),4px 4px rgba(197, 223, 248,0.8),5px 5px rgba(197, 223, 248,0.8),6px 6px

MySQL 中的全文索引：强大的文本搜索利器

一、什么是全文索引？全文索引是一种特殊类型的索引，它允许我们在文本字段中进行快速的全文搜索。 与传统的索引不同，全文索引不是基于特定的列值进行索引，而是对文本内容进行分析和索引，以便能够快速地找到包含特定关键词的记录。 二、全文索引的工作原理 文本分析 当我们在 MySQL 表中创建全文索引时，MySQL 会对被索引的文本字段进行分析。 经过分析后的文本被存储在全文索引中，以便后续的搜索操作。 索引构建 在分析完文本后，MySQL 会构建全文索引。全文索引通常是一种倒排索引结构，它将每个单词与包含该单词的记录列表相关联。 MySQL 中的全文索引是一种非常强大的功能，它可以帮助我们在大量文本数据中进行快速的全文搜索。

文本获取和搜索引擎中的反馈模型

coursera课程 text retrieval and search engine 第五周 推荐。

【干货】Elasticsearch的索引性能优化（3）

创建索引的API允许实例化一个索引。Elasticsearch能够为多个索引，包括跨索引的操作提供支持。每个创建的索引都有与其关联的单独配置。 localhost:9200/my_index -d '{ "settings" : { "index" : { "number_of_shards" : 3, 索引别名API允许为一个索引起一个别名，并且所有的API会自动将别名转换为对应的索引。一个别名也可以同时映射到多个索引，当指定别名时，它会自动扩展到所有的对应的索引。 3 启用专门的数据节点 数据节点包含了建立索引的文档所在的分片。数据节点处理与数据相关的操作比如GRUD、搜索、聚合。这些操作属于I/O、内存和CPU密集型。 英文原文：https://qbox.io/blog/maximize-guide-elasticsearch-indexing-performance-part-3