首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何找到相似的结果并根据相似性进行排序?

问如何找到相似的结果并根据相似性进行排序?
EN

Stack Overflow用户
提问于 2010-07-26 20:49:48
回答 2查看 86.7K关注 0票数 76

如何查询按相似性排序的记录?

例如:搜索“股票溢出”将返回

  1. 堆栈溢出
  2. SharePoint溢出
  3. 数学溢出
  4. 政治溢出
  5. VFX溢出

例如:搜索"LO“将返回:

  1. pabLO picasso
  2. michelangeLO
  3. 杰克逊polLOck

我需要帮助的是:

  1. 使用搜索引擎对MySQL表进行索引和搜索,以获得更好的结果
代码语言:javascript
复制
- Using the [Sphinx](http://www.sphinxsearch.com/) search engine, with PHP
- Using the [Lucene](http://lucene.apache.org/) engine with PHP

​

  1. 使用全文索引查找类似的/包含字符串。

不好的事

​

  • LIKE返回更好的结果,但是对于长查询不返回任何内容,尽管类似的字符串确实存在。
    1. 狗
    2. 多吉德
    3. 教条主义
    4. 教条

​

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2010-07-26 21:08:30

我已经发现,当您针对另一个完整字符串搜索完整字符串时,Levenshtein距离可能是很好的,但是当您在字符串中查找关键字时,此方法不返回(有时)希望得到的结果。此外,SOUNDEX功能不适用于英语以外的语言,因此它是相当有限的。你可以用“喜欢”来逃避,但实际上是为了基本的搜索。您可能希望查看其他搜索方法,以了解您想要实现的目标。例如:

您可以使用卢塞尼作为项目的搜索基础。它是用大多数主要的编程语言实现的,而且非常快速和通用。这种方法可能是最好的,因为它不仅搜索子字符串,而且还搜索字母换位、前缀和后缀(全部合并)。但是,您需要保留一个单独的索引(使用CRON从独立的脚本中偶尔更新它)。

或者,如果您想要一个MySQL解决方案,那么完整的文本功能是非常好的,当然比存储过程更快。如果表不是MyISAM,则可以创建临时表,然后执行全文搜索:

代码语言:javascript
复制
CREATE TABLE IF NOT EXISTS `tests`.`data_table` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `title` varchar(2000) CHARACTER SET latin1 NOT NULL,
  `description` text CHARACTER SET latin1 NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8 COLLATE=utf8_bin AUTO_INCREMENT=1 ;

使用数据发生器生成一些随机数据,如果您不想自己创建它.

** 备注 **:列类型应为latin1_bin,以执行区分大小写的搜索,而不是对latin1不区分大小写。对于unicode字符串,我建议utf8_bin用于区分大小写,utf8_general_ci用于区分大小写的搜索。

代码语言:javascript
复制
DROP TABLE IF EXISTS `tests`.`data_table_temp`;
CREATE TEMPORARY TABLE `tests`.`data_table_temp`
   SELECT * FROM `tests`.`data_table`;

ALTER TABLE `tests`.`data_table_temp`  ENGINE = MYISAM;

ALTER TABLE `tests`.`data_table_temp` ADD FULLTEXT `FTK_title_description` (
  `title` ,
  `description`
);

SELECT *,
       MATCH (`title`,`description`)
       AGAINST ('+so* +nullam lorem' IN BOOLEAN MODE) as `score`
  FROM `tests`.`data_table_temp`
 WHERE MATCH (`title`,`description`)
       AGAINST ('+so* +nullam lorem' IN BOOLEAN MODE)
 ORDER BY `score` DESC;

DROP TABLE `tests`.`data_table_temp`;

从MySQL API参考页面上了解更多关于它的信息

这样做的缺点是,它不会寻找字母换位或“类似,听起来像”的词。

** 更新 **

使用Lucene进行搜索,您只需创建一个cron作业(所有web主机都有此“功能”),该作业只需执行PHP脚本(例如。将更新索引的"cd /path/to/script;php searchindexer.php")。其原因是索引了数千个“文档”(行、数据等)。可能需要几秒钟,甚至几分钟,但这是为了确保所有搜索都尽可能快地执行。因此,您可能希望创建一个要由服务器运行的延迟作业。这可能是一夜之间,或在下一个小时,这取决于你。PHP脚本应该如下所示:

代码语言:javascript
复制
$indexer = Zend_Search_Lucene::create('/path/to/lucene/data');

Zend_Search_Lucene_Analysis_Analyzer::setDefault(
  // change this option for your need
  new Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8Num_CaseInsensitive()
);

$rowSet = getDataRowSet();  // perform your SQL query to fetch whatever you need to index
foreach ($rowSet as $row) {
   $doc = new Zend_Search_Lucene_Document();
   $doc->addField(Zend_Search_Lucene_Field::text('field1', $row->field1, 'utf-8'))
       ->addField(Zend_Search_Lucene_Field::text('field2', $row->field2, 'utf-8'))
       ->addField(Zend_Search_Lucene_Field::unIndexed('someValue', $someVariable))
       ->addField(Zend_Search_Lucene_Field::unIndexed('someObj', serialize($obj), 'utf-8'))
  ;
  $indexer->addDocument($doc);
}

// ... you can get as many $rowSet as you want and create as many documents
// as you wish... each document doesn't necessarily need the same fields...
// Lucene is pretty flexible on this

$indexer->optimize();  // do this every time you add more data to you indexer...
$indexer->commit();    // finalize the process

然后,基本上是这样搜索(基本搜索):

代码语言:javascript
复制
$index = Zend_Search_Lucene::open('/path/to/lucene/data');

// same search options
Zend_Search_Lucene_Analysis_Analyzer::setDefault(
   new Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8Num_CaseInsensitive()
);

Zend_Search_Lucene_Search_QueryParser::setDefaultEncoding('utf-8');

$query = 'php +field1:foo';  // search for the word 'php' in any field,
                                 // +search for 'foo' in field 'field1'

$hits = $index->find($query);

$numHits = count($hits);
foreach ($hits as $hit) {
   $score = $hit->score;  // the hit weight
   $field1 = $hit->field1;
   // etc.
}

以下是Java、PHP和.Net中有关Lucene的优秀站点。

总结说,每种搜索方法都有各自的优缺点:

  • 您提到了狮身人面像搜索,它看起来非常好,只要您能够让deamon在您的web主机上运行。
  • Zend需要一个cron作业来重新索引数据库。虽然它对用户非常透明,但这意味着任何新数据(或已删除的数据!)并不总是与数据库中的数据同步,因此不会立即出现在用户搜索中。
  • MySQL全文搜索是好的和快速的,但不会给你所有的力量和灵活性的前两个。

如果我忘了/错过了什么,请随时发表意见。

票数 94
EN

Stack Overflow用户

发布于 2015-11-06 10:22:58

你对相似性的定义似乎是语义相似。因此,为了建立这样一个相似函数,您应该使用语义相似性度量。请注意,在这个问题上的工作范围可能从几个小时到几年不等,因此建议在开始工作之前确定范围。我不知道你有哪些数据来建立相似关系。我假设您可以访问文档数据集和查询数据集。你可以从单词的共现开始(例如,条件概率)。您很快就会发现,您得到的止词列表与大多数单词相关,因为它们非常受欢迎。使用条件概率的提升将处理停止词,但会使关系容易出现小数目错误(大多数情况下)。你可以试试夹克衫,但是由于它是对称的,所以会有很多关系是它找不到的。然后,您可以考虑那些只出现在离基词很近的地方的关系。你可以(而且应该)根据一般语料库(例如维基百科)和特定用户(例如他的电子邮件)来考虑关系。

很快你就会有很多相似的度量,当所有的度量都是好的并且比其他的有一些优势的时候。

为了把这些措施结合起来,我想把这个问题归结为一个分类问题。

你应该建立一个巴黎的数据集,并将它们标记为“是相关的”。为了构建一个大的标记数据集,您可以:

  • 使用已知相关词的来源(例如,良好的旧维基百科类别)来表示肯定。
  • 大多数不被称为关联的词是不相关的。

然后使用所有的度量作为对的特征。现在您正处于监督分类问题的领域。在数据集上构建一个分类器,根据您的需要进行评估,并获得一个适合您需要的相似性度量。

票数 4
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/3338889

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档