《PostgreSQL 在资源搜索中的设计 - pase, smlar, pg_trgm - 标签+权重相似排序 - 标签的命中率排序》
《PostgreSQL结合余弦、线性相关算法 在文本、图片、数组相似...以上转化为数据库的需求:
输入查询请求, 快速得到所有与查询请求相关的结果
每条结果应该有一个相关性得分
首先需要对知识进行切分, 切分方法举例:
句子
token 数
段落
overlap
特殊格式(...需要注意, 量化后, 需要做到对量化后的值进行排序和原始值排序结果对比的误差较小....创建3种类型的索引: 标量、全文检索、向量检索
每种条件使用一条查询, 并对查询结果按设定权重计算得分....UNION所有条件的结果, 去重, 并按得分对结果排序, 取出top-n
使用 reranking 模型排序, 取出top-k
5、提高写入效率
图索引的实时写入延迟较大, 因为写入对原图的结构由影响.