首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏零基础自学Java

    【微服务】163:搭建搜索服务

    学习计划安排如下: 正式开始在项目中实现搜索相关的功能,也就是elasticsearch的应用。 关于搜索,会将其独立成一个微服务。 任务量比较大,估计要花个几天的时间。 当然关于具体的数据格式分析,文章后面会详细说明到,首先从微服务搭建开始。 一、搜索服务搭建 可以使用spring脚手架搭建,这个昨天刚说明过,也可以自学创建Maven项目。 ①eureka客户端依赖 搜索服务要在注册中心完成注册。 ⑥商品微服务实体类 这是我们商品微服务中拆分的实体类,因为经常需要被其它各种微服务调用,所以将商品微服务拆分成了pojo和service两个子模块。 2yam配置文件 ? ①指定服务对应的端口 ②给搜索服务取一个名称。 ③elasticsearch相关配置 利用cluster-nodes说明自己装在虚拟机中的elasticsearch对应的ip加上端口号。

    1.3K30发布于 2020-09-28
  • 来自专栏技术一号位指南(小诚信驿站)

    系统设计:Twitter搜索服务

    需求 Twitter是最大的社交网络服务之一,用户可以在其中共享照片、新闻和基于文本的消息。在本章中,我们将设计一个可以存储和搜索用户推文的服务。类似的问题:推特搜索。 难度:中等 1.什么是Twitter搜索? Twitter用户可以随时更新他们的状态。每个状态(称为tweet)都由纯文本组成,我们的目标是设计一个允许搜索所有用户推特 的系统。 •假设每天有5亿次搜索。 •搜索查询将由多个与和/或组合的词组成。我们需要设计一个能够高效存储和查询推文的系统。 这个索引将帮助我们快速找到用户试图搜索的推文。 image.png Twitter搜索的高级设计 6.详细部件设计 1.存储: 我们每天需要存储120GB的新数据。 为了解决这个问题,可以放置一个更智能的LB解决方案,定期向后端服务器查询负载,并根据负载调整流量。 10.排名 如果我们想按社交图距离、流行度、相关性等对搜索结果进行排名,那又如何?

    5.8K400编辑于 2021-12-05
  • 来自专栏颍川

    Solr搜索服务的搭建(Liunx)

    Solr 搜索服务的搭建 总结一下solr 搜索服务的搭建 环境准备 需要JDK1.5以上版本,最新版的solr已经内置了tomcat ,无需准备可直接运行 Liunx 环境(这里我选用的是Centos6.5 如上图所示: name :为CORE的名字 ,instanceDir :为CORE 服务器路径的目录名(可以与name 不同) 如图箭头所指的目录需要自己在solr\server\solr目录下创建

    1K10发布于 2019-11-20
  • 来自专栏机器学习原理

    用jina快速构建搜索服务

    神经搜索工具 特定语法 excutor 编写自己的flow; class MyExecutor(Executor): @requests def foo(self, docs: DocumentArray np.random.random([10, 2])) flow 提供api接口,定义好输入输出,比较灵活; 一个项目可以由多个flow共同决定 可以将写好的flow放到hub上快速加载 Hub Jcloud 示例: 01:搜索系统 02构建PDF搜索系统 流程 准备pdf数据 解析pdf;准备pdf解析flow 文本处理以及分局分词 embedding 构建索引 构建输入的flow;进行匹配,返回最近的索引 from docarray name="indexer" ) ) flow.plot() with flow: docs = flow.index(docs, show_progress=True) # 构建搜索

    85220编辑于 2022-10-05
  • 来自专栏大数据-BigData

    GitHub代码搜索服务发展历史

    最近在做搜索相关的事情,也看到Github代码搜索的发展历程,不曾想其第一代搜索引擎上线居然是2008年(那一年刚上初一),或许是有时间的积淀与技术的进步才使得今天的我们在github上搜索代码可以如此方便 接下来我们一起来看看GitHub代码搜索服务发展历史。 一代目的搜索界面 一开始,GitHub 宣布支持代码搜索,正如您对标有“社交代码托管”标语的网站所期望的那样。 一切都很好。 将要点索引到 Elasticsearch 中以使其可搜索的初步试验显示出巨大的希望,不久之后显示这是 GitHub 上所有搜索的未来,包括代码搜索。 事实上,在 2013 年初,就在 Google 代码搜索即将结束之际,GitHub 推出了由 Elasticsearch 集群支持的全新代码搜索,整合了公共和私有存储库的搜索体验并更新了设计。 它支持对文档内容进行正则表达式搜索,并且可以捕获额外的元数据——例如,它还维护符号定义的索引。它满足了我们的性能目标:虽然总是有可能提出一个遗漏索引的病态搜索,但对于“真正的”搜索来说它的速度非常快。

    1.7K10编辑于 2022-01-18
  • 来自专栏罗超频道

    移动搜索定局,微信搜索能否靠“找服务”突围?

    前一个观点认为,移动搜索所连接的内容更多是线下实体,比如商铺的服务移动搜索所采取的交互会更多应用智能手机的视听能力,基于LBS、图像、语音和体感,与PC搜索完全是两回事。 对于百度而言,2015年将继续沿着“搜索服务化”这条路线行进。尤其是直达号这个整合第三方服务的基础框架,会被百度大力推进,嵌入越来越多的O2O服务。 在移动搜索上推出了独立App,与微信合作拿到独家内容成为亮点,不过还需要更加鲜明的定位和差异化的功能才行,就像百度“连接人与服务”一样。 由此可见,微信搜索真正想做的是“找服务”这件事。 如果说百度已经建立的传统搜索已经成为红海,通过入口找服务则还是一个蓝海市场,而且后者市场想象空间更大。 更何况张小龙在做好连接人与服务这件事之前不可能轻易踏入“全网搜索”这个领域,原因有四。

    98380发布于 2018-04-28
  • 来自专栏通往体面生活的路上

    服务 day11:基于 ElasticSearch 构建搜索服务

    2、分片 当我们的文档量很大时,由于内存和硬盘的限制,同时也为了提高 ES 的处理能力、容错能力及高可用能力,我们将索引分成若干分片,每个分片可以放在不同的服务器,这样就实现了多个服务器共同对外提供索引及搜索服务 3、副本 为了提高 ES 的高可用同时也为了提高搜索的吞吐量,我们将分片复制一份或多份存储在其它的服务器,这样即使当前的服务器挂掉了,拥有副本的服务器照常可以提供服务。 三、搜索服务开发 0x01 课程搜索服务需求分析 1、需求分析 ? 根据分类搜索课程信息。 根据关键字搜索课程信息,搜索方式为全文检索,关键字需要匹配课程的名称、 课程内容。 1、课程管理服务将数据写到 MySQL 数据库 2、使用 Logstash 将 MySQL 数据库中的数据写到 ES 的索引库。 3、用户在前端搜索课程信息,请求到搜索服务。 4、搜索服务请求 ES 搜索课程信息。 0x02 课程索引 1、技术方案 如何维护课程索引信息? 1、当课程向 MySQL 添加后同时将课程信息添加到索引库。

    2.6K20发布于 2020-08-05
  • 来自专栏全栈程序员必看

    8_搭建商城搜索服务

    搜索服务的父项目:supergo_search 1、建Module:supergo_search 2、删除src ---- 搜索服务的提供者:supergo_search_service9003 1、建 单节点为所谓,集群必须为 true,才能配合ribbon使用负载均衡 service-url: # 单机版:只用注册进一个服务中心【defaultZone: http://127.0.0.1 需要同时注册进每个注册中心 # defaultZone: http://eureka7001.com:7001/eureka/,http://eureka7002.com/eureka/ # 显示的服务主机名称 private String small_pic; @Field(type = FieldType.Float, store = true) private double price; } 搜索结果实体类 数据导入Es后,下面开始搜索服务的创建 先看京东的搜索方式: 在输入栏搜索“苹果”,会出现按不同方式的聚合结果 然后在分类栏,选择”苹果”, 对地址url进行转义解析: 本次也是使用类型方案:关键词使用查询

    83920编辑于 2022-09-12
  • 来自专栏AI科技时讯

    从头开始构建图像搜索服务

    那么,如何实际使用深度学习表示来创建搜索引擎呢?我们的最终目标是拥有一个搜索引擎,可以接收图像并输出相似的图像或标签,还能接收文本并输出类似的单词或图像。 为了实现这一目标,将经历三个连续的步骤: 根据输入图像搜索类似图像(图像→图像) 根据输入词搜索类似的单词(文本→文本) 为图像生成标签,并使用文本搜索图像(图像↔文本) 为此,将使用嵌入 之后就可以在嵌入中搜索类似的单词。 使用最少数据进行广义图像搜索。 首先从搜索dog这个词开始: 搜索dog术语的结果 结果相当不错,但是我们可以从标签上训练的任何分类器中都得到这个! 搜索ocean术语的结果。 模型了解ocean与water类似,并从boat类中返回许多物品。 搜索街道又会发生什么呢?

    1K30发布于 2019-08-16
  • 来自专栏零基础自学Java

    【微服务】168:搜索的前端页面分析

    学习计划安排,搜索相关的前端页面分析: 页面的头部栏。 搜索页面获取请求参数。 浏览器上做个简单的js代码测试。 至于发送请求和后台代码留待明天完成。 我们可以找到上述代码,这是其对头部栏的说明,而搜索就是属于头部栏的一部分。 头部栏是用自定义组件lyTop来实现的。 从上述代码可以看出是和top.js相关联的,也就是说要弄明白搜索相关的代码得去从top.js这个文件中找。 2top.js中搜索对应代码 ? ①找到搜索搜索框绑定了一个点击事件,点击搜索按钮时会调用search方法。 ②search方法 跳转search.html页面,同时携带参数key,这个key也就是在搜索框中输入的内容。 事实上除了href还有其它很多属性,在搜索中需要使用到search属性,也就是拼接的参数。 仔细观察上述的search会发现其还包含了一个问号,所以要将其处理掉。 搜索页面中代码编写 ?

    1.6K30发布于 2020-09-28
  • OpenClaw配置tavily搜索服务踩坑记录

    验证配置直接对话框让OpenClaw回答最新新闻即可问题我在实际使用中会遇到OpenClaw无法使用插件问题,感觉是AI在骗我,我最后把session全都使用/reset重置后问题就可以正常搜索

    7.1K50编辑于 2026-03-06
  • 来自专栏零基础自学Java

    【微服务】169:搜索页面的请求与响应

    学习计划安排如下: 昨天分析并编写了一部分搜索页面的代码。 今天补全发送请求的代码,并完成后台响应。 一、搜索页面发送请求 使用axios发送请求,当然为了后续方便,axios被封装到了自定义的common组件中。 因为都是要跨域到网关,所以需要在网关微服务中做好配置。 二、Java后台代码 1请求相关说明 ? ①请求参数 因为请求参数为json数据,所以创建一个实体类SearchRequest和其对应。 ③返回值 为商品分页数据,关于分页实体类很早的时候就配置在了common微服务中。 但凡是需要分页的,直接调用该实体类即可。 2service层代码 ? withQuery()对应搜索条件,QueryBuiders调用静态方法matchQuery说明match匹配。

    68620发布于 2020-09-29
  • 来自专栏腾讯云Elasticsearch Service

    腾讯云ES+SCF快速构建搜索服务

    搜索服务 搜索服务广泛地存在于我们身边,例如我们生活中用的百度,工作中用的wiki搜索,淘宝时用的商品搜索等,这些场景的数据具有数据量大、结构化、读多写少等特点,而传统的数据库的事务特性在搜索场景并没有很好的使用空间 ,方便快速搭建稳定的搜索服务。 本文将针对搜索场景,使用《腾讯云ES官方文档》作为语料,介绍如何使用腾讯云ES+SCF快速搭建搜索服务。先贴一个搜索服务界面: [image] 资源准备 只需要一个ES集群! 具体可以参考《节点类型存储配置建议》 部署搜索服务 我们使用腾讯云免费的SCF工具部署搜索服务的前端界面和后台服务 1 在云函数->函数服务界面左上角首先选择你购买ES集群的地域 [image] 2 新建一个函数服务 点击搜索框上方的文字,自动导入数据 [image] 9 至此,一个基于腾讯云ES的简单的问答搜索服务后台就部署完成了。开始你的搜索之旅吧!

    1.8K31发布于 2019-10-29
  • 来自专栏BeJavaGod

    搜索服务solr 一二事(1) - solr-5.5 使用自带Jetty或者tomcat 搭建单机版搜索服务

    开个玩笑,发音就是‘搜了’,专门用于搜索的一个开源框架,lunce就不说了,不好用,麻烦 来讲讲solr吧 目前最新更新的是6.0,4月7-8号更新的,哥不太喜欢用新出来的版本,多多少少会有bug,centos7 好,入正题 在solr5以后,自带了jetty作为服务器,可以自行启动,自带的要比曾经的solr4使用tomcat方便一点 cd solr5 进入后 如此运行: ? 启动solr ... 跪求送一把啊~~~) 那么8983就是搜索服务的端口啦 看到木有,启动成功了... 这logo我也就不说了,我当初的第一反应就是华为 ? 这边是一些版本信息: ?

    1K60发布于 2018-04-04
  • 来自专栏码农编程进阶笔记

    使用ElasticSearch服务从MySQL同步数据实现搜索即时提示与全文搜索功能

    这里用到的开源服务就是ElasticSearch。 ElasticSearch是一个非常好用的开源全文搜索引擎服务,同事推荐之前我并没有了解过,但是看到亚马逊专门提供该服务的实例,没有多了解之前便猜想应该是和Redis一样名声在外的产品,估计也是经得起考验可以用在生产环境中了 上网了解一番之后发现果然如此: 全文搜索属于最常见的需求,开源的Elasticsearch是目前全文搜索引擎的首选。它可以快速地储存、搜索和分析海量数据。 接下来执行 yum install elasticsearch 完成安装后,默认服务是仅仅本地可以访问,如果需要从另一台内网服务器访问,还需要打开监听范围。 pretty 如果能看到对应的信息,表示安装成功 安装LogStash 接着安装LogStash服务,这个服务用于汇总各类log日志信息到一个地方统一管理,而这里我们用到这个服务,是因为需要用它来实现数据从

    2.4K30发布于 2021-11-15
  • 来自专栏JVMGC

    汇聚70多个搜索服务的元搜索引擎

    SearXNG是一款创新的免费互联网元搜索引擎,为你提供来自 Google、Bing、Yahoo 等 70 多种各大视频、图片、搜索、磁力等网站结果展示,并对搜索结果进行优化。 为用户提供了一个全面而丰富的搜索体验。这款软件的显著特点在于其对用户隐私的严格保护,确保在搜索过程中用户不会被跟踪或分析个人数据。 此外,SearXNG支持HTML和JSON格式输出,便于与其他服务集成,并提供Tor网络支持,增强了用户的匿名性保护。 开源成就 目前已经获得10.4K Star 主要功能 聚合搜索:结合多个搜索引擎的数据,提供综合的搜索结果。 隐私保护:确保用户的搜索行为不被追踪和记录。 searxng docker run --name searxng -d -p 8080:8080 searxng/searxng 这将从Docker Hub拉取SearXNG的镜像,并在本地8080端口上运行服务

    1.3K10编辑于 2024-06-26
  • 来自专栏yl 成长笔记

    相似图像搜索从训练到服务全过程

    res_2 = image_index.search(temp_feat, k=5) logging.info('image search result is:' + str(res_2)) 四、构建服务 flask 开发 参考文档 http://docs.jinkan.org/docs/flask/quickstart.html#a-minimal-application 2、Gunicorn 异步,增加服务稳健性 3、Supervisor 部署监控服务 可参考以下文档 https://www.cnblogs.com/gjack/p/8076419.html 五、总结 项目到这个地方,基本的服务框架已经有了。

    1.3K30发布于 2018-09-12
  • 来自专栏EasyNVR

    视频上云网关服务平台EasyNTS“已删除”搜索框内搜索结果不准确问题修复

    EasyNTS平台正在进行界面的更新,但是发现当用户想要在设备列表的“已删除”一栏中按照条件搜索,未删除的设备也会被搜索出来。 对于此问题的解决,我们可以将db对象添加多个条件搜索,其中对于删除和未删除的状态检索需要放在最前面,这样可以避免和关键字搜索条件冲突。 代码示例: if pageForm.State ! %s", gorm.ToDBName(pageForm.Sort), strings.TrimSuffix(pageForm.Order, "ending"))) } 修改代码后,再次在“已删除”栏中搜索搜索结果已经恢复正常了。

    54020发布于 2020-11-12
  • 来自专栏BeJavaGod

    搜索服务Solr集群搭建 使用ZooKeeper作为代理层

    上篇文章搭建了zookeeper集群 那好,今天就可以搭建solr搜服服务的集群了,这个和redis 集群不同,是需要zk管理的,作为一个代理层 安装四个tomcat,修改其端口号不能冲突。

    1.1K30发布于 2018-04-04
  • 来自专栏cjz的专栏

    Docker服务搜索镜像命令(docker search 镜像名称)

    搜索镜像 #搜索镜像:从网络中查找需要的镜像 docker search 镜像名称 非root用户使用 #搜索镜像:从网络中查找需要的镜像 sudo docker search 镜像名称

    2.1K30编辑于 2022-12-21
领券