- 综合排序
- 最热优先
- 最新优先
- 来自专栏Reinvent Data Science
Milvus 实战 | 基于 Milvus 的图像查重系统
本项目基于深度学习的方法，通过 ResNet 模型推理得到图像的特征向量，并利用 Milvus 构建图像特征向量库。同时，Milvus 会自动为向量构建索引。 Milvus 适用于多种场景，与深度学习相融合的架构如下图所示： ? 本项目使用 docker 启动 GPU 版本的 Milvus 服务。 用户上传的图像数据将被转化为特征向量并导入 Milvus 库。Milvus 根据具体参数（如索引类型、向量维数等）对特征向量进行存储并建立索引。 用户在 Milvus 中对向量进行检索，检索时 Milvus 使用余弦距离进行计算并返回 top-k 个结果。 Milvus 提供丰富的文档资料，便于用户上手。此外，Milvus 的用户交流群帮助用户在遇到问题时获得及时的反馈，保证了卓越的用户体验。
2.6K10发布于 2020-12-16 - 来自专栏云同步
Windows 安装 Milvus
说明 操作系统：Window 中间件：docker desktop Milvus：Milvus Standalone（单机版） 安装 docker desktop 参考：Window、CentOs、Ubuntu 安装 docker-CSDN博客 安装 Milvus 参考链接：Run Milvus in Docker (Linux) | Milvus Documentation 1）以超级管理员的方式启动 PowerShell system32，运行下载安装脚本，就会在这个路径下 # 想要保存的路径 cd 路径 2.2）下载安装脚本 Invoke-WebRequest https://raw.githubusercontent.com/milvus-io /milvus/refs/heads/master/scripts/standalone_embed.bat -OutFile standalone.bat 3）执行启动命令 .
1.1K01编辑于 2025-08-01 - 来自专栏Reinvent Data Science
Chat with Milvus #24 回顾-Milvus 数据管理
Milvus 进行查询操作时，必须要获知各个数据文件在物理存储上的位置以及状态信息，包括所属集合、包含的实体条数、文件的大小、全局唯一的标识、以及创建日期等等。我们将这些信息称为元数据。 为了避免此问题，Milvus 会在需要的时候触发后台段合并任务，即把小数据段合并成新的数据段，并删除小数据段、更新元数据。其中，新数据段的大小不低于 index_file_size。
61620发布于 2020-08-27 - 来自专栏milvus数据库
milvus源码编译
编译环境os:ubuntu22.04.6 live-server，x64gcc:9.4.0cmake:3.24.0go:1.18.10milvus: v2.3.2操作系统建议使用ubuntu。 下载milvus源码:https://github.com/milvus-io/milvus/archive/refs/tags/v2.3.2.zip源码包拷贝至/mnt目录cd /mntunzip milvus make milvus这个阶段会耗时很长。执行完成后会产生一个二进制文件:bin/milvus产生的库文件位置:internal/core/output/lib至此milvus的源码编译完成。
66740编辑于 2023-11-11 - 来自专栏数据库开发优化
Milvus 存算分离系列-1：milvus架构简介
本系列会简介milvus的存算分离架构，结合具体问题场景聊一些作者对这个概念的看法。 Milvus 存算分离整体架构由于向量查询的“重索引”“重计算”特型， milvus的存算分离有两层含义：生成存储文件和查询计算的进程分离如下图，整个milvus的读写流程是：proxy将msg写入message milvus的segment是immutable的，所以天然地支持‘一写多读’。那么Milvus是怎么对表格进行查询的呢？ Milvus分布式查询架构&&前置概念首先明确几个概念：Proxy：milvus查询代理，负责和client直接交互QueryNode: milvus的worker node，查询真正发生的进程QueryCoord : 查询协调节点，负责管理所有的QueryNodeCollection: Milvus集合，简单地可以裂解为数据库表Segment: Milvus的Query Unit, 可以理解为Milvus的数据分片
1.5K30编辑于 2023-09-17 - 来自专栏Reinvent Data Science
Chat with Milvus #10 回顾- Milvus 性能指标
如果你不知道 Milvus 性能指标要怎么看或是在哪里看的话，可以看此视频 ? - Milvus 的顾老师教你怎么看 Milvus 性能报告与如何达到最佳性能。 顾老师 @ Milvus： 对，暂时还没有一个在Milvus这一层提供一个共享数据服务的计划。 User A： 好的。 顾老师 @ Milvus： 全库的话...这样的机会会很多吗？ User B： 现在不多。 顾老师 @ Milvus： 你的活动大概有多少个不同的活动？ ---- 顾老师 @ Milvus： 请问大龙是能不能介绍一下，您这边大概是一个主要关注Milvus在一个什么样的方面？ 顾老师 @ Milvus： 我们的向量数据是存在Milvus自己里面的，然后我们会对向量上面再建索引文件，因为这那部分都在是由Milvus来完成的，而不是借助以下的其他的数据库来做存储和索引。
1.5K20发布于 2020-05-06 - 来自专栏Reinvent Data Science
Milvus 实战｜基于 Milvus 的图文检索系统
Milvus Milvus 是一款开源的向量相似度搜索引擎，可与多种 AI 模型相结合。 Milvus 适用于多种场景，与深度学习相融合的架构如下图所示： ? 采用 Milvus 的数据处理流程包括以下几个步骤： 1. 与深度学习模型相结合，将非结构化数据转化为特征向量。 2. 插入目标图像的特征向量： 将数据集中所有目标图像的特征向量存储至 Milvus 中。Milvus 对特征向量建立索引，并生成对应的 ID。将 ID 和对应特征向量存储于 MySQL 中。 特征向量间的相似度检索： Milvus 对多模态特征向量和 Milvus 库中目标图像的特征向量进行相似度计算，返回最为相似的图片 ID 。 更多应用场景，详见 Milvus 应用场景（https://milvus.io/cn/scenarios）。
3.4K30发布于 2021-05-17 - 来自专栏Reinvent Data Science
Milvus 实战 | 基于 Milvus 的食谱检索系统
本文将介绍如何使用 Milvus 实现一个通过食物图片查询相应食谱的跨模态检索系统。 这个项目主要用到了 im2recipe 模型、Milvus，以及 MySQL 数据库。 im2recipe 模型的 GitHub 仓库地址：https://github.com/torralba-lab/im2recipe-Pytorch Milvus Milvus是一款开源的向量相似度搜索引擎 数据导入时，将食谱通过模型 im2recipe 转化为向量，将向量导入 Milvus 中，Milvus 会返回和向量一一对应的一个 id ，然后将向量 id 和对应的食谱信息存入 MySQL 中，如下图蓝色线表示的过程 导入食谱向量 将食谱向量和对应的 milvus_id 导入 Milvus 中，然后通过 milvus_id 在食谱的原始数据中找到该 id 对应的其它相关的信息导入 MySQL。
1.4K10发布于 2020-12-02 - 来自专栏Reinvent Data Science
Milvus 实战 | Milvus 与 BERT 搭建文本搜索
本文的项目是将 Milvus 与 BERT 模型结合搭建文本搜索引擎，使用 BERT 模型将文本数据转成向量，结合 Milvus 特征向量相似度搜索引擎可以快速搜索相似文本。 Milvus 集成了这些向量索引库，对外提供了一套简单而一致的 API 。除了提供针对向量的近实时搜索能力外，Milvus 可以对标量数据进行过滤。 安装 Milvus Milvus 提供两个发行版本：CPU 版本和 GPU 版本。为了得到更优的查询性能，项目中使用的是 GPU 版本。具体安装方法参考 Milvus 文档。 2. Milvus 向量相似度检索引擎可以兼容各种深度学习平台，搜索十亿向量仅需毫秒响应时间。你可以使用 Milvus 探索更多 AI 用法！ /cn/scenarios/ | 欢迎加入 Milvus 社区 github.com/milvus-io/milvus | 源码 milvus.io | 官网 milvusio.slack.com |
3.3K20发布于 2020-08-05 - 来自专栏Reinvent Data Science
Milvus 实战｜利用 Milvus 搭建基于图的推荐系统
本文将为大家介绍如何利用 Milvus 搭建基于图的推荐系统。 # Load data to Milvus and MySQL status, ids = milvus.insert(milvus_table, h_item) load_movies_to_mysql (milvus_table, ids_info) 4. # Get embeddings that users like _, user_like_vectors = milvus.get_entity_by_id(milvus_table, ids) # 社区 github.com/milvus-io/milvus | 源码 milvus.io | 官网 milvusio.slack.com | Slack 社区 zhihu.com/org/zilliz
2.1K20发布于 2020-09-24 - 来自专栏Reinvent Data Science
Milvus 实战 | 使用 Nginx 实现对 Milvus 的负载均衡
1.2 Milvus Milvus 是一款开源的分布式向量相似度搜索引擎。 Milvus 官网：https://milvus.io/cn/docs/milvus_docker-gpu.md ? 在服务器 1 上安装 Milvus1 和 Milvus3。 在配置文件的末尾添加如下代码：对 Milvus1 和 Milvus2 两个读节点进行轮询。 欢迎加入 Milvus 社区 github.com/milvus-io/milvus | 源码milvus.io | 官网zhihu.com/org/zilliz-11| 知乎zilliz.blog.csdn.net
1.5K30发布于 2021-04-26 - 来自专栏Reinvent Data Science
Milvus 2.0 Knowhere 概览
另外，从 Milvus 2.0.1 开始，广义的 Knowhere 已从 Milvus 项目中剥离出来，成为了一个单独的项目。 作为一个 AI 数据库，Milvus 的运算可以分成标量运算和向量运算。Knowhere 只负责处理向量运算。 上图是 Knowhere 模块在 Milvus 项目中的架构图。 Milvus 数据模型 首先介绍 Milvus 的数据模型。 时就需要为每种指令集编译特定的 Milvus 镜像，用户在使用时也必须根据硬件环境选择特定的 Milvus 镜像。 这就给 Milvus 发行和用户使用带来了不便。
98910编辑于 2022-05-25 - 来自专栏Reinvent Data Science
Milvus 线上问答#14- Milvus 非结构数据服务(UDS)概述
这次我们对 Milvus 做了一个简单的概述，让大家可以更清楚 Milvus 是怎样的数据平台，以及 Milvus 长远的目标为何。完整的会议实录请点击视频。 顾老师 @ Milvus： 对，是的。 顾老师 @ Milvus： 对，其实这个映射的关系现在可以不放在 Milvus ，你可以自己去维护。 然后你们先通过 Milvus 然后返回 vector ID，然后再到对象存储里边，然后把这些实际的对象给大家映射出来。 顾老师 @ Milvus： 对，是的。 顾老师 @ Milvus： 其实刚才有一页当中我没有讲，就是说 Milvus 要做的事情是要提供一个非结构数据服务，它其实有更多的工作要去做的。
78320发布于 2020-06-12 - 来自专栏Reinvent Data Science
Milvus 2.1.x 到 Milvus 2.2.x 升级实践
本文以 Milvus 2.1.4 升级到 Milvus 2.2.0 为例进行介绍，因为 2.1.0 到 2.1.4 之间的所有版本，数据和接口都是兼容的，所以其他 2.1.x 版本的升级都是类似的。 所以，部署侧升级的核心工作就是将 Milvus 2.1.4 的元数据结构修改为 Milvus 2.2.0 的元数据结构，并用新的 Milvus 2.2.0 镜像启动 Milvus 的各个组件。 单机版 分布式 #02 接口侧升级 API 层面，为了统一社区三大官方 SDK（Python SDK、Java SDK、Go SDK）的行为，以及统一用户对 Milvus 的使用规范，Milvus () hello_milvus.search(...) 50+%，具体信息可以参考 Milvus 官网上的 Benchmark：https://milvus.io/docs/benchmark.md。
1.3K20编辑于 2023-01-10 - 来自专栏milvus数据库
milvus的delete操作
milvus的delete操作milvus版本:v2.3.2milvus支持delete操作。 使用python sdk代码如下：from pymilvus import ( connections, Collection,)print("start connecting to Milvus ")connections.connect("default", host="192.168.230.71", port="19530")hello_milvus = Collection("hello_milvus "Start delete entities")expr = "pk in [446576772095935668,446576772095935667]"delete_result = hello_milvus.delete
48310编辑于 2023-12-26 - 来自专栏Reinvent Data Science
Milvus 2.2 版本发布！
基于角色的访问控制（RBAC） 与其它传统的数据库类似，Milvus 现已支持 RBAC。您可以通过管理用户、角色和权限实现对 Milvus 数据库的访问控制。 集合生存时间（TTL） 在之前的版本中，Milvus 仅支持设置集群层级的 TTL。Milvus 现已支持在创建或修改集合时设置该集合的 TTL。 向 Milvus 社区贡献了数据备份恢复工具。Milvus 2.2.0 现已支持使用命令行和调用 API 的方式实现数据库备份和恢复能力。 调试工具 Milvus 进一步优化了 BirdWatcher[9] 调试工具。该工具现已支持连接 Metadata 存储并检查 Milvus 部分系统内部状态。 [10] 升级文档: https://milvus.io/docs/v2.2.x/upgrade_milvus_cluster-helm.md
1.4K20编辑于 2023-01-10 - 来自专栏Reinvent Data Science
Milvus 查询合并机制
| 查询请求队列 Milvus 的连接层使用 gRPC 对外提供 RPC 服务，以及 oatpp 框架对外提供 RESTful 服务。 | 查询合并 为了提高 QPS（Query Per Second)，从 0.8.0 版本开始，Milvus 在接收到查询请求后，会尝试对查询请求做合并处理。 查询请求的合并允许多个合并，具体能够合并的请求数目由 Milvus 运行时的状态决定。 import Milvus, IndexType from milvus.client.types import MetricType SERVER_ADDR = "127.0.0.1" SERVER_PORT import Milvus, IndexType from milvus.client.types import MetricType SERVER_ADDR = "127.0.0.1" SERVER_PORT
1.7K20发布于 2020-07-22 - 来自专栏Reinvent Data Science
Milvus之WAL介绍
Milvus 是一款开源的特征向量相似度搜索引擎，在2020-03-11我们发布了版本0.7.0。 | 背景 我们先回顾一下之前版本数据插入的流程：当用户往 Milvus 系统中插入数据时， Milvus 会先把数据攒在内存里，然后当内存数据达到一定规模（默认128M）或者定时器超时（默认1s）后，内存数据再排队刷入磁盘 Milvus为用户的每次修改操作分配一个 LSN，这些 LSN 随用户的操作数严格递增。 Milvus 在这里使用了双缓冲区。 | 欢迎加入 Milvus 社区 github.com/milvus-io/milvus | 源码 milvus.io | 官网 milvusio.slack.com | Slack 社区 zhihu.com
98941发布于 2020-04-15 - 来自专栏Reinvent Data Science
Milvus 迁移升级攻略
如果两个版本的 Milvus 数据兼容，升级时可以直接将老版本 Milvus 的 db 目录拷贝出来，在启动新版本 Milvus 时，直接映射老版本的 db 目录。 升级服务端 服务端升级，主要是指对 Milvus Docker 进行升级，通过拉取官方提供的对应版本的 Milvus Docker 镜像，利用docker run命令启动 Milvus 服务端。 | 将Milvus 从有网环境迁移到内网环境 对于在有网环境测试但需要在内网环境部署的场景，可以通过内网安装 Milvus 服务端、内网安装 Milvus 客户端、拷贝 Milvus 目录三个步骤来实现有网环境到内网环境的迁移 内网安装 Milvus 服务端 官方推荐使用 Docker 的方式部署 Milvus 服务端，所以本文主要介绍如何内网安装 Docker 版本的 Milvus。 内网安装 Milvus 客户端 Milvus 提供了多种语言的客户端，以下主要介绍如何在内网环境中安装 Milvus Python 客户端 pymilvus。
1.6K40发布于 2020-09-16 - 来自专栏Reinvent Data Science
Milvus 编译环境演进
为了让更多的开发者顺利地在本地开发 Milvus，以上问题急需解决。 于是在 https://github.com/milvus-io/milvus/pull/17502[2] 里引入了 pkg-config[3] 管理 library 和 header 路径。 所以在 https://github.com/milvus-io/milvus/pull/19920[5] 中尝试将 conan 引入作为包管理器。 以上就是关于 Milvus 编译环境的演进过程。我们希望通过不断地优化和改进，帮助用户更方便地使用 Milvus，更放心、更简单地享受到向量检索、召回的价值和乐趣！ /milvus/pull/17502: https://github.com/milvus-io/milvus/pull/17502 [3] pkg-config: https://en.wikipedia.org
2K30编辑于 2023-01-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号