
在当今的大数据时代,非结构化数据正以指数级的速度增长,包括文本、图像、音频和视频等形式。要在这些数据中进行快速高效的搜索和管理,传统的关系型数据库往往显得力不从心。这种背景下,Milvus 作为一款专门为大规模向量搜索设计的开源数据库,得到了广泛应用。最新版本 Milvus 2.4 进一步巩固了它在行业中的领先地位。
Milvus 是一种新型的开源向量数据库,专门为存储和检索高维向量设计。它被广泛应用于图像检索、自然语言处理 (NLP)、推荐系统、视频分析和生物信息学等领域。Milvus 的核心是基于向量的近似最近邻(ANN,Approximate Nearest Neighbor)搜索技术,通过高效的索引机制,使得在高维空间中检索相似数据的任务变得可行。
Milvus 2.4 是其最新版本,添加了许多新特性,并在性能和稳定性上取得了重要改进。其关键特点包括:
Milvus 2.4 的分布式架构显著增强了其处理大规模数据的能力。它采用存储与计算分离的架构,通过分布式文件系统(如 MinIO 或 AWS S3)实现数据的高效存储,并通过分布式计算框架(如 gRPC)来协调各节点之间的任务调度。
这种架构的优势在于:
在高维向量搜索中,索引的选择直接影响查询性能和准确性。Milvus 2.4 支持以下主要索引:
通过灵活选择索引类型,用户可以根据具体应用场景在性能和资源消耗之间找到平衡。
动态分区是 Milvus 2.4 的另一项重大改进。它允许用户根据特定条件对数据进行分组,以便提高查询效率。例如,在图像检索中,可以根据图像所属的类别(如猫、狗、鸟等)创建分区,从而加快特定类别数据的检索速度。
为了更好地理解 Milvus 的功能,我们来看一个实际案例:构建一个图像搜索系统,允许用户通过上传图片来查找相似图片。
在开始之前,需要安装以下工具:
以下是 Docker Compose 文件的配置,用于快速启动 Milvus 服务:
version: "3.5"
services:
milvus:
image: milvusdb/milvus:v2.4.0
container_name: milvus
ports:
- "19530:19530"
environment:
- DATA_PATH=/milvus/data
volumes:
- ./data:/milvus/data启动服务后,可以通过以下命令检查是否正常运行:
docker-compose up -d
docker ps图像需要先被转换为向量。这通常通过预训练模型(如 ResNet)提取特征。
以下是一个使用 PyTorch 将图像转换为向量的示例代码:
import torch
import torchvision.models as models
import torchvision.transforms as transforms
from PIL import Image
# 加载预训练的 ResNet 模型
model = models.resnet50(pretrained=True)
model = torch.nn.Sequential(*list(model.children())[:-1]) # 去掉最后的分类层
model.eval()
def image_to_vector(image_path):
image = Image.open(image_path).convert('RGB')
transform = transforms.Compose([
transforms.Resize((224, 224)),
transforms.ToTensor(),
transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])
image = transform(image).unsqueeze(0)
with torch.no_grad():
vector = model(image).flatten()
return vector.numpy()
vector = image_to_vector("example.jpg")
print(vector.shape) # 输出: (2048,)在 Milvus 中插入和检索向量的代码如下:
from pymilvus import connections, FieldSchema, CollectionSchema, DataType, Collection
# 连接到 Milvus
connections.connect("default", host="localhost", port="19530")
# 定义集合 schema
fields = [
FieldSchema(name="id", dtype=DataType.INT64, is_primary=True, auto_id=True),
FieldSchema(name="vector", dtype=DataType.FLOAT_VECTOR, dim=2048)
]
schema = CollectionSchema(fields, description="Image search collection")
# 创建集合
collection = Collection("image_search", schema)
# 插入数据
import numpy as np
vectors = np.random.random((10, 2048)).astype(np.float32)
collection.insert([list(range(10)), vectors])
# 创建索引
index_params = {
"index_type": "HNSW",
"metric_type": "L2",
"params": {"M": 16, "efConstruction": 200}
}
collection.create_index("vector", index_params)
# 搜索
query_vector = vectors[0]
search_params = {"metric_type": "L2", "params": {"ef": 50}}
results = collection.search([query_vector], "vector", search_params, limit=3)
for result in results[0]:
print(f"ID: {result.id}, Distance: {result.distance}")为了进一步优化性能,可以:
Milvus 2.4 作为一款面向高维向量数据的分布式数据库,在性能、可扩展性和易用性上都达到了一个新的高度。无论是图像搜索、推荐系统,还是更复杂的生物信息学分析,Milvus 都能提供强大的支持。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。