Milvus

项目目标

本项目旨在构建一个功能完备的 RAG（Retrieval-Augmented Generation）系统，主要目标包括：

  • 知识库管理：支持创建、更新和删除知识库，便于用户高效维护内容。
  • 文档处理：包括文档的拆分、片段的向量化处理，以提升检索效率和准确性。
  • 问答系统：提供高效的向量检索和实时生成回答的能力，支持复杂汇总类问题的处理。
  • 系统优化：通过统计分析和推理问答调试，不断优化系统性能和用户体验。

系统核心概念

在 RAG 系统中，以下是几个核心概念：

  • 应用：知识库的集合。每个应用可以自定义提示词，以满足不同的个性化需求。
  • 知识库：由多个文档组成，便于用户对内容进行分类和管理。
  • 文档：系统中对应的真实文档内容。
  • 片段：文档经过拆分后的最小内容单元，用于更高效的处理和检索。

功能实现步骤

  1. 数据库设计 查看 01.md
    设计并实现项目所需的数据表结构与数据库方案，为后续的数据操作打下坚实基础。

  2. 用户登录 查看 02.md
    实现了安全可靠的用户认证系统，保护用户数据并限制未经授权的访问。

  3. 模型管理 查看 03.md
    支持针对不同平台的模型（如 OpenAI、Google Gemini、Claude）进行管理与配置。

  4. 知识库管理 查看 04.md
    提供创建、更新及删除知识库的功能，方便用户维护与管理文档内容。

  5. 文档拆分 查看 05.md
    可将文档拆分为多个片段，便于后续向量化和检索操作。

  6. 片段向量 查看 06.md
    将文本片段进行向量化处理，以便进行语义相似度计算及高效检索。

  7. 命中率测试 查看 07.md
    通过语义相似度和 Top-N 算法，检索并返回与用户问题最相关的文档片段，用于评估检索的准确性。

  8. 文档管理 查看 08.md
    提供上传和管理文档的功能，上传后可自动拆分为片段便于进一步处理。

  9. 片段管理 查看 09.md
    允许对已拆分的片段进行增、删、改、查等操作，确保内容更新灵活可控。

  10. 问题管理 查看 10.md
    为片段指定相关问题，以提升检索时的准确性与关联度。

  11. 应用管理 查看 11.md
    提供创建和配置应用（智能体）的功能，并可关联指定模型和知识库。

  12. 向量检索 查看 12.md
    基于语义相似度，在知识库中高效检索与用户问题最匹配的片段。

  13. 推理问答调试 查看 13.md
    提供检索与问答性能的评估工具，帮助开发者进行系统优化与调试。

  14. 对话问答 查看 14.md
    为用户提供友好的人机交互界面，结合检索到的片段与用户问题实时生成回答。

  15. 统计分析 查看 15.md
    对用户的提问与系统回答进行数据化分析，并以可视化图表的形式呈现系统使用情况。

  16. 用户管理 查看 16.md
    提供多用户管理功能，包括用户的增删改查及权限控制。

  17. API 管理 查看 17.md
    对外提供标准化 API，便于外部系统集成和调用本系统的功能。

  18. 存储文件到 S3 查看 18.md
    将用户上传的文件存储至 S3 等对象存储平台，提升文件管理的灵活性与可扩展性。

  19. 文档解析优化 查看 19.md
    介绍与对比常见的文档解析方案，并提供提升文档解析速度和准确性的优化建议。

  20. 片段汇总 查看 20.md
    对片段内容进行汇总，以提升总结类问题的查询与回答效率。

  21. 文档多分块与检索 查看 21.md
    将片段进一步拆分为句子并进行向量检索，提升检索的准确度与灵活度。

  22. 多文档支持 查看 22.md
    兼容多种文档格式，包括 .doc, .docx, .xls, .xlsx, .ppt, .pptx 等。

  23. 对话日志 查看 23.md
    记录并展示对话日志，用于后续分析和问题回溯。

  24. 检索性能优化 查看 24.md
    提供整库扫描和分区检索等多种方式，进一步提高检索速度和效率。

  25. Milvus 查看 25.md
    将向量数据库切换至 Milvus，以在大规模向量检索场景中获得更佳的性能与可扩展性。

  26. 文档解析方案和费用对比 查看 26.md
    对比不同文档解析方案在成本、速度、稳定性等方面的差异，为用户提供更加经济高效的选择。

  27. 爬取网页数据 查看 27.md
    支持从网页中抓取所需内容，后续处理流程与本地文档一致：分段、向量化、存储与检索。

1. 什么是向量数据库？

向量数据库是一种专门用于存储和查询高维向量的数据库，广泛应用于文本、语音、图像、视频等数据的存储和检索。相较于传统数据库，向量数据库不仅支持 CRUD（创建、读取、更新、删除）操作，还能高效地执行相似性搜索。

2. Milvus 介绍

Milvus 是一款云原生的向量数据库，具备高可用性、高性能、易扩展等特性，主要用于海量向量数据的实时检索。它基于 FAISS、Annoy、HNSW 等向量搜索库构建，核心目标是优化稠密向量相似性检索。

Milvus 具有以下特性：

  • 数据存储与查询优化：支持数据分区分片、数据持久化、增量数据摄取、标量与向量混合查询。
  • 高性能检索：提供时间旅行（Time Travel）、高效索引结构等优化方案。
  • 云原生架构：采用存储计算分离架构，计算节点支持横向扩展，保障高吞吐量。

3. 在 Docker 中安装 Milvus

Milvus 提供官方的 Docker 镜像，建议使用 Docker 进行安装，以保证稳定性和易维护性。

3.1 安装 Docker 和 Docker Compose

如果尚未安装 Docker，可以使用以下命令进行安装（适用于 Linux）：

# 更新软件包
sudo apt update
sudo apt install -y docker.io docker-compose

3.2 启动 Milvus

使用官方提供的 docker-compose.yml 文件启动 Milvus。

mkdir /opt/docker-compose-yml/milvus -p && cd /opt/docker-compose-yml/milvus
wget https://github.com/milvus-io/milvus/releases/download/v2.5.4/milvus-standalone-docker-compose.yml -O docker-compose.yml

最新版本的 milvus-standalone-docker-compose.yml

version: "3.5"

services:
  etcd:
    container_name: milvus-etcd
    image: quay.io/coreos/etcd:v3.5.16
    environment:
      - ETCD_AUTO_COMPACTION_MODE=revision
      - ETCD_AUTO_COMPACTION_RETENTION=1000
      - ETCD_QUOTA_BACKEND_BYTES=4294967296
      - ETCD_SNAPSHOT_COUNT=50000
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/etcd:/etcd
    command: etcd -advertise-client-urls=http://127.0.0.1:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcd
    healthcheck:
      test: ["CMD", "etcdctl", "endpoint", "health"]
      interval: 30s
      timeout: 20s
      retries: 3

  minio:
    container_name: milvus-minio
    image: minio/minio:RELEASE.2023-03-20T20-16-18Z
    environment:
      MINIO_ACCESS_KEY: minioadmin
      MINIO_SECRET_KEY: minioadmin
    ports:
      - "9001:9001"
      - "9000:9000"
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/minio:/minio_data
    command: minio server /minio_data --console-address ":9001"
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3

  standalone:
    container_name: milvus-standalone
    image: milvusdb/milvus:v2.5.4
    command: ["milvus", "run", "standalone"]
    security_opt:
      - seccomp:unconfined
    environment:
      ETCD_ENDPOINTS: etcd:2379
      MINIO_ADDRESS: minio:9000
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9091/healthz"]
      interval: 30s
      start_period: 90s
      timeout: 20s
      retries: 3
    ports:
      - "19530:19530"
      - "9091:9091"
    depends_on:
      - "etcd"
      - "minio"

networks:
  default:
    name: milvus

启动 Milvus

docker-compose up -d

or

docker compose up -d

如果是单机部署,这 3 个容器都要启动码? 是的。在这个单机部署的方案中，三个容器都是必需的：

  • etcd：负责存储 Milvus 的元数据。
  • minio：用于存储实际的数据文件。
  • milvus-standalone：运行 Milvus 的核心服务。

除非你有其他方式来提供 etcd 和 minio 服务，否则这三个容器需要一起启动。

此时 Milvus 运行在 localhost:19530，可使用 docker ps 查看容器状态。

4. Java 集成 Milvus

4.1 必要的 Maven 依赖

Milvus 官方提供了 milvus-sdk-java，其版本需与 Milvus 服务器版本匹配。此外，需要 grpc-netty-shaded 作为 gRPC 的底层通信库。jersey-server 依赖通常用于 RESTful API，如果不使用 REST 方式，可省略。

必要依赖：

<dependencies>
    <dependency>
        <groupId>io.grpc</groupId>
        <artifactId>grpc-netty-shaded</artifactId>
        <version>1.58.0</version>
    </dependency>
    <dependency>
        <groupId>io.milvus</groupId>
        <artifactId>milvus-sdk-java</artifactId>
        <version>2.4.1</version>
        <exclusions>
            <exclusion>
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-log4j12</artifactId>
            </exclusion>
        </exclusions>
    </dependency>
</dependencies>

4.2 连接 Milvus

private MilvusClientV2 clientV2;
try {
    ConnectConfig connectConfig = ConnectConfig.builder()
            .uri("localhost:19530")
            .token("your-token")
            .build();
    this.clientV2 = new MilvusClientV2(connectConfig);
} catch (Exception e) {
    e.printStackTrace();
}

4.3 创建集合

public void createCollection(String collectionName) {
    boolean collectionExists = true;
    try {
        DescribeCollectionReq describeCollectionReq = DescribeCollectionReq.builder()
                .collectionName(collectionName)
                .build();
        clientV2.describeCollection(describeCollectionReq);
    } catch (Exception e) {
        collectionExists = false;
    }

    if (!collectionExists) {
        CreateCollectionReq createReq = CreateCollectionReq.builder()
                .collectionName(collectionName)
                .dimension(1536) // 向量维度
                .idType(DataType.VarChar) // ID 类型
                .metricType("IP") // 内积相似度
                .build();
        clientV2.createCollection(createReq);

        GetLoadStateReq loadStateReq = GetLoadStateReq.builder()
                .collectionName(collectionName)
                .build();
        boolean loadState = clientV2.getLoadState(loadStateReq);
    }
}

4.4 插入或更新数据

public void upsert(String collectionName, List<String> documents, List<Map<String, String>> metadata, List<String> ids, List<List<Float>> embeddings) {
    createCollection(collectionName);
    List<JSONObject> data = new ArrayList<>();
    for (int i = 0; i < documents.size(); i++) {
        Map<String, Object> record = new HashMap<>();
        record.put("id", ids.get(i));
        record.put("vector", embeddings.get(i));
        record.put("metadata", metadata.get(i));
        data.add(new JSONObject(record));
    }

    UpsertReq upsertReq = UpsertReq.builder()
            .collectionName(collectionName)
            .data(data)
            .build();
    clientV2.upsert(upsertReq);
}

4.5 进行向量搜索

List<List<Float>> embeddings = embeddingFunction.createEmbedding();
Map<String, Object> params = new HashMap<>();
params.put("radius", 0.5); // 相似度阈值

SearchReq searchReq = SearchReq.builder()
        .collectionName(collectionName)
        .data(embeddings)
        .searchParams(params)
        .outputFields(Arrays.asList("id", "metadata", "vector"))
        .build();
SearchResp searchResp = clientV2.search(searchReq);

4.6 删除数据和集合

删除对象

public void delete(List<String> ids, String collectionName) {
    DeleteReq deleteReq = DeleteReq.builder()
            .collectionName(collectionName)
            .ids(new ArrayList<>(ids))
            .build();
    clientV2.delete(deleteReq);
}

删除集合

public void deleteCollection(String collectionName) {
    DropCollectionReq dropReq = DropCollectionReq.builder()
            .collectionName(collectionName)
            .build();
    clientV2.dropCollection(dropReq);
}

5. 结论

Milvus 作为领先的向量数据库，能够高效地存储和检索高维数据。通过 Java SDK，可以轻松实现连接、数据管理及搜索功能。对于 Java 开发者而言，grpc-netty-shaded 是必须的，而 jersey-server 仅在使用 REST API 时才需要。

如需深入了解，请参考 Milvus 官方文档。