作者 | 崔皓

审校 | 重楼

摘要

文章探讨了如何确保不同用户数据的隔离，并提供灵活的配置选项以适应各种检索需求。

文章首先介绍了多用户数据检索的背景和挑战，包括数据权限管理、检索系统灵活性和用户体验问题。接着进行了技术分析，特别强调了使用Pinecone作为向量数据库来处理高维向量数据的优势。文中详细讨论了数据存储和检索的关键步骤，如多用户支持的检索器确认、链条配置字段的添加和运用可配置字段来调用链条。最后，通过实际代码演示了如何在LangChain中实现多用户检索，包括环境设置、文本嵌入、配置索引器与Chain的构建，以及通过特定命名空间对文档库进行隔离的测试结果。

背景

多用户环境下的数据检索，要求系统能够区分并管理不同用户的数据。这不仅涉及到数据安全性和隐私保护，还要求检索系统能够灵活应对不同用户的数据检索需求。假设有一家大型企业，拥有庞大的知识库系统，该系统存储了从市场分析到技术文档的各类信息。企业内部有多个部门，如研发、市场、人力资源等，每个部门对知识库的数据访问需求不同。为了保证信息安全，企业需要实现对数据的权限控制，确保每个部门只能访问对应的相关数据。

在这个业务场景中，最大的挑战是如何在保证数据安全的同时，还能满足不同用户的数据检索需求。具体问题包括：

数据权限管理：如何确保每个用户只能访问授权的数据？

检索系统的灵活性：如何设计一个既能保护数据安全，又能灵活响应不同用户检索需求的系统？

用户体验：如何在不泄露其他部门数据的前提下，提供快速准确的检索结果？

技术分析

LangChain是大模型应用框架，特别擅长处理检索任务，即从大量数据中找到与给定查询最相关的信息。在这篇文章中，我们将重点介绍如何在LangChain框架中实现多用户检索。那么，为了实现多用户检索不同数据，就需要解决数据存储和数据检索两个问题。

数据存储方面

在AI应用中，如推荐系统或语义搜索，需要处理和检索大量的高维向量数据。因此在处理大规模向量数据时会面临如下问题：

• 实时数据更新和查询延迟问题：AI应用需要快速反映数据的最新变更（如实时更新用户偏好）。许多系统难以在保证准确性的同时实现低延迟的数据更新和查询。
• 复杂的基础设施管理和成本：构建和维护用于存储和检索向量数据的基础设施通常复杂且成本高昂，尤其是在云环境下。
• 高维数据的存储和索引优化问题：存储密集或稀疏的向量嵌入，需要优化的存储结构和索引策略，以保持高效检索和存储性能。
• 多语言和多平台接入难题：AI应用开发者可能需要在不同的编程环境（如Python，Node.js）中处理向量数据，需要一个跨平台、易于使用的API。

为了解决上述问题，本例我们选用Pinecone。Pinecone是一个为AI应用设计的云原生向量数据库，提供简易API和自管理的基础设施。它专门处理高维向量数据，能够以低延迟处理数十亿向量的检索请求。向量嵌入作为其核心，代表语义信息，赋予AI应用长期记忆功能，使其能在执行复杂任务时利用以往经验。

与传统标量数据库相比，Pinecone提供了针对向量数据的优化存储和查询，解决了处理复杂向量数据的难题。它的索引包含独特ID和密集向量嵌入的浮点数数组，也支持稀疏向量嵌入和元数据键值对，用于混合搜索和过滤查询。Pinecone保证高性能、实时性，每个pod副本每秒可处理200个查询，反映最新数据更新。用户可通过HTTP、Python或Node.js进行增删改查操作，灵活处理向量数据。

数据检索方面

为了实现多用户检索需要执行如下关键步骤：

1. 多用户支持的检索器确认：检查使用的检索器是否支持多用户功能。目前LangChain没有统一的标识或过滤器来实现这一点，每个向量存储和检索器可能有自己的实现方式（如命名空间、多租户等）。通常，这通过在`similarity_search`时传递的关键字参数来暴露。因此，需要通过阅读文档或源代码来确定所用检索器是否支持多用户功能，以及如何使用它。

2. 为链条添加配置字段：在运行时调用链条并配置任何相关标志。查阅相关文档了解更多关于配置的信息。需要说明的是， “链条”（Chains）是LangChain的一个关键概念，它们是一系列处理步骤的集合，用于执行特定的任务。为了支持多用户检索，用户需要在链条中添加配置字段。这些字段允许在运行时动态调整链条的行为，以适应不同用户的需求。

3. 使用可配置字段调用链条：运行时，通过前面设置的可配置字段，可以实现对链条的个性化调用。这意味着用户可以根据不同的情境或用户需求，调整链条的行为。这一步是实现多用户检索的关键，它确保了检索结果能够根据不同用户的独特需求进行优化和调整。

上面三点需要索引支持多用户查询，用户查询数据的参数可以通过配置字段的方式传递给Chains，同时Chains 可以接受配置字段并且执行，完成数据检索的操作。

根据前面对Pinecone向量存储的描述，我们通过查阅LangChain 官方文档了解。

既然数据存储和数据检索的问题都得到了解决，下面就开始代码实践的环节。包langchain_community.vectorstores.pinecone.Pinecone 下面包含了as_retriever方法，该方法创建并返回一个VectorStoreRetriever对象，该对象从VectorStore初始化。这个检索器提供了多种搜索类型，使得用户可以根据不同需求进行定制化的向量数据检索。

该方法的关键参数如下：

search_type（可选字符串）
定义：指定检索器执行的搜索类型。
选项：
"similarity"：标准的相似度搜索，默认选项。
"mmr"：最大边缘相关性（Maximum Marginal Relevance），用于生成多样化的搜索结果。
"similarity_score_threshold"：设置相似度分数阈值，仅返回超过此阈值的文档。
search_kwargs（可选字典）
功能：提供给搜索函数的关键字参数。
包含内容：
k：返回的文档数量，默认为4。
score_threshold：用于similarity_score_threshold的最小相关性阈值。
fetch_k：传递给MMR算法的文档数量，默认为20。
lambda_mult：MMR结果的多样性程度，从1（最小多样性）到0（最大多样性），默认为0.5。
filter：基于文档元数据的过滤条件。
返回值
类型：VectorStoreRetriever
功能：一个检索类，用于在VectorStore上执行数据检索操作。