0

0

LangChain 中使用 Chroma 检索时无法获取源文档的解决方案

霞舞

霞舞

发布时间:2026-01-05 20:09:35

|

946人浏览过

|

来源于php中文网

原创

LangChain 中使用 Chroma 检索时无法获取源文档的解决方案

本文详解 langchain 结合 pypdfloader、openaiembeddings 与 chroma 构建 rag 系统时“检索返回空源文档”的常见原因及完整修复流程,涵盖文档加载、分块、向量化与持久化各关键环节。

在 LangChain 中构建基于 PDF 的检索增强生成(RAG)系统时,一个典型痛点是:retriever.get_relevant_documents(query) 能成功返回 Document 对象列表,但 len(docs) 却为 0 —— 表明检索器未实际加载或识别任何源文档。这通常并非模型或 API 问题,而是数据流水线中的关键步骤被遗漏或错配所致

根本原因往往在于:Chroma.from_documents() 必须接收已加载并分块后的 Document 对象(即含 page_content 和 metadata 的 LangChain Document 实例),而不能直接传入原始文本字符串或未经处理的文件路径。若跳过 loader.load() 或误用 split_documents(),会导致 texts 为空或结构不合法,进而使 Chroma 库无法正确索引元数据(如来源文件路径、页码等),最终 get_relevant_documents() 返回空列表。

✅ 正确且完整的端到端代码如下:

Rose.ai
Rose.ai

一个云数据平台,帮助用户发现、可视化数据

下载
from langchain.document_loaders import DirectoryLoader, PyPDFLoader
from langchain.text_splitter import CharacterTextSplitter
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Chroma

# 1. 加载所有 PDF 文档(必须显式调用 .load())
loader = DirectoryLoader('./files/', glob='*.pdf', loader_cls=PyPDFLoader)
documents = loader.load()  # ⚠️ 关键:不可省略!返回 Document 列表

# 2. 分块(保持 Document 结构,自动继承 metadata)
text_splitter = CharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=200,
    separator="\n"
)
texts = text_splitter.split_documents(documents)  # ✅ 输入是 Document,输出仍是 Document

# 3. 创建嵌入与向量库(持久化)
embeddings = OpenAIEmbeddings()
persist_directory = "./chroma_db"
docsearch = Chroma.from_documents(
    texts, 
    embeddings, 
    persist_directory=persist_directory
)

# 4. 加载并检索(确保使用同一 embedding_function)
docsearch = Chroma(persist_directory=persist_directory, embedding_function=embeddings)
retriever = docsearch.as_retriever(search_kwargs={"k": 5})
docs = retriever.get_relevant_documents("你的查询问题")
print(f"检索到 {len(docs)} 个相关文档")
for i, doc in enumerate(docs):
    print(f"[{i+1}] 来源: {doc.metadata.get('source', 'unknown')}, 页码: {doc.metadata.get('page', 'N/A')}")

? 关键注意事项

  • DirectoryLoader.load() 必须显式调用,否则 documents 为 DirectoryLoader 对象而非文档列表;
  • split_documents()(非 split_text())才能保留 Document 的 metadata(含 source, page 等),这对溯源至关重要;
  • 初始化 Chroma 时,embedding_function 参数必须与创建时完全一致(包括模型名称、API key 环境、版本),否则向量维度不匹配将导致静默失败;
  • 若仍返回空,请检查 ./files/ 目录是否存在 PDF 文件,以及 persist_directory 是否被其他进程占用或权限受限;
  • 推荐首次运行后打印 texts[0] 查看其结构,确认 page_content 和 metadata 字段存在且非空。

通过严格遵循上述流程,即可确保源文档被正确加载、分块、嵌入并持久化,从而让 get_relevant_documents() 稳定返回带完整元数据的 Document 对象,真正支撑可解释、可追溯的 RAG 应用。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

760

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1568

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

651

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

1228

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

1204

2024.04.29

go语言字符串相关教程
go语言字符串相关教程

本专题整合了go语言字符串相关教程,阅读专题下面的文章了解更多详细内容。

193

2025.07.29

c++字符串相关教程
c++字符串相关教程

本专题整合了c++字符串相关教程,阅读专题下面的文章了解更多详细内容。

131

2025.08.07

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

26

2026.03.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
10分钟--Midjourney创作自己的漫画
10分钟--Midjourney创作自己的漫画

共1课时 | 0.1万人学习

Midjourney 关键词系列整合
Midjourney 关键词系列整合

共13课时 | 0.9万人学习

AI绘画教程
AI绘画教程

共2课时 | 0.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号