优化Langchain RAG检索：解决PDF文档信息不匹配问题

from langchain.document_loaders import PyPDFLoader, DirectoryLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.vectorstores import Chroma
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI # 示例，也可替换为其他LLM

# 1. 文档加载
# 如果是单个PDF文件，可以使用PyPDFLoader
# loader = PyPDFLoader("doc.pdf")
# documents = loader.load()

# 如果是目录下的所有PDF文件
loader = DirectoryLoader('./docs/', glob="./*.pdf", loader_cls=PyPDFLoader) # 假设PDF文件在当前目录的'docs'文件夹
documents = loader.load()

# 2. 文本分割
# 针对FAQ文档，chunk_size和chunk_overlap的设置尤为关键
# 确保一个完整的问答对尽可能在一个chunk中，或跨越少量chunk
text_splitter = RecursiveCharacterTextSplitter(chunk_size=700, # 适当调整大小
                                               chunk_overlap=70) # 适当的重叠有助于保持上下文
texts = text_splitter.split_documents(documents)

# 3. 文本嵌入
# 推荐使用HuggingFace的预训练模型
# "bert-base-multilingual-cased" 适用于多语言，效果较好
# "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2" 也是一个不错的选择
embeddings = HuggingFaceEmbeddings(
    model_name="bert-base-multilingual-cased"
    # 或者 model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
)

# 4. 向量存储
# persist_directory 用于将向量数据库持久化到磁盘，避免每次运行时重新生成
persist_directory = "./chromadb"
vectordb = Chroma.from_documents(documents=texts, embedding=embeddings, persist_directory=persist_directory)
vectordb.persist() # 确保数据被写入磁盘

print(f"成功加载并嵌入 {len(texts)} 个文本块。")

# 5. LLM集成与检索QA链
# 替换为你的LLM实例，这里以OpenAI为例
# llm = OpenAI(temperature=0, model_name="gpt-3.5-turbo-instruct")
# 如果使用HuggingFaceHub作为LLM
from langchain.llms import HuggingFaceHub
llm = HuggingFaceHub(repo_id="google/flan-t5-base",
                     model_kwargs={"temperature":0.1, "max_length": 500, "max_new_tokens": 200})

qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectordb.as_retriever(search_kwargs={"k": 3}), # k表示检索前k个最相关的文档
    chain_type="stuff", # "stuff"链类型将所有检索到的文档塞入LLM的上下文
    return_source_documents=True # 返回检索到的源文档
)

# 6. 执行查询
question = "How do I reset my password?" # 替换为你的实际问题
response = qa_chain({"query": question})

print("\n--- 回答 ---")
print(response["result"])
print("\n--- 来源文档 ---")
for doc in response["source_documents"]:
    print(f"内容: {doc.page_content[:200]}...") # 打印前200字
    print(f"来源: {doc.metadata.get('source')}, 页码: {doc.metadata.get('page')}")

from langchain.llms import HuggingFaceHub

# 使用Google的Flan-T5-base模型
llm_flan_t5 = HuggingFaceHub(
    repo_id="google/flan-t5-base",
    model_kwargs={"temperature": 0.6, "max_length": 500, "max_new_tokens": 200}
)

# 或者使用EleutherAI的GPT-Neo-2.7B模型
llm_gpt_neo = HuggingFaceHub(
    repo_id="EleutherAI/gpt-neo-2.7B",
    model_kwargs={"temperature": 0.7, "max_length": 500, "max_new_tokens": 200}
)

# 在RetrievalQA链中替换llm参数即可
# qa_chain = RetrievalQA.from_chain_type(llm=llm_flan_t5, ...)