解决LangChain RAG应用中RetrievalQA链的调用错误

花韻仙語
发布: 2025-11-29 13:26:49
原创
784人浏览过

解决langchain rag应用中retrievalqa链的调用错误

本文旨在解决LangChain中构建RAG(检索增强生成)应用时,`RetrievalQA`链因不当调用方式引发的`TypeError: unhashable type: 'list'`错误。我们将详细解析错误原因,并提供使用`.invoke()`方法正确调用`RetrievalQA`链的解决方案,同时探讨LangChain Runnable接口的其他调用方式和相关最佳实践。

在构建基于大型语言模型(LLM)的检索增强生成(RAG)应用时,LangChain的RetrievalQA链是一个核心组件,它能够将文档检索与LLM的问答能力结合起来。然而,开发者在使用过程中可能会遇到TypeError: unhashable type: 'list'这样的错误,尤其是在尝试以传统函数调用的方式执行链时。本教程将深入分析这一问题,并提供一套专业的解决方案和最佳实践。

问题描述与错误分析

当尝试以如下方式调用一个已创建的RetrievalQA链时,可能会遇到TypeError: unhashable type: 'list'错误:

question = "Is probability a class topic?"
result = qa_chain({"query": question}) # 这一行会抛出错误
print(result["result"])
登录后复制

伴随的错误堆通常会指向LangChain内部的调用逻辑,最终显示TypeError: unhashable type: 'list'。这表明链的输入处理机制与预期的调用方式不符。

完整代码示例(导致错误):

from langchain.document_loaders import CSVLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.vectorstores import FAISS
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline
from langchain import HuggingFacePipeline
from langchain.prompts import PromptTemplate
from langchain.chains import RetrievalQA

# 文件路径和模型路径需要替换为实际路径
file = '<<path to CSV File>>'
modelPath = "<hugging face local folder>/all-MiniLM-L6-v2"
flan_t5_model_path = "<<huggingface local folder>>/flan-t5-large"

# 1. 加载文档
loader = CSVLoader(file_path=file, encoding='utf8')
documents = loader.load()

# 2. 分割文档
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=150)
docs = text_splitter.split_documents(documents)

# 3. 初始化嵌入模型
model_kwargs = {'device':'cpu'}
encode_kwargs = {'normalize_embeddings':False}
embeddings = HuggingFaceEmbeddings(
  model_name = modelPath,
  model_kwargs = model_kwargs,
  encode_kwargs=encode_kwargs
)

# 4. 构建向量存储
db = FAISS.from_documents(docs, embeddings)

# 5. 初始化LLM
tokenizer = AutoTokenizer.from_pretrained(flan_t5_model_path)
model = AutoModelForSeq2SeqLM.from_pretrained(flan_t5_model_path)
pipe = pipeline("text2text-generation", model=model, tokenizer=tokenizer)
llm = HuggingFacePipeline(
    pipeline = pipe,
    model_kwargs={"temperature": 0, "max_length": 512},
)

# 6. 定义Prompt Template
template = """Use the following pieces of context to answer the question at the end. If you don't know the answer, just say that you don't know, don't try to make up an answer. Keep the answer as concise as possible. 
{context}
Question: {question}
Helpful Answer:"""
QA_CHAIN_PROMPT = PromptTemplate.from_template(template)

# 7. 创建RetrievalQA链
qa_chain = RetrievalQA.from_chain_type(   
  llm=llm,
  verbose=True,
  chain_type="stuff",   
  retriever=db.as_retriever(),   
  chain_type_kwargs={"prompt": QA_CHAIN_PROMPT} 
) 

# 8. 尝试调用链 (此处发生错误)
question = "Is probability a class topic?"
result = qa_chain({"query": question }) # ERROR: TypeError: unhashable type: 'list'
print(result["result"])
登录后复制

错误原因:

这个错误通常发生在LangChain的版本迭代过程中,尤其是在引入LangChain Expression Language (LCEL) 和 Runnable 接口之后。旧版本的LangChain链可能允许直接像函数一样调用(即 chain(...)),但在新版本中,为了提供更统一、更灵活的接口,所有的“可运行”组件(Runnables)都推荐使用特定的方法进行调用,例如 .invoke()、.stream() 或 .batch()。

RetrievalQA链是一个Runnable实例,它不再直接支持通过 __call__ 方法以字典作为参数进行直接调用。尝试这样做会导致内部数据结构处理上的类型不匹配,从而引发TypeError。

解决方案:使用.invoke()方法

解决此问题的核心是使用LangChain Runnable接口提供的标准调用方法,特别是.invoke()。

Quinvio AI
Quinvio AI

AI辅助下快速创建视频,虚拟代言人

Quinvio AI 59
查看详情 Quinvio AI

正确调用RetrievalQA链的方法:

question = "Is probability a class topic?"
result = qa_chain.invoke({"query": question}) # 使用 .invoke() 方法
print(result["result"])
登录后复制

通过将 qa_chain({"query": question}) 修改为 qa_chain.invoke({"query": question}),即可正确执行链并获取结果。RetrievalQA链的输出是一个字典,其中包含最终的答案,通常通过 result["result"] 访问。

修正后的完整代码示例:

from langchain.document_loaders import CSVLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.vectorstores import FAISS
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline
from langchain import HuggingFacePipeline
from langchain.prompts import PromptTemplate
from langchain.chains import RetrievalQA

# 文件路径和模型路径需要替换为实际路径
file = '<<path to CSV File>>'
modelPath = "<hugging face local folder>/all-MiniLM-L6-v2"
flan_t5_model_path = "<<huggingface local folder>>/flan-t5-large"

# 1. 加载文档
loader = CSVLoader(file_path=file, encoding='utf8')
documents = loader.load()

# 2. 分割文档
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=150)
docs = text_splitter.split_documents(documents)

# 3. 初始化嵌入模型
model_kwargs = {'device':'cpu'}
encode_kwargs = {'normalize_embeddings':False}
embeddings = HuggingFaceEmbeddings(
  model_name = modelPath,
  model_kwargs = model_kwargs,
  encode_kwargs=encode_kwargs
)

# 4. 构建向量存储
db = FAISS.from_documents(docs, embeddings)

# 5. 初始化LLM
tokenizer = AutoTokenizer.from_pretrained(flan_t5_model_path)
model = AutoModelForSeq2SeqLM.from_pretrained(flan_t5_model_path)
pipe = pipeline("text2text-generation", model=model, tokenizer=tokenizer)
llm = HuggingFacePipeline(
    pipeline = pipe,
    model_kwargs={"temperature": 0, "max_length": 512},
)

# 6. 定义Prompt Template
template = """Use the following pieces of context to answer the question at the end. If you don't know the answer, just say that you don't know, don't try to make up an answer. Keep the answer as concise as possible. 
{context}
Question: {question}
Helpful Answer:"""
QA_CHAIN_PROMPT = PromptTemplate.from_template(template)

# 7. 创建RetrievalQA链
qa_chain = RetrievalQA.from_chain_type(   
  llm=llm,
  verbose=True,
  chain_type="stuff",   
  retriever=db.as_retriever(),   
  chain_type_kwargs={"prompt": QA_CHAIN_PROMPT} 
) 

# 8. 正确调用链
question = "Is probability a class topic?"
result = qa_chain.invoke({"query": question }) # 正确使用 .invoke()
print(result["result"])
登录后复制

LangChain Runnable接口的其他调用方法

除了.invoke(),LangChain的Runnable接口还提供了其他有用的调用方法,以适应不同的应用场景:

  • .invoke(input): 用于处理单个输入并返回单个输出。这是最常用的方法,适用于一次性问答、数据处理等。
  • .stream(input): 用于处理单个输入,但以流式方式返回输出。这对于需要实时显示LLM生成内容(如聊天机器人)的场景非常有用,可以逐字或逐块接收响应。
  • .batch(inputs): 用于同时处理多个输入(以列表形式提供),并返回一个包含所有对应输出的列表。这对于批量处理任务或提高吞吐量非常高效。

关于StrOutputParser的说明

在某些LangChain教程或示例中,你可能会看到StrOutputParser与llm结合使用,例如:

from langchain_core.output_parsers import StrOutputParser

# 假设 llm 是一个已初始化的语言模型Runnable
simple_chain = llm | StrOutputParser()
response = simple_chain.invoke("What is the capital of France?")
print(response) # 输出一个纯字符串
登录后复制

StrOutputParser是一个Runnable,它的作用是将上一个Runnable(通常是LLM)的输出解析成一个简单的字符串。LLM的原始输出可能是一个包含文本、元数据等信息的复杂对象,而StrOutputParser确保最终输出只是纯文本。

在本文的RetrievalQA链场景中,RetrievalQA链本身已经设计为返回一个字典,其中"result"键对应着LLM生成的答案字符串。因此,直接使用qa_chain.invoke({"query": question})["result"]即可获取所需的字符串答案。StrOutputParser并非解决RetrievalQA链调用错误的直接方案,但它在构建更复杂的LangChain Expression Language (LCEL) 链时,特别是需要确保LLM输出始终为纯字符串的场景下,是一个非常有用的组件。

总结与最佳实践

  1. 遵循LangChain Runnable接口规范:始终使用.invoke()、.stream()或.batch()等方法来调用LangChain的Runnables,而不是尝试直接将其作为函数调用。
  2. 查阅官方文档:LangChain的API更新频繁,遇到问题时,查阅最新的官方文档是解决问题的最佳途径。特别是关于Runnable接口和LCEL的部分,能帮助你更好地理解和使用LangChain。
  3. 理解链的输入和输出:清楚每个链或Runnable预期的输入类型(通常是字典或字符串)以及其输出结构,这有助于正确地构建和调试你的应用。RetrievalQA链通常需要一个包含"query"键的字典作为输入,并返回一个包含"result"键的字典作为输出。

通过遵循这些原则,你可以更有效地在LangChain中构建和维护健壮的RAG应用。

以上就是解决LangChain RAG应用中RetrievalQA链的调用错误的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号