0

0

LangChain 中实现带记忆与检索的 Map-Reduce 链式问答

霞舞

霞舞

发布时间:2026-03-15 17:51:11

|

405人浏览过

|

来源于php中文网

原创

LangChain 中实现带记忆与检索的 Map-Reduce 链式问答

本文详解如何在 langchain 中构建支持对话记忆(memory)、文档检索(retriever)与动态摘要机制(map_reduce)的 qa 链,并说明 map_reduce 本质即为应对长上下文超限场景而设计的分治式推理策略。

本文详解如何在 langchain 中构建支持对话记忆(memory)、文档检索(retriever)与动态摘要机制(map_reduce)的 qa 链,并说明 map_reduce 本质即为应对长上下文超限场景而设计的分治式推理策略。

在 LangChain 的链式架构中,map_reduce 并非“可选开关”,而是一种内置的、面向长文本处理的鲁棒性策略:当检索返回的文档片段总 token 数超出 LLM 上下文窗口限制时,它会自动将各段落分别摘要(Map 阶段),再将多个摘要合并后二次提炼(Reduce 阶段),最终生成符合 token 约束的连贯回答。因此,无需手动判断 token 超限——只要配置 chain_type="map_reduce",框架即自动启用该流程。

但需注意:标准 ConversationalRetrievalChain 和 RetrievalQA 在设计上存在关键差异

  • ConversationalRetrievalChain 原生支持 memory(如 ConversationBufferMemory),但不支持 chain_type="map_reduce" —— 它仅提供 stuff 和 refine 模式;
  • RetrievalQA.from_chain_type 支持 map_reduce,但默认不兼容对话记忆,因其原始设计聚焦单轮问答。

✅ 正确解法:使用 RetrievalQA 并显式注入 memory 实例到 chain_type_kwargs 中(LangChain v0.1+ 已支持此模式)。以下是完整、可运行的配置示例:

小羊标书
小羊标书

一键生成百页标书,让投标更简单高效

下载
from langchain.chains import RetrievalQA
from langchain.memory import ConversationBufferMemory
from langchain.prompts import PromptTemplate
from langchain.chat_models import ChatOpenAI

# 1. 初始化记忆组件(支持多轮上下文)
memory = ConversationBufferMemory(
    memory_key="chat_history",
    return_messages=True,  # 确保返回 Message 对象而非字符串
    input_key="question",
    output_key="answer"
)

# 2. 自定义 prompt(必须包含 chat_history 占位符)
prompt_template = """你是一个专业助手。请结合以下历史对话和最新问题,给出准确、简洁的回答。
聊天历史:
{chat_history}

最新问题:
{question}

相关文档:
{context}

请基于以上信息作答,不要编造内容。
"""
PROMPT = PromptTemplate(
    template=prompt_template,
    input_variables=["chat_history", "question", "context"]
)

# 3. 构建 map_reduce 链(关键:memory 传入 chain_type_kwargs)
qa_chain = RetrievalQA.from_chain_type(
    llm=ChatOpenAI(model="gpt-4-turbo", temperature=0),
    chain_type="map_reduce",
    retriever=retriever,  # 替换为你的 VectorStoreRetriever 实例
    chain_type_kwargs={
        "prompt": PROMPT,
        "memory": memory  # ✅ 显式注入 memory
    },
    return_source_documents=True,
    verbose=True
)

# 使用示例
response = qa_chain({"question": "LangChain 的 Memory 如何工作?"})
print("答案:", response["answer"])
print("来源文档数:", len(response["source_documents"]))

⚠️ 重要注意事项:

  • Prompt 必须显式声明 {chat_history} 变量,否则 memory 不会被注入提示词;
  • memory.return_messages=True 是与 ChatModel 兼容的前提(避免字符串/Message 类型冲突);
  • map_reduce 的 Reduce 阶段仍受模型最大输出长度限制,若摘要层级过深,可考虑调小 chain_type_kwargs["reduce_k"](默认为 4)以控制中间摘要数量;
  • 若需更高阶的对话状态管理(如槽位填充、意图识别),建议升级至 LangChain Expression Language(LCEL)范式,用 RunnableWithMessageHistory 组合 retriever + llm + memory,获得更灵活的控制权。

总结而言,map_reduce 是 LangChain 应对长文档问答的“安全阀”,而通过 RetrievalQA.from_chain_type 合理注入 memory,即可在保障 token 合规性的同时,实现真正意义上的有记忆、可检索、自适应摘要的智能问答链。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
登录token无效
登录token无效

登录token无效解决方法:1、检查token的有效期限,如果token已经过期,需要重新获取一个新的token;2、检查token的签名,如果签名不正确,需要重新获取一个新的token;3、检查密钥的正确性,如果密钥不正确,需要重新获取一个新的token;4、使用HTTPS协议传输token,建议使用HTTPS协议进行传输 ;5、使用双因素认证,双因素认证可以提高账户的安全性。

6657

2023.09.14

登录token无效怎么办
登录token无效怎么办

登录token无效的解决办法有检查Token是否过期、检查Token是否正确、检查Token是否被篡改、检查Token是否与用户匹配、清除缓存或Cookie、检查网络连接和服务器状态、重新登录或请求新的Token、联系技术支持或开发人员等。本专题为大家提供token相关的文章、下载、课程内容,供大家免费下载体验。

845

2023.09.14

token怎么获取
token怎么获取

获取token值的方法:1、小程序调用“wx.login()”获取 临时登录凭证code,并回传到开发者服务器;2、开发者服务器以code换取,用户唯一标识openid和会话密钥“session_key”。想了解更详细的内容,可以阅读本专题下面的文章。

1092

2023.12.21

token什么意思
token什么意思

token是一种用于表示用户权限、记录交易信息、支付虚拟货币的数字货币。可以用来在特定的网络上进行交易,用来购买或出售特定的虚拟货币,也可以用来支付特定的服务费用。想了解更多token什么意思的相关内容可以访问本专题下面的文章。

2213

2024.03.01

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

761

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1570

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

651

2023.11.24

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

69

2026.03.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号