本文深入探讨了在Langchain中配置`ConversationalRetrievalChain`以构建对话式AI助手的关键细节，重点解决`ValueError: Missing some input keys: {'chat_history'}`错误。我们将详细介绍如何正确集成记忆模块、自定义提示模板和向量检索器，并阐明`chat_history`在链输入中的必要性，即使已配置了记忆功能。通过具体的代码示例，读者将掌握构建健壮、上下文感知的对话系统的专业方法。
构建Langchain对话式检索链：核心组件与实践指南
ConversationalRetrievalChain是Langchain中一个功能强大的工具，它结合了文档检索和对话能力，使用户能够与基于外部知识库的AI助手进行多轮对话。然而，在配置过程中，尤其是在集成自定义提示模板和记忆模块时，开发者可能会遇到关于chat_history输入键的错误。本教程将详细解析这些组件的协同工作方式，并提供一套完整的解决方案。
1. 核心组件解析
要成功构建ConversationalRetrievalChain，以下几个核心组件至关重要：
1.1 记忆模块（Memory）
记忆模块负责存储和管理对话历史，使得LLM能够在后续的对话中回顾之前的交流。 ConversationBufferMemory是一个常用的记忆类型，它将所有对话轮次存储在一个缓冲区中。
- memory_key: 定义记忆在链的输入/输出中使用的键名。
- return_messages: 若设置为True，记忆将返回消息对象列表，而非单个字符串。
- output_key: 定义链的输出中答案的键名。
1.2 向量检索器（Retriever）
检索器负责根据用户查询从预先构建的知识库中检索相关文档片段。这通常涉及以下步骤：
- 文本嵌入（Embeddings）：将文本数据转换为数值向量。
- 文本分割（Text Splitter）：将长文档分割成更小的、可管理的块。
- 向量存储（Vector Store）：存储嵌入后的文档向量，并提供高效的相似性搜索功能，例如FAISS、ChromaDB等。
- 检索器实例：从向量存储中创建检索器，配置搜索类型（如similarity）和返回结果数量（k）。
1.3 自定义提示模板（Prompt Template）
提示模板定义了发送给LLM的指令和上下文结构。一个典型的对话式检索链提示模板需要包含以下占位符：
- {context}：从向量存储中检索到的相关文档内容。
- {chat_history}：当前的对话历史。
- {question}：用户的当前问题。
2. 构建向量存储（先决条件）
在创建对话链之前，必须先构建一个向量存储，例如FAISS索引。这通常涉及加载数据、分割文本、生成嵌入并保存索引。
import os
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import VertexAIEmbeddings
from langchain.text_splitter import RecursiveCharacterTextSplitter, Language
# 1. 初始化嵌入模型
# 假设您已配置Vertex AI环境，并有权限访问textembedding-gecko模型
EMBEDDING_QPM = 100
EMBEDDING_NUM_BATCH = 5
embeddings = VertexAIEmbeddings(
requests_per_minute=EMBEDDING_QPM,
num_instances_per_batch=EMBEDDING_NUM_BATCH,
model_name="textembedding-gecko",
max_output_tokens=512,
temperature=0.1,
top_p=0.8,
top_k=40
)
# 2. 初始化文本分割器
text_splitter = RecursiveCharacterTextSplitter.from_language(
language=Language.PYTHON, # 根据您的数据类型选择语言，或使用通用分割器
chunk_size=2000,
chunk_overlap=500
)
# 3. 加载并处理训练数据
docs = []
training_data_path = "training/facts/" # 假设您的训练数据在此目录下
trainingData = os.listdir(training_data_path)
for training_file in trainingData:
file_path = os.path.join(training_data_path, training_file)
with open(file_path, 'r', encoding='utf-8') as f:
print(f"Add {f.name} to dataset")
texts = text_splitter.create_documents([f.read()])
docs.extend(texts)
# 4. 从文档创建FAISS向量存储并保存到本地
store = FAISS.from_documents(docs, embeddings)
store.save_local("faiss_index")
print("FAISS index created and saved successfully.")3. 配置ConversationalRetrievalChain
一旦向量存储准备就绪，我们就可以开始配置ConversationalRetrievalChain。
3.1 加载向量存储与初始化检索器
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import VertexAIEmbeddings
from langchain.memory import ConversationBufferMemory
from langchain.chains import ConversationalRetrievalChain
from langchain_core.prompts import ChatPromptTemplate, SystemMessagePromptTemplate, HumanMessagePromptTemplate
from langchain_google_vertexai import ChatVertexAI # 假设使用Vertex AI的聊天模型
# 1. 加载嵌入模型 (与构建索引时保持一致)
EMBEDDING_QPM = 100
EMBEDDING_NUM_BATCH = 5
embeddings = VertexAIEmbeddings(
requests_per_minute=EMBEDDING_QPM,
num_instances_per_batch=EMBEDDING_NUM_BATCH,
model_name="textembedding-gecko",
max_output_tokens=512,
temperature=0.1,
top_p=0.8,
top_k=40
)
# 2. 加载FAISS索引并创建检索器
store = FAISS.load_local("faiss_index", embeddings, allow_dangerous_deserialization=True) # 注意：生产环境请谨慎使用allow_dangerous_deserialization
retriever = store.as_retriever(
search_type="similarity",
search_kwargs={"k": 2},
)
# 3. 初始化LLM模型
code_llm = ChatVertexAI(model_name="gemini-pro", temperature=0.1) # 示例LLM3.2 定义记忆模块与提示模板
# 4. 初始化记忆模块
# memory_key 必须与提示模板中用于聊天历史的占位符名称一致
memory = ConversationBufferMemory(
memory_key='chat_history',
return_messages=True,
output_key='answer'
)
# 5. 定义自定义提示模板
# 提示模板必须包含 {context}, {chat_history}, {question} 占位符
promptTemplate = """请根据提供的上下文和聊天历史回答用户的问题。
如果您不知道答案，请说明您无法回答。
上下文:
{context}
聊天历史:
{chat_history}
用户问题: {question}
"""
messages = [
SystemMessagePromptTemplate.from_template(promptTemplate),
HumanMessagePromptTemplate.from_template("{question}")
]
qa_prompt = ChatPromptTemplate.from_messages(messages)3.3 创建ConversationalRetrievalChain实例
# 6. 创建 ConversationalRetrievalChain 实例
qa_chain = ConversationalRetrievalChain.from_llm(
llm=code_llm,
retriever=retriever,
memory=memory,
# get_chat_history 用于将 memory 中的历史记录格式化为 prompt 所需的格式
# 这里 lambda h: h 表示直接使用 memory 返回的原始历史消息列表
get_chat_history=lambda h: h,
# combine_docs_chain_kwargs 用于配置内部用于结合文档和历史的链
combine_docs_chain_kwargs={"prompt": qa_prompt}
)4. 解决ValueError: Missing some input keys: {'chat_history'}
这个错误的核心在于，即使您为ConversationalRetrievalChain配置了memory，并且memory_key设置为'chat_history'，链在执行时如果其内部的提示模板（qa_prompt）期望一个名为chat_history的输入变量，那么在调用链时，您仍然需要在输入字典中显式地提供chat_history。
memory模块负责在每次对话后更新和管理整个会话的聊天历史。而get_chat_history参数则定义了如何将memory中存储的历史提取并格式化，以供qa_prompt中的{chat_history}占位符使用。然而，链的初始调用以及后续的每次调用，如果提示模板中有{chat_history}，仍然需要一个名为chat_history的键作为输入，即使它可能是一个空列表或由外部维护的当前轮次历史。
解决方案： 在调用链时，始终在输入字典中包含一个"chat_history"键，并为其提供一个列表。这个列表将在每次对话后更新，以维护外部的对话状态。
# 7. 进行对话交互
history = [] # 外部维护的聊天历史列表，用于传递给链的输入
# 第一次提问
question1 = "什么是FAISS？"
print(f"Human: {question1}")
answer1 = qa_chain({"question": question1, "chat_history": history})
print(f"AI: {answer1['answer']}")
# 更新外部历史
history.append((question1, answer1['answer']))
print("\n" + "="*50 + "\n")
# 第二次提问，利用上下文和历史
question2 = "它有什么主要用途？"
print(f"Human: {question2}")
answer2 = qa_chain({"question": question2, "chat_history": history})
print(f"AI: {answer2['answer']}")
# 更新外部历史
history.append((question2, answer2['answer']))5. 注意事项与最佳实践
- memory_key与提示模板占位符一致：确保ConversationBufferMemory的memory_key参数值（例如'chat_history'）与您的ChatPromptTemplate中用于聊天历史的占位符名称（例如{chat_history}）完全匹配。
- get_chat_history的作用：get_chat_history函数用于将memory中存储的聊天历史转换为适合qa_prompt中{chat_history}占位符的格式。lambda h: h表示直接使用memory返回的原始消息列表。如果您的提示模板需要特定格式（例如，将消息列表转换为单个字符串），则需要自定义此函数。
- 显式传递chat_history输入：即使配置了memory，当您的提示模板包含{chat_history}时，您仍然需要在调用qa_chain时，在输入字典中显式地提供"chat_history"键及其对应的值（一个列表）。这个列表通常用于在每次对话后更新，以反映最新的对话轮次。
- 向量存储的序列化与反序列化：当加载FAISS索引时，allow_dangerous_deserialization=True参数用于允许从不受信任的源反序列化，但在生产环境中应谨慎使用，确保数据来源可靠。
- LLM和嵌入模型的选择：根据您的具体需求和预算，选择合适的LLM模型和嵌入模型。例如，Google Vertex AI、OpenAI等都提供多种模型选项。
- 错误处理：在实际应用中，考虑添加错误处理机制，例如当检索器未能找到相关文档或LLM生成不满意答案时的回退策略。
6. 总结
通过本教程，我们详细探讨了如何在Langchain中正确配置ConversationalRetrievalChain，以构建一个具备记忆和检索能力的对话式AI助手。关键在于理解memory、retriever、prompt template以及chat_history输入之间的协同关系。通过显式地在链调用中提供chat_history输入，并确保memory_key与提示模板占位符的一致性，可以有效避免ValueError: Missing some input keys的错误，从而构建出稳定、高效且上下文感知的对话系统。
