本文详解 langchain 结合 chroma 与 openai embeddings 时无法返回源文档（source documents）的常见原因及完整解决方案，涵盖 pdf 加载、分块、向量化、持久化与检索全流程。
在使用 LangChain 构建 RAG（检索增强生成）应用时，一个高频问题是：尽管检索能返回相关文本片段，但 get_relevant_documents() 却始终返回空列表（len(docs) == 0），或虽有结果却缺失原始 PDF 元信息（如 metadata['source']）。这通常并非模型或 API 问题，而是文档生命周期中元数据丢失或加载链断裂所致。
关键症结在于：DirectoryLoader.load() 返回的 Document 对象必须完整保留 metadata（尤其是 source 字段），且该元数据需在后续分块、嵌入、存储各环节中被显式继承和持久化。若跳过 loader.load() 显式调用，或使用不兼容的分块器（如 RecursiveCharacterTextSplitter 未配置 keep_separator=True 或忽略 metadata 传递），texts 列表中的每个分块 Document 就可能丢失原始路径信息，导致 Chroma 在检索时无法还原来源。
✅ 正确做法如下（完整可运行流程）：
from langchain.document_loaders import DirectoryLoader, PyPDFLoader
from langchain.text_splitter import CharacterTextSplitter
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Chroma
# 1. 显式加载 PDF，确保 metadata['source'] 自动注入（PyPDFLoader 默认支持）
loader = DirectoryLoader('./files/', glob='*.pdf', loader_cls=PyPDFLoader)
documents = loader.load() # ⚠️ 必须调用 .load()，不可直接传 loader 到 from_documents！
# 2. 分块时保留 metadata（CharacterTextSplitter 默认继承 metadata）
text_splitter = CharacterTextSplitter(
chunk_size=1000,
chunk_overlap=200, # 建议非零重叠，提升语义连贯性
separator="\n"
)
texts = text_splitter.split_documents(documents) # ✅ 自动复制 source 等字段
# 3. 创建嵌入并持久化到 Chroma
embeddings = OpenAIEmbeddings(model="text-embedding-3-small") # 推荐较新模型
persist_directory = "./chroma_db"
docsearch = Chroma.from_documents(
texts,
embeddings,
persist_directory=persist_directory
)
docsearch.persist() # 显式持久化（部分版本需）
# 4. 重新加载并检索（务必复用相同 embedding_function）
docsearch = Chroma(
persist_directory=persist_directory,
embedding_function=embeddings
)
retriever = docsearch.as_retriever(search_kwargs={"k": 5})
docs = retriever.get_relevant_documents("你的查询问题")
# 验证源文档是否可用
for i, doc in enumerate(docs):
print(f"[{i+1}] 来源: {doc.metadata.get('source', 'N/A')}")
print(f"内容片段: {doc.page_content[:120]}...\n")? 重要注意事项：
- 不要跳过 loader.load()：DirectoryLoader 是惰性加载器，from_documents() 不会自动触发其加载逻辑；
- 避免使用 split_text() 替代 split_documents()：前者只处理纯字符串，会彻底丢弃 Document 对象及其 metadata；
- Chroma 检索结果的 Document 对象，其 metadata 完全依赖于 from_documents() 输入的 texts 中各 Document 的原始 metadata；
- 若 PDF 文件名含中文或特殊字符，请确保路径编码一致（推荐 UTF-8），否则 source 字段可能出现乱码；
- 调试技巧：在 split_documents() 后打印 texts[0].metadata，确认 source 存在且值合理（如 ./files/report.pdf）。
总结而言，源文档“消失”本质是元数据流中断。严格遵循「加载 → 分块（保留 metadata）→ 向量化 → 存储 → 检索」的完整链路，并在每一步验证 Document.metadata 的完整性，即可稳定获取带来源信息的检索结果。
