在使用 Langchain 的 Faiss 向量库和 GTE Embedding 模型时，即使查询语句存在于向量库中，相似度得分仍然偏低，这可能是由于 Embedding 模型、距离计算方式或数据预处理等因素造成的。本文将深入探讨这些潜在原因，并提供相应的解决方案，帮助开发者获得更准确的相似度计算结果。
问题分析
在使用 Langchain 的 Faiss 向量数据库进行相似度搜索时，结果的准确性受到多种因素的影响。以下是一些可能导致相似度得分偏低的原因：
- Embedding 模型选择： GTE (General Text Embeddings) 模型可能并非针对所有类型的文本都表现最佳。不同的 Embedding 模型在处理不同领域或风格的文本时，效果可能存在差异。
- 距离计算方式： Faiss 默认使用内积作为距离度量。虽然在 Embedding 时使用了 normalize_embeddings=True 对向量进行了归一化，使其等价于余弦相似度，但在某些情况下，其他距离度量方式（如 L2 距离）可能更适合。
- 数据预处理： 文本数据的预处理方式，如分词、去除停用词等，会影响 Embedding 的质量，进而影响相似度计算的结果。
- 向量数据库的构建方式： Faiss 索引的构建方式（如使用的索引类型）可能会影响搜索的准确性和效率。
解决方案
针对上述可能的原因，可以尝试以下解决方案：
-
更换 Embedding 模型： 尝试使用其他 Embedding 模型，例如 OpenAI 的 text-embedding-ada-002 模型。该模型在通用文本 Embedding 方面表现良好。
from langchain.embeddings.openai import OpenAIEmbeddings from langchain.document_loaders import TextLoader from langchain.text_splitter import CharacterTextSplitter from langchain.vectorstores import FAISS embeddings = OpenAIEmbeddings() loader = TextLoader("./text.txt", encoding="utf-8") documents = loader.load() text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0) docs = text_splitter.split_documents(documents) db = FAISS.from_documents(docs, embeddings) query = '无纸化发送失败?' res = db.similarity_search_with_score(query, k=3) print(res)注意： 使用 OpenAI Embedding 需要配置 OpenAI API 密钥。
调整距离计算方式： 虽然GTE模型已经进行了归一化，但可以尝试其他的相似度计算方法。Faiss 默认使用内积（归一化后等价于余弦相似度），如果需要使用L2距离，可以考虑在embedding后进行归一化，并在搜索时使用 FAISS.from_documents 函数创建向量数据库。
优化数据预处理： 检查文本数据的预处理流程，确保分词和停用词去除等步骤正确执行。可以尝试不同的分词工具和停用词列表，以优化 Embedding 的质量。
检查 Faiss 索引构建方式： Faiss 提供了多种索引类型，可以根据数据的特点选择合适的索引类型。例如，对于高维向量数据，可以使用 IVF (Inverted File) 索引来提高搜索效率。
示例：使用 OpenAI Embedding 和 L2 距离
以下代码示例展示了如何使用 OpenAI Embedding 模型，并使用 Faiss 进行相似度搜索。
from langchain.document_loaders import TextLoader
from langchain.embeddings.openai import OpenAIEmbeddings
from langchain.text_splitter import CharacterTextSplitter
from langchain.vectorstores import FAISS
embeddings = OpenAIEmbeddings()
loader = TextLoader("./text.txt", encoding="utf-8")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)
db = FAISS.from_documents(docs, embeddings)
query = '无纸化发送失败?'
res = db.similarity_search_with_score(query, k=3)
print(res)
query2 = '纸化发送失败?'
res2 = db.similarity_search_with_score(query2, k=3)
print(res2)注意事项
- 在更换 Embedding 模型后，需要重新构建 Faiss 向量数据库。
- 不同的 Embedding 模型可能需要不同的预处理方式，请根据模型的要求进行调整。
- 在调整距离计算方式时，需要确保与 Embedding 模型输出的向量格式相匹配。
总结
在使用 Langchain 的 Faiss 向量数据库进行相似度搜索时，如果遇到相似度得分偏低的问题，可以从 Embedding 模型选择、距离计算方式、数据预处理和 Faiss 索引构建方式等方面进行分析和优化。通过尝试不同的解决方案，可以提高相似度搜索的准确性，从而获得更好的搜索结果。
