本地部署LangChain与Llama模型：无需注册的私有化测试指南

# 如果未安装，请先安装git-lfs
# 例如在Ubuntu/Debian上：sudo apt-get install git-lfs
# 在macOS上：brew install git-lfs
git lfs install

# 克隆模型仓库
git clone https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF

pip install langchain langchain-community
# LlamaCpp集成依赖于llama-cpp-python，它通常会在LlamaCpp实例化时自动处理
# 如果遇到问题，可以手动安装：pip install llama-cpp-python

from langchain_community.llms import LlamaCpp
from langchain.prompts import PromptTemplate
from langchain.chains import LLMChain

def run_local_llama_chatbot():
    """
    使用LangChain和本地Llama.cpp模型运行一个聊天机器人示例。
    """
    # 1. 初始化LlamaCpp模型
    # model_path: 指向您的GGUF模型文件的本地路径
    # n_gpu_layers: 将模型层卸载到GPU的数量。根据您的GPU显存调整，-1表示尽可能多。
    # n_batch: 批处理大小，影响推理速度和显存占用。
    # verbose: 是否打印详细日志。
    llm = LlamaCpp(
        model_path="models/Llama-2-7B-Chat-GGUF/llama-2-7b-chat.Q4_0.gguf",
        n_gpu_layers=40,  # 根据您的GPU显存调整，例如 RTX 4070 可设置 40
        n_batch=512,      # 批处理大小
        verbose=True,     # 打印详细日志
        temperature=0.7,  # 控制生成文本的随机性，0为确定性最高
        max_tokens=2048,  # 生成的最大token数量
        top_p=1,          # nucleus采样参数
        top_k=40,         # top-k采样参数
        f16_kv=True,      # 使用fp16 KV缓存，节省显存
    )

    # 2. 定义PromptTemplate
    # PromptTemplate用于结构化地构建发送给LLM的提示。
    # 这里的模板包含一个占位符 {question}，用于插入用户的问题。
    template = """[INST] <<SYS>>
    You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe. Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature.

    If a question does not make any sense, or is not factually coherent, explain why instead of answering something incorrect. If you don't know the answer to a question, please don't share false information.
    <</SYS>>

    {question} [/INST]
    """

    prompt = PromptTemplate(template=template, input_variables=["question"])

    # 3. 创建LLMChain
    # LLMChain将PromptTemplate和LLM连接起来，简化了交互流程。
    llm_chain = LLMChain(prompt=prompt, llm=llm)

    # 4. 提出问题并获取答案
    question = "Bjarne Stroustrup是谁？他与编程有什么关系？"
    print(f"Question: {question}\n")
    print("Answer:")
    response = llm_chain.run(question)
    print(response)

if __name__ == "__main__":
    run_local_llama_chatbot()

Question: Bjarne Stroustrup是谁？他与编程有什么关系？

Answer:
Bjarne Stroustrup是一位丹麦计算机科学家，他最著名的成就是创建了C++编程语言。

1. **C++的创始人：** Stroustrup在1979年开始开发C++，最初称之为“C with Classes”。他的目标是为C语言添加面向对象特性，同时保持C语言的效率和系统编程能力。C++于1983年首次发布，并迅速成为世界上最流行和最有影响力的编程语言之一。
2. **编程语言的贡献：** 他通过C++极大地推动了面向对象编程（OOP）范式在工业界的普及。C++在操作系统、嵌入式系统、游戏开发、高性能计算等领域都有广泛应用。
3. **著作与教育：** Stroustrup撰写了多本关于C++的权威书籍，包括《C++程序设计语言》（The C++ Programming Language）和《C++设计与演化》（The Design and Evolution of C++），这些书籍对C++的传播和理解起到了关键作用。
4. **学术与职业生涯：** 他曾在美国贝尔实验室工作，并在德克萨斯A&M大学和哥伦比亚大学担任教授，继续在编程语言设计和软件工程领域做出贡献。

简而言之，Bjarne Stroustrup是C++编程语言的创造者，他的工作对现代软件开发产生了深远的影响。