使用 LlamaChat 和 Excel 构建一个简单的聊天机器人]

在这篇文章中，我将解释如何使用 llama2 模型构建一个聊天机器人来智能查询 excel 数据。

我们正在建设什么

1. 加载 excel 文件。
2. 将数据分割成可管理的块。
3. 将数据存储在矢量数据库中以便快速检索。
4. 使用本地 llama2 模型来回答基于 excel 文件的内容。

先决条件：

python (≥ 3.8)
库：langchain、pandas、非结构化、chroma

第 1 步：安装依赖项

%pip install -q unstructured langchain
%pip install -q "unstructured[all-docs]"

第 2 步：加载 excel 文件

import pandas as pd

excel_path = "book2.xlsx"
if excel_path:
    df = pd.read_excel(excel_path)
    data = df.to_string(index=false)
else:
    print("upload an excel file")

第 3 步：将数据分块并存储在向量数据库中

大型文本数据被分割成更小的、重叠的块，以进行有效的嵌入和查询。这些块存储在 chroma 矢量数据库中。

from langchain_text_splitters import recursivecharactertextsplitter
from langchain_community.embeddings import ollamaembeddings
from langchain_community.vectorstores import chroma

text_splitter = recursivecharactertextsplitter(chunk_size=7500, chunk_overlap=100)
chunks = text_splitter.split_text(data)

embedding_model = ollamaembeddings(model="nomic-embed-text", show_progress=false)
vector_db = chroma.from_texts(
    texts=chunks, 
    embedding=embedding_model,
    collection_name="local-rag"
)

步骤 4：初始化 llama2 模型

我们使用 chatollama 在本地加载 llama2 模型。

from langchain_community.chat_models import chatollama

local_model = "llama2"
llm = chatollama(model=local_model)

第 5 步：创建查询提示

聊天机器人将根据 excel 文件中的特定列名称进行响应。我们创建一个提示模板来指导模型

from langchain.prompts import prompttemplate

query_prompt = prompttemplate(
    input_variables=["question"],
    template="""you are an ai assistant. answer the user's questions based on the column names: 
    id, order_id, name, sales, refund, and status. original question: {question}"""
)

第 6 步：设置检索器

我们配置一个检索器从向量数据库中获取相关块，llama2 模型将使用它来回答问题。

from langchain.retrievers.multi_query import multiqueryretriever

retriever = multiqueryretriever.from_llm(
    vector_db.as_retriever(), 
    llm,
    prompt=query_prompt
)

第 7 步：构建响应链

响应链集成：

吉卜力风格图片在线生成

将图片转换为吉卜力艺术风格的作品

下载

1. 用于获取上下文的检索器。
2. 格式化问题和上下文的提示。
3. 用于生成答案的 llama2 模型。
4. 用于格式化响应的输出解析器。

from langchain.prompts import chatprompttemplate
from langchain_core.runnables import runnablepassthrough
from langchain_core.output_parsers import stroutputparser

template = """answer the question based only on the following context:
{context}
question: {question}
"""

prompt = chatprompttemplate.from_template(template)

chain = (
    {"context": retriever, "question": runnablepassthrough()}
    | prompt
    | llm
    | stroutputparser()
)

第 8 步：提出问题

现在我们准备好提问了！以下是我们如何调用链来获取响应：

raw_result = chain.invoke("how many rows are there?")
final_result = f"{raw_result}\n\nif you have more questions, feel free to ask!"
print(final_result)

样本输出

当我在示例 excel 文件上运行上述代码时，我得到的结果如下：

Based on the provided context, there are 10 rows in the table.
If you have more questions, feel free to ask!

结论：

这种方法利用嵌入和 llama2 模型的强大功能，为 excel 数据创建智能、交互式聊天机器人。通过一些调整，您可以扩展它以处理其他类型的文档或将其集成到成熟的应用程序中！

在我的 linkedin 上检查 ui 的工作示例：

隆重推出 bchat excel：用于 excel 文件交互的人工智能对话式工具