挑战：超越传统提示
在使用语言模型 (llm) 时，开发人员面临着一系列常见的挑战。我们花费了无数的时间来制作完美的提示，却发现当我们切换模型或输入略有变化时，我们精心设计的解决方案就会崩溃。传统的即时工程方法是手动的、耗时的，而且通常是不可预测的。
解决方案：斯坦福大学的 dspy 框架
dspy（声明式自我改进 python）的出现是斯坦福 nlp 对这些挑战的回答。正如他们的网站 (dspy.ai) 所描述的，它是“用于编程（而不是提示）语言模型的开源框架”。它支持构建模块化 ai 系统的快速迭代，并提供用于优化提示和权重的算法，无论您是构建简单的分类器、复杂的 rag 管道还是代理循环。
工作原理：核心组件
1. 入门
首先，安装框架：
pip install -u dspy
import dspy
lm = dspy.lm('openai/gpt-4-mini', api_key='your_openai_api_key')
dspy.configure(lm=lm)
2. 理解签名
签名是 dspy 声明式方法的基础。他们以简单的格式定义输入和输出的语义角色：
# simple question answering "question -> answer" # retrieval-based qa "context: list[str], question: str -> answer: str" # multiple-choice with reasoning "question, choices: list[str] -> reasoning: str, selection: int"
3. 使用模块
dspy 为不同的用例提供了几个关键模块：
- 预测：直接 llm 回复
- chainofthought：逐步推理
- programofthought：基于代码的解决方案
- react：基于代理的交互
- multichaincomparison：比较多个推理路径
4. 实际应用
数学问题解决
math = dspy.chainofthought("question -> answer: float")
math(question="two dice are tossed. what is the probability that the sum equals two?")
检索增强生成 (rag)
def search_wikipedia(query: str) -> list[str]:
results = dspy.ColBERTv2(url='http://20.102.90.50:2017/wiki17_abstracts')(query, k=3)
return [x['text'] for x in results]
rag = dspy.ChainOfThought('context, question -> response')
超越基础
dspy 支持各种高级用例：
- 分类任务
- 信息提取
- 带有工具的基于代理的系统
- 复杂的 rag 管道
框架的自我改进特性意味着您的应用程序可以随着时间的推移优化其性能，从交互和结果中学习。
准备好开始了吗？
您可以在 dspy 文档和社区存储库中找到完整的示例并探索更多用例，网址为 https://github.com/gabrielvanderlei/dspy-examples.
dspy 代表了从传统的即时工程到使用语言模型的声明式编程的范式转变。它为法学硕士开发带来了结构、可靠性和可预测性，使构建和维护人工智能驱动的应用程序变得更加容易。
