问题背景与现象
在开发基于openai gpt-3.5的应用程序（例如chatgpt克隆）时，开发者可能会遇到一个令人困惑的问题：模型在生成文本响应时，会突然插入一段与当前对话上下文完全无关的代码片段。例如，当期望模型提供通用文本回复时，它却可能输出一段完整的java spring boot控制器代码。
这种现象通常发生在尝试使用text-davinci-003这类旧版Completion API模型时。即使尝试更换API密钥或使用其他Completion模型（如text-davinci-002），问题也可能依然存在，这表明问题的根源可能在于模型选择或提示词策略。
以下是原始应用中使用的server.js代码片段，展示了如何调用text-davinci-003模型：
import express from "express";
import * as dotenv from "dotenv";
import cors from 'cors';
import { Configuration, OpenAIApi } from "openai";
dotenv.config();
const configuration = new Configuration({
apiKey: process.env.OPENAI_API_KEY,
});
const openai = new OpenAIApi(configuration);
const app = express();
app.use(cors());
app.use(express.json());
app.get("/", (req, res) => {
res.status(200).send({
message: "Welcome to OpenAI API",
});
});
app.post('/', async (req, res) => {
try {
const prompt = req.body.prompt;
const response = await openai.createCompletion({
model: "text-davinci-003", // 问题模型
prompt: `${prompt}`,
temperature: 0,
max_tokens: 4000,
top_p: 1,
frequency_penalty: 0.5,
presence_penalty: 0,
});
res.status(200).send({
bot: response.data.choices[0].text
})
}
catch (error) {
console.log(error);
res.status(500).send({ error })
}
})
app.listen(5000, () => console.log("Sever is running on port :- http://localhost:5000"))而模型意外生成的无关代码示例如下：
package com.example.demo.controller;
import java.util.List;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;
import com.example.demo.model.*;
import com.example.demo.*;
@RestController // This means that this class is a Controller
@RequestMapping(path="/demo") // This means URL's start with /demo (after Application path)
public class MainController {
@Autowired // This means to get the bean called userRepository
// Which is auto-generated by Spring, we will use it to handle the data
private UserRepository userRepository;
@GetMapping(path="/add") // Map ONLY GET Requests
public @ResponseBody String addNewUser (@RequestParam String name, @RequestParam String email) {
// ... (此处省略大量Spring Boot代码) ...
return userRepository这段代码显然与一个JavaScript前端的GPT克隆应用上下文格格不入。
核心问题分析
text-davinci-003是OpenAI早期提供的通用文本补全模型，它在生成连贯文本方面表现出色。然而，它并非专门为多轮对话或复杂的代码生成/调试任务而优化。当模型在训练数据中遇到大量代码片段时，如果提示词不够精确，或者模型参数设置不当，它就有可能在某些情况下“误以为”用户需要代码，从而生成其训练数据中常见的代码模式。
具体来说，text-davinci-003使用Completion API，它接收一个单一的prompt字符串，并尝试完成它。这与为聊天场景设计的Chat Completion API（如gpt-3.5-turbo和gpt-4）不同，后者使用结构化的messages数组来维护对话历史和角色，从而能更好地理解上下文和用户意图。
解决方案与最佳实践
解决这类问题的关键在于选择合适的模型和精细化提示词工程。
1. 选择合适的模型
对于涉及代码生成、调试或任何需要复杂理解和遵循指令的任务，以及构建对话式AI应用，强烈建议使用OpenAI更先进、更专业的模型：
- gpt-3.5-turbo: 这是OpenAI目前推荐的用于大多数对话场景的模型，也是ChatGPT背后的模型之一。它在遵循指令、生成代码、理解上下文方面比text-davinci-003有显著提升，且通常更具成本效益。
- gpt-4: 如果需要更高的准确性、更复杂的推理能力和更长的上下文窗口，gpt-4是最佳选择。它在代码生成和理解方面表现卓越。
这些模型通过Chat Completion API进行交互，该API旨在更好地处理对话历史和角色扮演，从而减少生成无关内容的可能性。
2. 精细化提示词工程 (Prompt Engineering)
无论使用哪个模型，有效的提示词工程都是至关重要的。一个清晰、具体的提示词能够显著提高模型的响应质量和相关性。
-
明确角色和任务: 在提示词开始时，明确告知模型它的角色以及需要完成的任务。
- 示例: "你是一个专业的JavaScript编程助手，专注于前端开发，请提供简洁、准确的JavaScript代码和解释。"
-
提供清晰的指令: 明确指出你期望的输出格式、内容和风格。
- 示例: "请生成一个用于处理用户输入的React组件，只提供代码，不要额外的解释。"
- 上下文的重要性: 对于多轮对话，确保将之前的对话历史作为上下文传递给模型。Chat Completion API的messages数组正是为此设计。
-
限制输出范围: 如果不希望模型生成代码，可以明确指示。
- 示例: "请用自然语言解释...，不要提供任何代码片段。"
- 使用“Few-shot”示例: 如果你需要模型遵循特定的输出模式或风格，提供一到几个输入-输出示例可以极大地引导模型。
-
调整模型参数:
- temperature: 控制输出的随机性。对于代码生成或需要精确响应的任务，建议设置较低的值（如0到0.5），以获得更可预测和一致的结果。
- max_tokens: 限制模型生成响应的最大长度。合理设置此值可以防止模型过度生成或跑题。
- frequency_penalty 和 presence_penalty: 这些参数可以减少模型重复生成相同词语或概念的倾向。对于代码生成，通常可以保持默认或略微调整。
代码示例：迁移至Chat Completion API
以下是如何修改server.js，以使用gpt-3.5-turbo模型和Chat Completion API来解决上述问题：
import express from "express";
import * as dotenv from "dotenv";
import cors from 'cors';
import { Configuration, OpenAIApi } from "openai"; // 保持不变
dotenv.config();
const configuration = new Configuration({
apiKey: process.env.OPENAI_API_KEY,
});
const openai = new OpenAIApi(configuration);
const app = express();
app.use(cors());
app.use(express.json());
app.get("/", (req, res) => {
res.status(200).send({
message: "Welcome to OpenAI API",
});
});
app.post('/', async (req, res) => {
try {
const userPrompt = req.body.prompt; // 用户输入的提示词
// 构建messages数组，这是Chat Completion API的关键
const messages = [
// System角色：设定模型行为和整体指导
{
role: "system",
content: "你是一个专业的JavaScript编程助手，专注于前端开发。请提供简洁、准确的JavaScript代码和解释，并且只在用户明确要求时才提供代码。在其他情况下，请用自然语言回答。"
},
// User角色：传递用户的当前请求
{
role: "user",
content: userPrompt
}
// 可以在此处添加更多历史对话，以提供上下文
// { role: "assistant", content: "这是之前的助手回复..." },
// { role: "user", content: "这是之前的用户问题..." }
];
const response = await openai.createChatCompletion({
model: "gpt-3.5-turbo", // 更改为更适合对话和代码任务的模型
messages: messages, // 使用messages数组传递对话历史和当前提示
temperature: 0.7, // 适当调整温度，0表示更确定性，1表示更随机
max_tokens: 1000, // 限制最大生成长度，防止冗余或跑题
top_p: 1,
frequency_penalty: 0,
presence_penalty: 0,
});
res.status(200).send({
// Chat Completion API的响应结构不同，需要从choices[0].message.content获取
bot: response.data.choices[0].message.content
});
}
catch (error) {
console.error("Error calling OpenAI API:", error.response ? error.response.data : error.message);
res.status(500).send({ error: error.response ? error.response.data : error.message });
}
});
app.listen(5000, () => console.log("Sever is running on port :- http://localhost:5000"))代码变更说明：
- 模型切换: model: "text-davinci-003" 更改为 model: "gpt-3.5-turbo"。
- API调用方法: openai.createCompletion 更改为 openai.createChatCompletion。
-
提示词结构: prompt:${prompt}`更改为messages: messages。messages是一个数组，每个元素都是一个包含role（system,user,assistant）和content`的对象。
- system角色用于设置模型的整体行为和指导方针，例如“你是一个...”。
- user角色用于传递用户的当前输入。
- assistant角色用于表示模型的历史回复（在多轮对话中）。
- 响应数据获取: response.data.choices[0].text 更改为 response.data.choices[0].message.content。
- 错误处理增强: 增加了更详细的错误日志，以便在API调用失败时能获取更多信息。
注意事项
- API密钥安全: 确保您的OpenAI API密钥安全存储在环境变量中，不要直接硬编码到代码中或暴露在客户端。
- 成本考量: gpt-3.5-turbo通常比text-davinci-003更便宜，但具体费用取决于使用量。gpt-4功能更强大，但价格也更高。
- 模型更新: OpenAI会持续更新其模型，请关注官方文档以获取最新信息和最佳实践。
- 迭代优化: 提示词工程是一个持续迭代的过程。根据实际使用效果，不断调整system提示词、用户提示词以及模型参数，以达到最佳效果。
总结
在构建基于OpenAI API的应用程序时，避免模型生成无关内容，特别是意外的代码片段，关键在于明智地选择模型和精心设计提示词。对于对话式AI和代码相关的任务，优先使用gpt-3.5-turbo或gpt-4等Chat Completion API模型。同时，通过在system提示词中明确模型角色、任务和限制，并在user提示词中提供清晰具体的指令，可以显著提高模型的响应质量和相关性，从而提供更专业、更符合预期的用户体验。
