本文将详细介绍如何在LangChain.js项目中，利用`handleLLMEnd`回调函数，准确追踪OpenAI语言模型的Token使用量，包括提示词和完成词的消耗。通过集成此机制，开发者可以有效监控每次模型运行的资源开销，为成本估算和性能优化提供数据支持。
引言：LangChain.js中Token追踪的挑战
在开发基于LangChain和OpenAI的项目时，有效追踪每次模型调用（LLM run）的Token使用量和估算成本是至关重要的。这不仅有助于成本控制，也能为性能优化提供数据依据。然而，与LangChain Python版本中方便的get_openai_callback()方法不同，LangChain.js框架中并没有直接对应的内置函数来获取这些信息，这使得开发者在JavaScript环境中面临挑战。尝试使用一些看似合理的代码（例如由聊天机器人提供的chain.getOpenAICallback()）往往会因为方法不存在而失败。
解决方案核心：使用handleLLMEnd回调
LangChain.js提供了一个强大的回调系统，允许开发者在链（Chain）或语言模型（LLM）生命周期的特定事件发生时执行自定义逻辑。要追踪OpenAI模型的Token使用量，最有效的方法是利用LLM的回调机制，特别是handleLLMEnd函数。当语言模型完成其执行并返回结果时，handleLLMEnd会被触发，并提供包含Token使用详情的输出数据。
实现步骤与代码示例
以下是如何在LangChain.js中设置ChatOpenAI模型以追踪Token使用量的具体步骤和代码示例：
- 导入必要的模块：首先，确保从langchain/chat_models/openai导入ChatOpenAI。
- 定义Token计数器：在模型初始化之前，定义全局或作用域内的变量来累积不同类型的Token使用量。
- 配置ChatOpenAI实例：在创建ChatOpenAI实例时，通过callbacks属性传入一个包含handleLLMEnd函数的数组。
import { ChatOpenAI } from 'langchain/chat_models/openai';
// 定义全局变量来累积Token使用量
let totalCompletionTokens = 0; // 累积的完成词Token数
let totalPromptTokens = 0; // 累积的提示词Token数
let totalExecutionTokens = 0; // 累积的总Token数
// 初始化ChatOpenAI模型，并配置回调函数
const llm = new ChatOpenAI({
callbacks: [
{
/**
* 当LLM执行结束时触发的回调函数
* @param {Object} output - LLM执行的输出，包含tokenUsage信息
* @param {string} runId - 当前运行的ID
* @param {string} [parentRunId] - 父运行的ID（如果存在）
* @param {string[]} [tags] - 与运行相关的标签
*/
handleLLMEnd: (output, runId, parentRunId, tags) => {
// 从输出中提取Token使用详情
const { completionTokens, promptTokens, totalTokens } = output.llmOutput?.tokenUsage;
// 累加Token数量，确保处理undefined情况
totalCompletionTokens += completionTokens ?? 0;
totalPromptTokens += promptTokens ?? 0;
totalExecutionTokens += totalTokens ?? 0;
// 可以在此处打印每次运行的Token详情
console.log(`--- LLM Run ${runId} Ended ---`);
console.log(`Prompt Tokens: ${promptTokens ?? 0}`);
console.log(`Completion Tokens: ${completionTokens ?? 0}`);
console.log(`Total Tokens for this run: ${totalTokens ?? 0}`);
console.log(`Current Accumulated Prompt Tokens: ${totalPromptTokens}`);
console.log(`Current Accumulated Completion Tokens: ${totalCompletionTokens}`);
console.log(`Current Accumulated Total Tokens: ${totalExecutionTokens}`);
},
},
],
// 必须使用支持Token计数的模型，例如gpt-3.5-turbo系列
modelName: 'gpt-3.5-turbo-0613',
// 其他OpenAI配置，例如temperature, openAIApiKey等
temperature: 0.7,
openAIApiKey: process.env.OPENAI_API_KEY,
});
// 示例：如何使用配置了回调的LLM实例
async function runExampleChain() {
console.log("Starting example chain run...");
const result = await llm.call("What is the capital of France?");
console.log("LLM Call Result:", result);
const result2 = await llm.call("What is the highest mountain in the world?");
console.log("LLM Call Result 2:", result2);
console.log("\n--- Final Accumulated Token Usage ---");
console.log(`Total Prompt Tokens Across All Runs: ${totalPromptTokens}`);
console.log(`Total Completion Tokens Across All Runs: ${totalCompletionTokens}`);
console.log(`Total Execution Tokens Across All Runs: ${totalExecutionTokens}`);
}
// 调用示例函数
runExampleChain();在上述代码中：
- output.llmOutput?.tokenUsage 是获取Token使用详情的关键路径。它包含 completionTokens（模型生成的Token数）、promptTokens（输入给模型的提示词Token数）和 totalTokens（本次调用的总Token数）。
- 我们使用 ?? 0 来处理可能出现的 undefined 情况，确保累加操作的健壮性。
- modelName: 'gpt-3.5-turbo-0613' 是一个重要的配置。经验表明，对于ChatOpenAI，使用gpt-3.5-turbo或更新的聊天模型版本（如gpt-3.5-turbo-0613）才能正确返回tokenUsage信息。
注意事项
- 模型兼容性：在LangChain.js（特别是版本0.0.116左右）中，tokenUsage信息似乎主要通过ChatOpenAI实例与gpt-3.5-turbo系列模型一起工作。直接使用OpenAI（基础LLM类）或旧版模型可能无法获取到这些数据。
- 成本估算：获取到Token使用量后，可以根据OpenAI的官方定价页面（通常以每千个Token的价格计算）来估算每次运行或整个应用的成本。这需要将累积的Token数除以1000，然后乘以对应的模型价格。
- 作用域管理：上述示例使用了全局变量来累积Token。在更复杂的应用中，你可能需要将这些计数器封装在类或特定上下文中，以便更好地管理和区分不同会话或任务的Token使用。
- 异步性：handleLLMEnd是同步执行的，但它发生在异步LLM调用完成之后。确保你的Token累积逻辑能够正确处理多次异步调用。
- 错误处理：在实际应用中，应考虑output.llmOutput?.tokenUsage可能为undefined的情况，并添加适当的错误处理或默认值。
总结
通过巧妙地利用LangChain.js提供的回调机制，特别是ChatOpenAI的handleLLMEnd函数，开发者可以有效地追踪OpenAI语言模型的Token使用量。这种方法虽然不如Python版本直接，但功能强大且灵活，能够为LangChain.js项目的成本监控、性能分析和资源优化提供关键数据支持。理解并正确实现这一机制，是构建健壮和可控的LangChain.js应用的重要一步。
