构建 AI Agent 黄金评测集:从生产流量到工具调用准确率
MMLU 等公开基准衡量的是通用智能,但无法预测您的特定 Agent 如何处理现实世界中的工具调用。本教程结合了两个关键工作流:从生产日志构建版本控制的“黄金数据集”,并利用它通过 Celedog.io 在不同模型间严格测试工具调用准确率(包括选择、参数和序列)。
引言:为什么生产数据至关重要
您更新了提示词或切换了模型供应商,结果您的 Agent 突然开始产生幻觉或无法完成任务。公开的基准测试无法捕捉到这些问题。您需要一个黄金评测集(Golden Eval Dataset):一组经过精心挑选的真实用户输入及其验证过的预期输出,用作回归测试套件。
本指南将两个核心教程合并为一个工作流:从生产流量构建该数据集,并利用它专门测试工具调用准确率(Tool Calling Accuracy)。我们将使用 Celedog.io 跨多个模型无缝运行这些评估。
第一部分:构建黄金数据集(5个步骤)
黄金数据集不仅仅是一个问题列表;它是您 Git 仓库中版本控制的产物。
步骤 1:抽样生产流量
提取 1-2 周的日志。关注多样化的意图。如果 70% 的流量是“重置密码”,您的数据集应反映这种分布。在评估前务必去除个人身份信息(PII)。
步骤 2:去重与聚类
生产数据具有高度重复性。使用嵌入相似度(Embedding Similarity)对相似查询进行聚类。对于“如何重置密码?”,您只需要一个代表性样本,而不是五十个。对于稳健的回归测试集,目标约为 100-1000 个样本。
步骤 3:定义预期输出与评分规则
对于工具调用,“预期输出”不仅仅是文本——它是结构化的函数调用。清晰地定义您的评分规则(Rubric):
- 工具选择:它是否调用了
book_meeting而不是cancel_meeting? - 参数准确性:它是否提取了正确的日期和时间?
- 拒绝/安全性:它是否正确拒绝了无效请求?
步骤 4:“试运行”与修剪
用您当前的生产模型运行此数据集。如果模型在某案例上失败但预期本身是错误的,请修正预期。如果案例模棱两可,请将其删除。黄金数据集必须具有高信噪比。
步骤 5:版本控制
将您的 dataset.jsonl 和 rubric.md 提交到 Git。这使您能够准确追踪回归问题是在何时引入的。
第二部分:测试工具调用准确率
一旦数据集准备就绪,您需要评估模型处理结构化输出的能力。工具调用错误通常分为三类:
- 幻觉工具:调用了不存在的函数。
- 参数缺失:调用
get_weather时未提供位置。 - 类型错误:在需要整数的地方传递了字符串。
第三部分:通过 Celedog.io 运行基准测试
无需为 OpenAI、Anthropic 和 Google 管理单独的 API 密钥,使用 Celedog.io 的统一 API 即可针对您的黄金数据集对所有模型进行基准测试。
评估脚本示例
这是一个使用 Celedog.io 客户端评估工具调用的最小化 TypeScript 示例:
import OpenAI from "openai";
// 初始化 Celedog.io 客户端
const client = new OpenAI({
apiKey: process.env.CELEDG_API_KEY,
baseURL: "https://celedog.io/v1",
});
const tools = [
{
type: "function",
function: {
name: "get_weather",
description: "获取当前天气",
parameters: {
type: "object",
properties: {
location: { type: "string", description: "城市名称" },
},
required: ["location"],
},
},
},
];
const dataset = [
{ input: "东京天气怎么样?", expected_tool: "get_weather" },
// ... 从您的黄金数据集中加载
];
async function runEval(modelName: string) {
let passCount = 0;
for (const item of dataset) {
const response = await client.chat.completions.create({
model: modelName, // 例如 "openai/gpt-4o", "anthropic/claude-3.5-sonnet"
messages: [{ role: "user", content: item.input }],
tools: tools,
tool_choice: "auto",
});
const message = response.choices[0].message;
const toolCall = message.tool_calls?.[0];
// 简单检查:是否调用了正确的工具?
if (toolCall?.function.name === item.expected_tool) {
passCount++;
}
}
console.log(`${modelName} 准确率: ${passCount / dataset.length * 100}%`);
}
// 跨模型运行
runEval("openai/gpt-4o");
runEval("anthropic/claude-3.5-sonnet");
runEval("google/gemini-pro");
结论
通过将基于生产的黄金数据集与严格的工具调用检查相结合,您可以超越“凭感觉”的开发模式。使用 Celedog.io 自动化整个模型领域的这一过程,确保您的 Agent 在触达用户之前能够可靠地工作。
Last updated September 30, 2026
Where to go next
- Try Celedog — free credits on signup, no card required.
- API documentation
- Per-model pricing
- More Celedog Tutorials