构建 AI Agent 黄金评测集:从生产流量到工具调用准确率

MMLU 等公开基准衡量的是通用智能,但无法预测您的特定 Agent 如何处理现实世界中的工具调用。本教程结合了两个关键工作流:从生产日志构建版本控制的“黄金数据集”,并利用它通过 Celedog.io 在不同模型间严格测试工具调用准确率(包括选择、参数和序列)。

引言:为什么生产数据至关重要

您更新了提示词或切换了模型供应商,结果您的 Agent 突然开始产生幻觉或无法完成任务。公开的基准测试无法捕捉到这些问题。您需要一个黄金评测集(Golden Eval Dataset):一组经过精心挑选的真实用户输入及其验证过的预期输出,用作回归测试套件。

本指南将两个核心教程合并为一个工作流:从生产流量构建该数据集,并利用它专门测试工具调用准确率(Tool Calling Accuracy)。我们将使用 Celedog.io 跨多个模型无缝运行这些评估。

第一部分:构建黄金数据集(5个步骤)

黄金数据集不仅仅是一个问题列表;它是您 Git 仓库中版本控制的产物。

步骤 1:抽样生产流量

提取 1-2 周的日志。关注多样化的意图。如果 70% 的流量是“重置密码”,您的数据集应反映这种分布。在评估前务必去除个人身份信息(PII)。

步骤 2:去重与聚类

生产数据具有高度重复性。使用嵌入相似度(Embedding Similarity)对相似查询进行聚类。对于“如何重置密码?”,您只需要一个代表性样本,而不是五十个。对于稳健的回归测试集,目标约为 100-1000 个样本。

步骤 3:定义预期输出与评分规则

对于工具调用,“预期输出”不仅仅是文本——它是结构化的函数调用。清晰地定义您的评分规则(Rubric):

  • 工具选择:它是否调用了 book_meeting 而不是 cancel_meeting?
  • 参数准确性:它是否提取了正确的日期和时间?
  • 拒绝/安全性:它是否正确拒绝了无效请求?

步骤 4:“试运行”与修剪

用您当前的生产模型运行此数据集。如果模型在某案例上失败但预期本身是错误的,请修正预期。如果案例模棱两可,请将其删除。黄金数据集必须具有高信噪比。

步骤 5:版本控制

将您的 dataset.jsonl 和 rubric.md 提交到 Git。这使您能够准确追踪回归问题是在何时引入的。

第二部分:测试工具调用准确率

一旦数据集准备就绪,您需要评估模型处理结构化输出的能力。工具调用错误通常分为三类:

  1. 幻觉工具:调用了不存在的函数。
  2. 参数缺失:调用 get_weather 时未提供位置。
  3. 类型错误:在需要整数的地方传递了字符串。

第三部分:通过 Celedog.io 运行基准测试

无需为 OpenAI、Anthropic 和 Google 管理单独的 API 密钥,使用 Celedog.io 的统一 API 即可针对您的黄金数据集对所有模型进行基准测试。

评估脚本示例

这是一个使用 Celedog.io 客户端评估工具调用的最小化 TypeScript 示例:

import OpenAI from "openai";

// 初始化 Celedog.io 客户端
const client = new OpenAI({
  apiKey: process.env.CELEDG_API_KEY,
  baseURL: "https://celedog.io/v1",
});

const tools = [
  {
    type: "function",
    function: {
      name: "get_weather",
      description: "获取当前天气",
      parameters: {
        type: "object",
        properties: {
          location: { type: "string", description: "城市名称" },
        },
        required: ["location"],
      },
    },
  },
];

const dataset = [
  { input: "东京天气怎么样?", expected_tool: "get_weather" },
  // ... 从您的黄金数据集中加载
];

async function runEval(modelName: string) {
  let passCount = 0;
  
  for (const item of dataset) {
    const response = await client.chat.completions.create({
      model: modelName, // 例如 "openai/gpt-4o", "anthropic/claude-3.5-sonnet"
      messages: [{ role: "user", content: item.input }],
      tools: tools,
      tool_choice: "auto",
    });

    const message = response.choices[0].message;
    const toolCall = message.tool_calls?.[0];
    
    // 简单检查:是否调用了正确的工具?
    if (toolCall?.function.name === item.expected_tool) {
      passCount++;
    }
  }
  
  console.log(`${modelName} 准确率: ${passCount / dataset.length * 100}%`);
}

// 跨模型运行
runEval("openai/gpt-4o");
runEval("anthropic/claude-3.5-sonnet");
runEval("google/gemini-pro");

结论

通过将基于生产的黄金数据集与严格的工具调用检查相结合,您可以超越“凭感觉”的开发模式。使用 Celedog.io 自动化整个模型领域的这一过程,确保您的 Agent 在触达用户之前能够可靠地工作。


Last updated September 30, 2026

Where to go next