在 GitHub 查看原文

Lesson 08 — 评估：本地可复现 mini-benchmark

本课目标：解决 GUI agent 评估的核心难题——不可复现。自建本地 mini-benchmark（≥8 任务 + 功能性验收 checker），接入 frontier 课的 TrajectoryEvaluator，用它评 L04 裸版 vs L06 加固版。

学完你能回答：「会上网的 agent 怎么评估？」——答案是 WebArena 思路：自托管本地任务集 + 功能性验收（检查环境终态，不评 agent 说了什么），加上原有的轨迹评估器抓过程病（循环/步数爆炸）。

0. GUI agent 评估的核心难题

GUI agent 的评估有个别的难题：不可复现。

传统 RAG 评估                 GUI agent 评估
─────────────                ─────────────
固定问答集 + 标准答案          真实网站会改版
ragas 跑分可复现              今天过的评测明天挂
文本相似度能评答案            答案对 ≠ 任务做成
                            （agent 可能「说对了」但没真点对）

两个具体痛点：

1. 真实网站会变：arXiv/GitHub 改版后，昨天能跑通的 agent 今天挂——评测今天过明天失效，没法对照。
2. 文本相似度评不了「任务做成没」：agent 输出「版本是 v0.8.0」，文本对了——但它真的打开详情页提取了吗？还是从搜索摘要编的？评答案文本分不出这两种。

🎯 核心认知：GUI agent 的评估不能评「agent 说了什么」（文本），要评「agent 做成了什么」（环境终态）。这是 WebArena 给的范式——功能性验收。

1. WebArena 的答案：自托管 + 功能性验收

📖 WebArena（Zhou et al. 2023, arXiv:2307.13854）——L00 已导读，这里看它的评估方法。

WebArena 的两个关键设计：

功能性验收是 GUI 评估的灵魂：agent 说「我加购了」不算数，去查购物车 API 看有没有那件商品才算数。这绕过了「文本编造」的陷阱——agent 得真做了才算通过。

本课的 mini-benchmark

照搬 WebArena 思路，但用本地 test_pages：

• 自托管：本地 test_pages（L00-L07 造的那些），python -m http.server 起，内容固定可复现。
• 功能性验收：每个任务一个 checker(session, answer) -> bool——检查环境终态（当前 URL 对吗/页面字段提对了吗）而非答案文本。

2. mini-benchmark 任务集（≥8 任务）

覆盖 L01-L07 的所有能力维度：

每个任务的 checker 是功能性的：

def check_t1(session, answer):
    """T1: 搜索 LangGraph 提取第1条版本号。
    功能性验收：答案含 v0.12.0（第1页第1条的版本）。"""
    return "v0.12.0" in answer

关键：checker 检查的是「任务做成的客观结果」，不检查 agent 走了哪条路、说了什么。agent 可以走不同路径，只要终态对就算通过。

3. 接入 TrajectoryEvaluator

frontier 课 L08 的 TrajectoryEvaluator 评过程（步数/循环/工具调用/失败归因）。本课的 mini-benchmark 评结果（功能性验收）。两者结合 = 双层评估：

mini-benchmark（结果层）          TrajectoryEvaluator（过程层）
─────────────────────            ──────────────────────
任务做成了吗（checker）            过程好不好（步数/循环/归因）
✅/❌ 二值                         指标卡（多维度）
评能力下限                         评效率与健康

为什么两层都要：

• 只评结果：agent 可能用 50 步完成一个 5 步能成的任务——成功但低效，结果层看不出。
• 只评过程：agent 可能步数少但没做对——过程漂亮但结果错，过程层看不出。
• 两层结合：成功且高效才算真好。

轨迹格式对齐

本课的 agent 循环记录的轨迹（每步 {step, node, input, output}）对齐 frontier 的 baseline_trace.jsonl 格式，直接喂 TrajectoryEvaluator.evaluate_file()。

4. 评 L04 裸版 vs L06 加固版

用 mini-benchmark 跑两版 agent，出指标卡：

这是评估主线的闭环：L00 立基线 → L01-L07 加机制 → L08 量化每个机制的收益。从「感觉有用」变成「表格数字」。

5. 流派对比：怎么评 GUI agent

选 ③ 的理由：可复现是评估主线的命根子（L00 就定了）。功能性验收绕过编造陷阱。本地页虽不如真实复杂，但能造出动态渲染/弹窗/注入/刁难等关键场景——评机制够用。

6. 落地清单

本课是评估课，无 research-assistant 代码改动（轨迹落盘复用现有 traces/ 机制，L09 落地时接）。产出：

验收

# 起所有本地服务（L00/L01/L06/L07）
cd gui-agent-lessons/00_overview/test_pages && python -m http.server 8765 &
cd gui-agent-lessons/01_playwright/test_pages && python -m http.server 8766 &
cd gui-agent-lessons/06_reliability/test_pages && python -m http.server 8767 &
cd gui-agent-lessons/07_injection/test_pages && python -m http.server 8768 &

cd gui-agent-lessons/08_benchmark
python code.py

# 预期输出：
#  - 8 任务 × 2 版本（裸/加固）= 16 次跑
#  - 指标卡：成功率/平均步数/循环次数
#  - 加固版成功率↑、步数↓（尤其 T6 刁难/T7 注入）

⚠️ 需 playwright + 四个本地服务。mock LLM 路径零 API。每格标注实测/mock。

7. 本课在两条主线上的位置

• 评估主线：本课是评估主线的闭环点——L00 立裸基线，L01-L07 加机制，本课建度量工具量化每个机制的收益。从此「加固有用」「安全有用」从感觉变成表格数字。L11 收益表全用本课的 benchmark + frontier 的 TrajectoryEvaluator。
• 观察-行动接口主线：本课不直接涉及接口设计，但功能性验收隐含一个判断——只看终态、不问路径，等于承认「观察-行动接口的实现细节不影响评分」。这给 L09 落地自由度：browse 工具用文本/视觉/混合都行，只要终态对。但 TrajectoryEvaluator 评过程，会区分「5 步对」和「50 步对」——这是对接口效率的间接评估。

🎯 面试话术

「GUI agent 评估我用 WebArena 思路：自托管本地任务集 + 功能性验收——不评 agent 说了什么，检查环境终态（到达目标页了吗/字段提对了吗）。这绕过『文本编造』陷阱，agent 得真做成才算过。加上我原有的 TrajectoryEvaluator 评过程（步数/循环/归因），双层评估：成功且高效才算好。8 个本地任务覆盖搜索/翻页/详情/动态渲染/弹窗/刁难/注入/多步，可复现可 CI。用它评 L04 裸版 vs L06 加固版，加固后成功率↑步数↓。」