2026-09-23·by Sijie Wang#standmeet#architecture#design

eval-harness-on-prod-loop

Eval-harness 复用生产环路

父级: agent-core

Eval-harness 只导入公开的 agentcore facade(从不导入 internal/),并运行与生产环境逐字节相同的 agent 循环——这样在 eval 中发现的 bug 就是真实存在的 bug,而不是重新实现造成的假象。Fixture 作为合法的替代数据源注入,而不是 mock(它们满足的是与 postgres repo 相同的那些端口)。

它从多个维度测试 agent 质量:grounding(回应是否有依据)、隐私金丝雀(privacy canaries,一个绝不能泄露的秘密——interview.py)、工具使用机制、上下文压缩(>32K——compaction-test.sh)、跨对话一致性(cross-conversation-test.sh)——分为确定性的场景运行(scenarios/*.yml--scenariosexpect_ghost 之类的标准答案;scenario.go/runner.go)和在真实模型上判定的 live 运行(*_live_test.go,以及一个逐轮驱动 --ask 的面试官 agent)。

这个 facade 同时也是 agent-as-injectable-driver 的雏形——"注入 fixture、启动真实循环"这个做法,被泛化成了"注入能力(capabilities)与 prompt、并行启动多个"。

about this entry

One of sijie's wiki entries. The AI on this site is grounded in the same corpus and answers in sijie's voice, with citations back to entries like this one — answering costs sijie money, so it waits behind a code: enter an access code →