Eval-harness 复用生产环路
父级: agent-core
Eval-harness 只导入公开的 agentcore facade(从不导入 internal/),并运行与生产环境逐字节相同的 agent 循环——这样在 eval 中发现的 bug 就是真实存在的 bug,而不是重新实现造成的假象。Fixture 作为合法的替代数据源注入,而不是 mock(它们满足的是与 postgres repo 相同的那些端口)。
它从多个维度测试 agent 质量:grounding(回应是否有依据)、隐私金丝雀(privacy canaries,一个绝不能泄露的秘密——interview.py)、工具使用机制、上下文压缩(>32K——compaction-test.sh)、跨对话一致性(cross-conversation-test.sh)——分为确定性的场景运行(scenarios/*.yml 经 --scenarios,expect_ghost 之类的标准答案;scenario.go/runner.go)和在真实模型上判定的 live 运行(*_live_test.go,以及一个逐轮驱动 --ask 的面试官 agent)。
这个 facade 同时也是 agent-as-injectable-driver 的雏形——"注入 fixture、启动真实循环"这个做法,被泛化成了"注入能力(capabilities)与 prompt、并行启动多个"。