评估方法论：不靠感觉，靠跑出来

一句话：好不好不是人读出来的，是跑出来、测出来、而且检查本身能真红，才算数。

动机：人凭启发式判断 prompt 好坏不可靠；跑实验比猜便宜；不可测量的启发式，就是老式 AI 失败的原因。

标准先行，产品定 bar。评估只给证据，bar 来自产品自己的要求，不是评估自己定的。
被测系统必须独立可运行、无共享状态。只有这样才能并行扇出、重复跑，从分布里读质量，而不是看单次结果。

裁判对照任务规约和真值读全轨迹：工具选择、参数合法性、步骤效率、端到端完成。
替身必须能真红：故障注入、一次性证据、模拟真实检索语义的替身。
金标来自全量复本独立盲标、共识、第四方复核；每轮换新鲜数据，同一批不连用两次。

指标必须全套：分层交叉验证、每类 precision / recall / F1、混淆矩阵、均值与标准差、按难度拆分。只报训练结果不算数。

裁判形式放在哪：第三步的裁判不是单个评分器，而是一个面板——代码能判的用确定性检查，代码看不到的用带评分标准的 LLM 裁判，裁判不可信任的用人工；见 scorer-panel。哪种形式配哪种决策，本身就是方法的一部分：A 提示词 vs B 提示词的决策用成对比较，因为相对判断比绝对分数稳定；把“好”拆成二元判断的决策树，避免一个笼统分数把一切平均掉；绝对判断用 G-Eval 式评分标准打分。裁判还要校准：在带标签子集上测裁判与人工的一致率，低于阈值重写评分标准，不重写系统。判断一个 prompt 或系统好不好，用的就是这整套方法，不是只看裁判形式。

流水线：定标准、搭独立 harness、建金标 / 测试集、并行重复跑、裁判打分、全套指标加缺口、失败进固定回归集。

分项主题不在此重复：golden-set、scorer-panel、trace-evals、regression-ci、nondeterminism-statistics、online-evals。harness 本身的实现：eval-harness-on-prod-loop。

这套方法的两个实例：StandMeet cue 验收协议（原题回归、金集回归、通用探针、个人对照），以及 Lucerna grading / register 模型线（全套指标加换新书的真书评测）。