空间语料检索与评测 · case-06
评测与判据：怎么证明你的智能体真的行
先定义可复核的任务集和判据，再固定分母、正反例与评测口径，报告智能体的表现和不确定性。
如何避免用少量样例或事后调整判据制造漂亮分数，并说明评测结果到底支持什么结论？
KEY POINTS
这条内容的重点
高级 8 小时
- 把任务成功、部分完成、失败和不可判定等情形转成事先写明的判定规则。
- 通过正反例和一致性检查验证判据，并显式记录指标的分子、分母和排除项。
- 基于 30 题以上任务集报告评测结果、样本限制和可支持的结论。
WORKFLOW
内容流程
冻结任务集与判据
覆盖典型空间任务和边界情形，编写判据与预期输出，并在正式运行前固定版本。
本步产物 任务集、判据表和版本记录。
检查判据质量
为判据准备正例、反例和不可判定样例，比较两份判据的一致性并修正规则歧义。
本步产物 成对测试结果与判据一致性记录。
计算并核对指标
分别记录每项指标的分子、分母、缺失项和判定类别，检查正确率与其他质量指标是否背离。
本步产物 口径清楚的指标表和错误分类。
做样本量与偏差分析
扫描样本量和判据误差，说明小样本、题目组成及事后调整对结论的影响。
本步产物 评测报告、限制说明和后续补测建议。
METHODS
相关方法
- 任务集分层
- 事前冻结判据
- 正反例测试
- 分母审计
- 一致性检验
- 样本量扫描
DELIVERABLES
可获得的内容
- 30 题以上的时空智能体任务集
- 带正反例的判据与自测
- 注明指标口径和限制的评测报告
LIMITATIONS
适用范围与注意事项
- 有限任务集上的分数不能直接代表生产环境表现；结论应限定在任务、数据和模型版本范围内。
- 判据本身存在误差时，指标精度不会高于判据质量。
MATERIALS
相关资料与下载
只展示已核准公开的资料。
当前没有已批准公开的资料。待核验或私有文件不会显示。