Ibragim(@ibragim_bad;Nebius 评测工程师) · 阅读材料

值得学什么

适合想比较模型或框架开销、却没有可信任务集的人。文章从真实工作中的失败与修正出发,说明如何构造可验收任务,并检验验收器是否会误判。

准备

能阅读代码和测试,理解隔离运行环境;不要求复用作者私有工作记录。

动手试试

编辑建议:用自编的重试计费小例子,分别准备正确解、无操作、接近正确但有一处错误、另一种正确解。检查验收器能否分开这四种情况,再比较两个配置。

阅读依据

全文六步:筛任务、划清显式要求与待发现细节、隔离打包、验证验收器、重复运行、回看轨迹。作者从十五项收敛到十项,并保留人工审核。

Agent 系统 · 评测与基准 · AI 编程 · Agent Evals · Harbor · Verifier · Trajectory Audit

2026-10-18 日报