# MatrixSpec 模型运行与评测对账表 ## 直接答案 > 迁入说明（2026-10-11）：本文来自 Workflow Arena 的研究档案。下文“主归档”和“main”指原来源仓；本目录仅发布可复核的汇总与选卡证据，未打包的原始材料以文字来源定位信息保留。链接与本机路径已为离线阅读整理；原始文件 hash 和发布文件 hash 分开记录，见本目录的来源核验清单。 本文件把“谁运行 MatrixSpec generation”和“谁评测同一批冻结交付”拆成两个可关联的 bundle，避免未来更换 Candidate 模型或 Judge 模型时覆盖旧结果。 - 既有正式 H0 运行使用 `gpt-5.6-luna / xhigh` 作为 Candidate/Harness；新增的独立正式对照条件使用 `gpt-5.6-terra / high`。两者的 Ground Truth Operator 均为 `gpt-5.6-terra / xhigh`。 - 两个正式 H0 generation bundle 都使用两个 `gpt-5.6-terra / xhigh` Blind Judge。Luna/xhigh bundle 的 48 个分数均值为 `90.125`；Terra/high bundle 的 48 个分数均值为 `88.0625`。 - 补充复评使用同一批 24 个冻结匿名 Judge packages，只把 Judge arm 改为两个 `gpt-5.6-sol / high`。本次有 1 个 Judge timeout，最终为 `47/48`，因此状态是 `incomplete`，不发布新的完整均分，也不替代正式 Terra/xhigh 结果。 - H1 主视图使用 `gpt-5.6-terra / high` 作为 Candidate/Harness、`gpt-5.6-terra / xhigh` 作为 Operator 和两个 Blind Judge。按用户明确授权，Supplemental D5 直接替代原始 H1 D5；最终为 `24/24` valid cells、`48/48` Judge outputs、Judge 均分 `93.5208333333`，Candidate/Harness-only `316,713,117` tokens。原始 H1 D5 仅保留为历史事故与治理证据，不进入主分母、成本、Judge 或 Weakness 聚合。 - H1 分析命名空间 `H1/h1-root-cause-20260811-a` 已按用户确认记录 `W-01`、`W-03`、`W-04` 与对应的 `P-01`、`P-02`、`P-03`。它们是派生、可证伪且未经干预实验验证的假设；`W-02`、`W-05` 未确认。本次只授权记录和冻结结果对齐，不授权实现、运行或新 campaign。 - H02 正式六阶段 generation 使用 `gpt-5.6-terra / high` Candidate/Harness、`gpt-5.6-terra / xhigh` Operator 与两个 `gpt-5.6-terra / xhigh` Blind Judges；结果为 `24/24` valid、workflow `17/24`、focused `19/24`、Judge 均分 `94.4791666667`、Candidate/Harness-only `247,515,656` tokens。 - H03 正式 bundle `H03-FORMAL-20260811-R1` 使用相同 actor tuple，结果为 `24/24` valid、workflow `18/24`、focused `18/24`、`48/48` Judge outputs、Judge 均分 `94.8958333333`、Candidate/Harness-only `276,702,480` tokens。它继承 H02 六阶段与 v2 recovery，并实现 H02 fixed RCA 选中的 obligation-level implementation readiness；尚未进行 post-H03 Root Cause/Weakness/Proposal 分析。 - H04 正式 bundle `H04-FORMAL-20260812-R1` 增加 controller-evidence-bound positive Review gate；结果为 `24/24` valid、workflow `12/24`、focused `17/24`、`48/48` Judge outputs、Judge 均分 `89.7916666667`、Candidate/Harness-only `219,748,287` tokens。false-terminal predicate 为 `0`，但 H03 同样为 `0`，因此这只是 safety observation，不是 H04 单因果证明。post-H04 RCA 已完成；H052 明确来源于 `H04/h04-postformal-20260812-019ff55f-a/W-01 → P-01`，与 H05/P-04 分开。 - H05 正式 bundle `H05-P04-FAST-FORMAL-20260812-R1` 来自 H04 post-formal `W-04 → P-04`，结果为 `24/24` valid、workflow `15/24`、focused `20/24`、`48/48` Judge outputs、Judge 均分 `95`、Candidate/Harness-only `259,151,137` tokens。两格自然 authority conflict 均按新机制完成 owner 路由和重确认，但 Fast/priority、基础设施 replacements 与 framework amendment 使总体差异只能描述性解释。 - D8 `prometheus-utf8-negotiation` 始终纳入每代完整 `/24` 统计。H0–H05 保留各自正式运行中的 D8；H052 使用 fresh 修正 D8，合并后为 workflow `24/24`、product `19/24`、Audit finding runs `3/24`、Judge mean `92.7708333`、Candidate/Harness `116,857,308` tokens。旧 D8 evidence 和旧聚合继续保留；本 ledger 只发布完整 24-cell 演化统计。 - H0601 直接继承 H052 `a601aa8`；其历史选择已追溯固化为 H052 `W-01/P-01`（Spec semantic closure）与 `W-02/P-02`（REQ 级 Candidate-visible evidence）。有效结果为 workflow `24/24`、treatment audit `13/24`、external focused `18/24`、pre-hidden visible verification `9/24`、48 个有效 Judge 总分 `4,528`、均值 `94.3333`；Candidate/Harness 成本为 `84,836,263` tokens / `1,199` tools / `1,171.61` credits。三类诊断指标不得合并成产品质量。 - Bare / no-SDD 是独立 comparator baseline，不属于 H generation 或 MatrixSpec treatment。它没有 `workflowCompleted`：24/24 valid、Candidate terminal `24/24`、focused/hidden acceptance `17/24`、Judge `48/48`（sum `3,477`、mean `72.44`），Candidate-only cost 为 `42,327,170` tokens / `721` tools / `553.842237` credits。 - 从 H0 到 H04、H04 分裂出的 H05/H052，以及 H052 后继 H0601，其 Weakness、Root Cause、实际改动与描述性收益见独立的 [MatrixSpec 代际演进简史](../../docs/matrixspec-generation-evolution-history.md)。 - D1–D4 的 focused checks 是 Candidate checkout 内可见、可自行运行的仓库原生测试，不属于严格意义上的 hidden tests；D5、D6、D8 使用 Candidate 不可见的 WorkArena 外置验收 hook，D7 是仓库测试加外置 hook 的混合路由。八个任务均另有 Candidate 不可见的 reference/oracle 与 Blind Judge 评分材料；详细分布和 H0/H1/H02/H03/H04 结果见“Candidate 可见性、隐藏验收与评分材料”。 - 当前 evidence 中一共出现三个 GPT-5.6 模型家族：Luna、Terra、Sol；但严格按 `Judge` 角色去重，实际是两个 Judge 模型/effort（`gpt-5.6-terra / xhigh` 与 `gpt-5.6-sol / high`）和六个 Judge bundles。`gpt-5.6-luna / xhigh` 只担任第一次运行的 Candidate/Harness，不是 Judge。 既有 Luna/xhigh 配置与聚合真相源是 generation.json（未打包来源：`WorkArena:generation.json`） 和 reports/generation-result.json（未打包来源：`WorkArena:reports/generation-result.json`）；Terra/high 对照条件的真相源是 condition manifest（未打包来源：`WorkArena:conditions/terra-high/generation.json`） 和 condition aggregate（未打包来源：`WorkArena:conditions/terra-high/reports/generation-result.json`）。 ## 对账规则 1. 一次 Candidate/Operator 运行只登记一个 `generation_bundle_id`。它决定 Harness generation、Candidate/Harness 模型、Operator 模型、任务集、replicates 和冻结运行证据。 2. 对同一批冻结交付的每一种 Judge 条件分别登记一个 `judge_bundle_id`，并用 `generation_bundle_id` 关联原始运行。 3. 更换 Candidate/Harness 模型时必须新增 generation bundle；更换 Judge 模型或 reasoning effort 时只新增 Judge bundle。 4. 旧记录不得覆盖。`formal` 与 `supplemental-sensitivity` 必须分开；不完整的 Judge bundle 不计算或发布完整均分。 5. `artifact_state` 必须如实说明证据是否已经进入 Git。路径存在不等于清理 workspace 后仍可恢复。 6. 每代演化统计固定使用完整 `24 selected cells / 48 Judge outputs`，D8 始终在分母中。原始正式结果不得覆盖；H052 修正 D8 使用 fresh append-only evidence，并与 H052 其余 selected cells 形成更新后的完整 `/24`。 7. Bare 作为独立 comparator 单列，不加入 H lineage、Weakness/Proposal 链或代际 delta；不得为它生成或映射 `workflowCompleted`。 ## 两次被测 Agent 运行与 Judge 对应关系 | 被测 Agent 运行 | Candidate / Harness | Ground Truth Operator | Judge bundle / 执行次序 | Judge | 输入 package | 结果 | | --- | --- | --- | --- | --- | --- | --- | | 第一次：`H0-LUNA-XHIGH-20260809` | `gpt-5.6-luna / xhigh` | `gpt-5.6-terra / xhigh` | 正式：`H0-LUNA-XHIGH__JUDGE-TERRA-XHIGH-20260809` | `gpt-5.6-terra / xhigh` × 2 | Luna 运行生成的 24 个冻结匿名 packages | complete，`48/48`，均分 `90.125` | | 第一次的补充复评：仍是 `H0-LUNA-XHIGH-20260809`，没有重跑被测 Agent | 不新增 Candidate 调用 | 不新增 Operator 调用 | supplemental：`H0-LUNA-XHIGH__JUDGE-SOL-HIGH-20260809-A` | `gpt-5.6-sol / high` × 2 | Luna 正式 packages 的只读快照，package hashes 不变 | incomplete，`47/48`，1 timeout | | 第二次：`H0-TERRA-HIGH-20260809` | `gpt-5.6-terra / high` | `gpt-5.6-terra / xhigh` | 正式：`H0-TERRA-HIGH-20260809__JUDGE-TERRA-XHIGH-20260809` | `gpt-5.6-terra / xhigh` × 2 | Terra/high 运行生成的另 24 个冻结匿名 packages | complete，`48/48`，均分 `88.0625` | 因此，“跑了两次被测 Agent”对应两个 generation bundles；“Judge 跑了三组”对应上表三个 Judge bundles。三个参与的模型家族是 Luna、Terra、Sol，但 Luna 没有执行 Judge 角色，两个正式 bundle 的 Judge 都是 Terra/xhigh。 ## Candidate 可见性、隐藏验收与评分材料 这里把归档中的 `focused tests passed` 拆成两类，避免把所有 focused checks 都称为 hidden tests： - **D1–D4：仓库原生 focused tests。** 测试文件位于 Candidate 自己的 source checkout 中，Candidate 可以查看并在实现期间自行运行；它们是正式 focused 评测的一部分，但不属于 held-out hidden tests。 - **D5、D6、D8：外置 hidden acceptance。** 关键验收逻辑位于 WorkArena 的 task hook 中，不进入 Candidate checkout，也不把测试实现放进 Candidate prompt。Candidate 只看到公开任务义务。 - **D7：混合路由。** 同时运行 Candidate checkout 内的仓库原生测试与 WorkArena 外置 hook；只有整组命令全部通过，该 cell 的 `focusedTestsPassed` 才为 `true`。 - **八个任务的隐藏设计/实现参照。** D1–D8 均绑定独立 `reference/oracle` checkout，可以理解为正确设计或实现样例；task manifests 均声明 `isolation.hideGroundTruthFromCandidate=true`。它不进入 Candidate 输入，也不产生单独的“Oracle 通过率”；其 commit/tree 分布记录在下方 H1 与 H02 的 source/baseline/oracle pin 表中，H03 formal 复用同一组 source/baseline/oracle pins。`Ground Truth Operator` 是使用该参照做独立核对的角色，不是参照文件本身。 - **八个任务的隐藏评分材料。** Rubric、Ground Truth/reference、blind map 与 Judge 身份映射均不向 Candidate 展示。Blind Judge 使用匿名 package 中的任务、合同、rubric、`product.diff`、`tests.log` 和允许的 baseline context 评分。`tests.log` 是正式验收命令的原始结果记录，可能包含 hook 调用命令、退出码、通过/失败数量、测试名称、stdout/stderr、assertion traceback 或 diff，因此 Judge 能看到相当具体的隐藏验收结果和失败样例；package 不包含完整 hook 源文件或 reference/oracle checkout。 实际测试路由如下： | ID | Task | Candidate 可见的测试 | Candidate 不可见的验收/参照 | 归档分类 | | --- | --- | --- | --- | --- | | D1 | `cli-item-list-fields` | 仓库原生 Go focused tests | reference/oracle、rubric、blind materials | repo-visible focused | | D2 | `eslint-preserve-caught-error` | 仓库原生 Mocha tests | reference/oracle、rubric、blind materials | repo-visible focused | | D3 | `pytest-plugin-entry-points` | 仓库原生 pytest tests | reference/oracle、rubric、blind materials | repo-visible focused | | D4 | `pytest-addini-type-expressions` | 仓库原生 pytest tests | reference/oracle、rubric、blind materials | repo-visible focused | | D5 | `bat-sanitize` | Candidate 可自行运行公开仓库测试 | WorkArena verify-sanitize hook（未打包来源：`WorkArena:packs/tasks/bat-sanitize/hooks/verify-sanitize.ps1`）、reference/oracle、rubric、blind materials | external hidden acceptance | | D6 | `sqlmodel-field-constraints` | Candidate 可自行运行公开仓库测试 | WorkArena verify hook（未打包来源：`WorkArena:packs/tasks/sqlmodel-field-constraints/hooks/verify.ps1`）、reference/oracle、rubric、blind materials | external hidden acceptance | | D7 | `axum-custom-executor` | 仓库原生 `serve::tests` | WorkArena verify hook（未打包来源：`WorkArena:packs/tasks/axum-custom-executor/hooks/verify.ps1`）、reference/oracle、rubric、blind materials | mixed | | D8 | `prometheus-utf8-negotiation` | Candidate 可自行运行公开仓库测试 | WorkArena verify hook（未打包来源：`WorkArena:packs/tasks/prometheus-utf8-negotiation/hooks/verify.ps1`）、reference/oracle、rubric、blind materials | external hidden acceptance | 按 selected valid cells 统计，H0、H1 主视图、H02、H03 与 H04 formal 的 focused/hidden acceptance 结果是： | Task | 路由 | H0 Luna/xhigh | H0 Terra/high | H1 主视图 | H02 | H03 formal | H04 formal | | --- | --- | ---: | ---: | ---: | ---: | ---: | ---: | | D1 CLI | repo-visible focused | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | | D2 ESLint | repo-visible focused | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | | D3 pytest-plugin | repo-visible focused | 3/3 | 2/3 | 3/3 | 3/3 | 2/3 | 3/3 | | D4 pytest-addini | repo-visible focused | 2/3 | 1/3 | 3/3 | 1/3 | 2/3 | 2/3 | | D5 bat | external hidden acceptance | 2/3 | 2/3 | 1/3 | 3/3 | 3/3 | 1/3 | | D6 SQLModel | external hidden acceptance | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | | D7 Axum | mixed | 3/3 | 1/3 | 1/3 | 3/3 | 2/3 | 2/3 | | D8 Prometheus | external hidden acceptance | 0/3 | 0/3 | 1/3 | 0/3 | 0/3 | 0/3 | | **D1–D4 小计** | **repo-visible focused** | **11/12** | **9/12** | **12/12** | **10/12** | **10/12** | **11/12** | | **D5–D8 小计** | **含外置 hidden acceptance** | **8/12** | **6/12** | **6/12** | **9/12** | **8/12** | **6/12** | | **总体** | **all focused routes** | **19/24** | **15/24** | **18/24** | **19/24** | **18/24** | **17/24** | H1 列使用本文件的用户授权主视图：D1–D4、D6–D8 取原始 H1 selected cells，D5 只取 supplemental replacement 三个 cells；原始 H1 D5 权重为 0。未选中的 infrastructure-invalid/replacement history 不计为测试失败，也不进入上述分母。 表中的 `focused` 是 cell-level 的“整组命令全部通过”，不是测试 case/assertion 数量。由于 D7 把仓库原生测试和外置 hook 合并执行，D5–D8 小计表示“包含外置 hidden acceptance 的任务组”，不能进一步解释为 hidden hook 单独通过率。 执行时序也不是简单的“Candidate 完成全部 workflow 后才第一次测试”：H0 的正式 focused verification 主要在 Run 后的 Freeze/Audit 收口；H1/H02/H03/H04 还会在 Implementation 进入 Review 的边界生成 controller-owned focused verification receipt，并在 Freeze/Audit 保留正式结果。Candidate 不获得 hidden hook 源码；后续 Review/recovery 至多消费结果或 receipt。 Blind Judge 则明确能看到冻结后的 `tests.log`。这并不破坏 Candidate 盲测：生成 `tests.log` 时该 Candidate lifecycle 已经结束，Judge 是独立会话且只接收匿名标签。需要注意，Judge 的“不可见”边界是看不到完整 hidden hook 源码、Oracle checkout 和真实 run/replicate 映射，而不是看不到测试结果；测试名称、失败断言和输出差异可能已经通过 `tests.log` 暴露给 Judge，用于判断实现质量与 evidence confidence。 `workflowCompleted`、`focusedTestsPassed` 和 Blind Judge 分数是三条正交指标，不能互相替代。例如 H1 D1 是 workflow `0/3`、focused `3/3`；H02 D8 则存在 workflow completed cells，但含外置 hidden acceptance 的 focused 结果为 `0/3`。因此，Review approved 或 workflow terminal 不能单独证明 hidden acceptance 已通过。 ### D8 evaluator amendment 与完整 24-cell 口径 D8 始终纳入演化统计。H0–H05 保留其正式运行中的 D8 结果；H052 使用 fresh 修正 D8。旧 evaluator 的 hidden test（未打包来源：`WorkArena:packs/tasks/prometheus-utf8-negotiation/ground-truth/sdd_utf8_negotiation_hidden.py`） 和 verify hook（未打包来源：`WorkArena:packs/tasks/prometheus-utf8-negotiation/hooks/verify.ps1`） 以及全部 frozen evidence 继续保留，不回写历史结果。 | Condition | Workflow | Product/focused | Audit finding runs | Judge | Candidate/Harness cost | | --- | ---: | ---: | ---: | ---: | ---: | | H0 Luna/xhigh | 18/24 | 19/24 | 0/24 | 48/48；mean `90.1250` | `597,146,805` tokens / `6,592` tools / `6,903.95` credits | | H0 Terra/high | 14/24 | 15/24 | 0/24 | 48/48；mean `88.0625` | `292,164,097` / `4,386` / `3,776.08` | | H1 主视图 | 10/24 | 18/24 | 0/24 | 48/48；mean `93.5208` | `316,713,117` / `5,393` / `4,460.56` | | H02 formal | 17/24 | 19/24 | 0/24 | 48/48；mean `94.4792` | `247,515,656` / `4,196` / `3,546.00` | | H03 formal | 18/24 | 18/24 | 0/24 | 48/48；mean `94.8958` | `276,702,480` / `4,279` / `3,917.75` | | H04 formal | 12/24 | 17/24 | 0/24 | 48/48；mean `89.7917` | `219,748,287` / `3,605` / `3,370.82` | | H05 P-04 Fast formal | 15/24 | 20/24 | 0/24 | 48/48；mean `95.0000` | `259,151,137` / `4,082` / `3,913.95` | | H052 corrected | 24/24 | 19/24 | 3/24 | 48/48；sum `4,453`；mean `92.7708333` | `116,857,308` / `1,258` / `1,891.35391` | H052 来源映射为 `H04/h04-postformal-20260812-019ff55f-a/W-01 → H04/h04-postformal-20260812-019ff55f-a/P-01`，与 H05/P-04 无关。H052 D4 的唯一 selected 组合是原 `paln-r1`、replacement `paln-r2-replacement-1`、原 `paln-r3`；原 parser-invalid `paln-r2` 只保留为历史 evidence，不进入上述分母、Judge 或成本。 #### H052 修正 D8 用户要求的新 D8 没有覆盖历史 evaluator-invalid D8，而是在 H052 checkout commit `a601aa86730c620e5a3ef777c32d535d59c82ece` 上新增 contract-aligned hidden evaluator、verify hook 和独立 task/experiment。旧 hidden/verify 文件保持原样；新 hidden/verify SHA-256 分别为 `fea1d1ba9546279dffa201ec1fa92ec122a17892179be43acfd735509e869934` / `5e61b5356acbaa238d94f53c9814393972eb7367368114648c9ad75cfc8f8bd7`。新 evaluator 不再要求公开合同未声明的 `ALLOWUTF8 / UNDERSCORES / DOTS / VALUES` Python 属性，而是按公开的 literal scheme 与端到端/语义行为断言，并把 `tests`、ASGI、Twisted 等上下文纳入 product/Judge projection。 Fresh campaign 是 prometheus evaluator-fixed v1（未打包来源：`WorkArena:campaigns/prometheus-utf8-negotiation-matrixspec-lean-v1-evaluator-fixed-v1/`），三格均 workflow completed：r1=`8/8`、r2=`2/8`、r3=`7/8`，所以 product verification 为 `1/3`。r3 的唯一产品失败是 dots 未对已有下划线做 double；同格还保留 `spec-entry-skill-not-read` 与 `operator-spec-confirmation-exhausted` 两项 Audit findings，但按 H052 policy 均不阻断 workflow。六个 Judge 实际均为 `gpt-5.6-terra/high`，分数为 r1=`95/95`、r2=`36/89`、r3=`71/76`，总分 `462`、均值 `77`；r2 的双 Judge 分歧原样保留。 新 D8 Candidate/Harness 成本按 H052 既有口径统计 Spec generation + Implement，为 `12,756,761` tokens、`164` tool calls、`179.00` credits；Operator `1,549,350` tokens、`14` calls、`32.70` credits 另列且不并入。与 H052 其余 selected cells 合并后的完整结果为： | H052 corrected view | Workflow | Product/focused | Audit finding runs | Judge | Candidate/Harness cost | | --- | ---: | ---: | ---: | ---: | ---: | | 全部 8 tasks | 24/24 | 19/24 | 3/24 | 48/48；sum `4,453`；mean `92.7708333` | `116,857,308` tokens / `1,258` tools / `1,891.35391` credits | 权威结果是 matrixspec-comparison.json（未打包来源：`WorkArena:campaigns/prometheus-utf8-negotiation-matrixspec-lean-v1-evaluator-fixed-v1/reports/matrixspec-comparison.json`）（SHA-256=`fe860d89d47eca828abd15cd40d24c195cfb6ced7d10ef3b3b8b2ea62d862432`）和 treatment-audit.json（未打包来源：`WorkArena:campaigns/prometheus-utf8-negotiation-matrixspec-lean-v1-evaluator-fixed-v1/reports/treatment-audit.json`）（SHA-256=`e1b757844d8961eb8cf041d8bf070840aa7eb73cd7b5dae3561dafbb9a6fbb0f`）。机器可读的完整 24-cell 汇总见 [cross-generation summary](reports/cross-generation-summary.json)。 ### H0601 effective view H0601 的精确谱系是 `H04 W-01/P-01 → H052 a601aa8 → H0601`。仓库没有 canonical `H06/W-xx` Weakness Card；`H060101`–`H060103` 是结构检查码，不是 Weakness ID。当前权威 condition identity 是各 experiment 的 factor `H0601-da2b42b` 与八个 task campaign，不额外虚构 `H0601-FORMAL-*` bundle ID。 | Task | Workflow | Treatment audit passed | External focused passed | Pre-hidden Candidate-visible verification passed | Judge sum | Judge mean | | --- | ---: | ---: | ---: | ---: | ---: | ---: | | D1 CLI | 3/3 | 0/3 | 0/3 | 3/3 | 600/600 | 100.00 | | D2 ESLint | 3/3 | 2/3 | 3/3 | 3/3 | 590/600 | 98.33 | | D3 pytest-plugin | 3/3 | 3/3 | 3/3 | 0/3 | 592/600 | 98.67 | | D4 pytest-addini | 3/3 | 3/3 | 2/3 | 0/3 | 524/600 | 87.33 | | D5 Bat | 3/3 | 2/3 | 2/3 | 0/3 | 531/600 | 88.50 | | D6 SQLModel | 3/3 | 0/3 | 2/3 | 0/3 | 558/600 | 93.00 | | D7 Axum | 3/3 | 3/3 | 3/3 | 0/3 | 591/600 | 98.50 | | D8 Prometheus fixed-v1 | 3/3 | 0/3 | 3/3 | 3/3 | 542/600 | 90.33 | | **Total** | **24/24** | **13/24** | **18/24** | **9/24** | **4528/4800** | **94.3333** | 上述三类非 Judge 指标来自不同字段：treatment adoption/audit、终态 external focused tests、以及 pre-hidden Candidate-visible verification。它们包含 adoption、receipt currentness、工具缺失、封闭 runtime 和产品测试等不同失败，不能彼此替代，也不能压成单一 product quality。 Candidate/Harness 成本沿用 H052 的 Spec generation + Implement 口径，为 `84,836,263` tokens、`1,199` tool calls、`1,171.61` credits；Operator 另为 `5,971,619` tokens、`60` calls、`134.51` credits，不并入 Candidate/Harness 成本。 #### D1 R3 Judge source-slot replacement D1 R3 原 Judge-01 的 `0` 被确认无效：它只读取 `product.diff` 1–360 行后搜索 baseline，而它宣称缺失的方法实际加入在 diff 第 452 和 513 行。用户授权的是 source-slot replacement，不是 supplemental score。Replacement 对同一冻结 Candidate-A package（`packageHash=c5a9612d336031e0e38f2b587be8c7bec68ac03456daf258df2ab8d0bd8e4023`）重新盲评并得到 `100`；源 campaign 的 `evaluation/results/judge-01/Candidate-A` 已晋升为完整 replacement bundle，D1 R3 有效分数为 `[100,100]`。 旧无效四件套连同逐文件 hash 保存在 original invalid archive（未打包来源：`WorkArena:campaigns/cli-item-list-fields-matrixspec-lean-h0601-eval-r1-judge-recovery-20260814-r1/original-invalid-judge-01/Candidate-A/`）；promotion.json（未打包来源：`WorkArena:campaigns/cli-item-list-fields-matrixspec-lean-h0601-eval-r1-judge-recovery-20260814-r1/promotion.json`） 绑定旧、新 result hash 和相同 packageHash。只重新运行零模型 Summarize；没有重跑 Candidate、Operator、Controller、hidden evaluator 或 campaign，也没有读取 hidden raw cases。有效汇总见 h0601-effective-summary.md（未打包来源：`WorkArena:campaigns/cli-item-list-fields-matrixspec-lean-h0601-eval-r1-judge-recovery-20260814-r1/h0601-effective-summary.md`）。 ## Bare / no-SDD comparator baseline Bare 是独立 Candidate condition comparator，仅复用固定评测链；它不是 H03/H04/H05/H0601 的新一代，也不是 MatrixSpec treatment。正式 bundle `BARE-BASELINE-20260813-R1` 使用 `gpt-5.6-terra / high` Candidate，无 SDD、Operator、Reviewer，`capabilities={}`，保留普通 multi-agent；每格由两个 `gpt-5.6-terra / high` Blind Judges 评分。Bare 不适用 `workflowCompleted`。 | Task | Candidate terminal | Focused/hidden acceptance | Judge outputs | Judge mean | | --- | ---: | ---: | ---: | ---: | | D1 CLI | 3/3 | 3/3 | 6/6 | 79.17 | | D2 ESLint | 3/3 | 3/3 | 6/6 | 47.67 | | D3 pytest-plugin | 3/3 | 3/3 | 6/6 | 99.50 | | D4 pytest-addini | 3/3 | 3/3 | 6/6 | 65.50 | | D5 Bat | 3/3 | 3/3 | 6/6 | 92.50 | | D6 SQLModel | 3/3 | 2/3 | 6/6 | 92.67 | | D7 Axum | 3/3 | 0/3 | 6/6 | 67.50 | | D8 Prometheus | 3/3 | 0/3 | 6/6 | 35.00 | | **Total** | **24/24** | **17/24** | **48/48** | **72.44** | Candidate-only cost 为 `42,327,170` tokens、`721` tool calls、`553.842237` credits；单 cell pilot 明确排除，`pilotIncludedCells=0`。权威汇总是 generation-result.json（未打包来源：`WorkArena:experiments/bare-baseline-20260813-r1/reports/generation-result.json`），SHA-256=`1e92fc11fc710e1ac2f91d187691374f27cc19a80687b74663d170cd855a5e36`；正式 evidence commit 为 `50d67753fe185df084453614410132f69eb28006`。 Wave 1 的 D3 Judge-01 三个 slot 遇到 `chatgpt.com` connection refused。Candidate packages 已冻结，恢复类型是 Judge-only，`candidateRerun=false`；原失败 Judge evidence（未打包来源：`WorkArena:campaigns/bare-baseline-20260813-r1-pytest-plugin-entry-points/evaluation/invalid-judge-attempts/judge-recovery-01/`） append-only 保留，最终只补齐 D3 `6/6` Judge outputs。该事件是 Judge infrastructure，不归因于 Candidate。Aggregate、八份 task summary 与 invalid Judge archive 已进入 evidence commit；recovery/attention receipts 位于独立 worktree 的 gitignored `.scratch`，只在当前本机可见。 ## Judge package 与结果位置 跨 worktree 的长期副本统一收在 MatrixSpec 演进证据归档（未打包来源：`WorkArena:archive/matrixspec-evolution/README.md`）。H0×2、H03、H04、H05、H052 和 Bare 各保存 24 个匿名 package、48 个 Judge outputs 与 task reports；H1/H02/H0601 的完整 package/result 在旧 worktree 清理后已不全，归档只保留可恢复报告并显式标注缺口。 八个 `{taskId}` 均取自 `axum-custom-executor`、`bat-sanitize`、`cli-item-list-fields`、`eslint-preserve-caught-error`、`prometheus-utf8-negotiation`、`pytest-addini-type-expressions`、`pytest-plugin-entry-points`、`sqlmodel-field-constraints`；每个 task 下 `Candidate-A/B/C` 是 blind map 生成的匿名标签，不应跨 task 推断其原始 replicate。 | bundle | package 路径模板 | Judge result 路径模板 | 实际数量 | 可点击示例/入口 | | --- | --- | --- | --- | --- | | Luna/xhigh 正式 | `campaigns/{taskId}-matrixspec-harness-evolution-h0/evaluation/candidates/Candidate-{A,B,C}/` | `campaigns/{taskId}-matrixspec-harness-evolution-h0/evaluation/results/judge-{01,02}/Candidate-{A,B,C}/` | 24 package manifests；48 finals；48 metadata | D1 packages（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-luna/campaigns/cli-item-list-fields-matrixspec-harness-evolution-h0/evaluation/candidates/`）；D1 results（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-luna/campaigns/cli-item-list-fields-matrixspec-harness-evolution-h0/evaluation/results/`）；H0 Luna archive inventory（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-luna/INVENTORY.json`） | | Terra/high 正式 | `campaigns/{taskId}-matrixspec-harness-evolution-h0-terra-high-20260809/evaluation/candidates/Candidate-{A,B,C}/` | `campaigns/{taskId}-matrixspec-harness-evolution-h0-terra-high-20260809/evaluation/results/judge-{01,02}/Candidate-{A,B,C}/` | 24 package manifests；48 finals；48 metadata | D1 packages（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-terra-high/campaigns/cli-item-list-fields-matrixspec-harness-evolution-h0-terra-high-20260809/evaluation/candidates/`）；D1 results（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-terra-high/campaigns/cli-item-list-fields-matrixspec-harness-evolution-h0-terra-high-20260809/evaluation/results/`）；H0 Terra archive inventory（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-terra-high/INVENTORY.json`） | | Luna packages 的 Sol/high supplemental 快照 | `.scratch/matrixspec-h0-sol-high-rejudge/run-20260809T101943Z/inputs/{taskId}/candidates/Candidate-{A,B,C}/` | `.scratch/matrixspec-h0-sol-high-rejudge/run-20260809T101943Z/results/{taskId}/judge-{01,02}/Candidate-{A,B,C}/attempt-01/` | 24 package manifests；47 finals + 1 timeout metadata | snapshot inputs（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-sol-high-incomplete/inputs/`）；results（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-sol-high-incomplete/results/`）；preflight authority（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-sol-high-incomplete/preflight.json`） | 每个正式 package 的入口文件是 `package-manifest.json`，同目录保存 `task.md`、`contract.md`、`rubric.md`、`judge-prompt.md`、`product.diff`、`tests.log` 及允许的 baseline context。每个正式 Judge result 目录保存 `judge.final.json`、`metadata.json`、`judge.jsonl` 和 `judge.stderr.txt`；`metadata.json.packageHash` 必须等于对应 `package-manifest.json.packageHash`。 ### H0 平台、输入与原始 session 入口 - MatrixSpec H0 runtime：commit `a93d0b8d804db4b7864159f8b04234a457c18f1e`，tree `8c26cd2b18c05cec0fd52dc90d745e11d10b4490`。 - Luna/xhigh 正式执行按 lane 绑定 WorkArena：D1–D4 为 `a083c4da577e6144a04e65dd96ab62f2c6cb48b2`（tree `93c8942aa99f938fd6dd2ebb9863d04d36f2e38d`），D5–D8 closure 为 `c217bce043a0356d9e2a16f94a85a0fa7a9040e7`（tree `946f9c65fb085c08ad23f38a671b8c32046ae75d`）。 - Terra/high 正式执行为 WorkArena `d716d5cbef7ac7bd4913b148b8367c57cee36dfa`（tree `a334346ed88a43b08fb66e4d0a7c4c997513963f`）。 - 两个 H0 条件使用同一组 D1–D8 source/sealed-baseline/oracle pins；权威入口是 task manifests（未打包来源：`WorkArena:packs/tasks/`） 与 baseline registry（未打包来源：`WorkArena:full-baselines.json`），具体 commit/tree 与下方 H1/H02 pin 表一致。 - Candidate/Validator/Reviewer/Operator 的冻结原始 rollout 位于各 campaign 的 `runs//raw-sessions//YYYY/MM/DD/rollout-*.jsonl`；Judge 原始 rollout 位于 `evaluation/.judge-homes/judge-{01,02}/Candidate-{A,B,C}/sessions/...`。只索引 `sessions/`，不归档整个 `.judge-homes`。 ## 进化入口 “正式结果入口”回答这一代跑出了什么；“进化入口”回答这一代是由上一代哪张 Weakness Card 与 Proposal Card 驱动。下面只列实际选中并进入实现的 Card；完整解释和直达原 Card 的链接见 [MatrixSpec 进化入口](../../docs/matrixspec-evolution-entries.md)。 | 当前代 | 来源 Weakness | 选中 Proposal | 进化入口 | | --- | --- | --- | --- | | H0 | 无，上游基线 | 无 | 基线，不适用 | | H1 / H01 | H0 `W-03` | H0 `P-02 / Reachable Cross-Stage Repair` | [打开](../../docs/matrixspec-evolution-entries.md#h1--h01) | | H02 | H1 `W-01` | H1 `P-01 / 删除 standalone Validation` | [打开](../../docs/matrixspec-evolution-entries.md#h02) | | H03 | H02 `W-01` | H02 `P-01 / obligation-level readiness` | [打开](../../docs/matrixspec-evolution-entries.md#h03) | | H04 | H02 agent-derived `W-02` | H02 agent-derived `P-01 / Controller-Evidence-Bound Review Approval` | [打开](../../docs/matrixspec-evolution-entries.md#h04) | | H05 | H04 `W-04` | H04 `P-04 / authority-conflict recovery` | [打开](../../docs/matrixspec-evolution-entries.md#h05) | | H052 | H04 `W-01` | H04 `P-01 / single terminal-contract ownership` | [打开](../../docs/matrixspec-evolution-entries.md#h052) | | H0601 | H052 `W-01`、`W-02` | H052 `P-01` semantic closure、`P-02` REQ-bound visible evidence | [打开](../../docs/matrixspec-evolution-entries.md#h0601) | | Bare | 无；独立 no-SDD comparator | 无 | 不适用 | ## Generation bundles | generation_bundle_id | protocol generation | evidence class | Candidate / Harness | Operator | 规模 | 状态 | 关键运行结果 | 权威路径 | artifact_state | | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | | `H0-LUNA-XHIGH-20260809` | `H0` | `formal` | `gpt-5.6-luna / xhigh` | `gpt-5.6-terra / xhigh` | 8 tasks × 3 replicates = 24 valid cells | `complete` | workflow completed `18/24`；focused tests passed `19/24`；Candidate/Harness-only cost `597,146,805` tokens、`6,592` tool calls、`6,903.95` credits | generation contract（未打包来源：`WorkArena:generations/H0.json`）；role/task manifest（未打包来源：`WorkArena:generation.json`）；aggregate result（未打包来源：`WorkArena:reports/generation-result.json`）；Lane A receipt（未打包来源：`WorkArena:archive/matrixspec-evolution/results/H0/luna-control-plane/lane-a/lane-complete.json`）；Lane B receipt（未打包来源：`WorkArena:archive/matrixspec-evolution/results/H0/luna-control-plane/lane-b/lane-complete.json`） | manifest tracked；aggregate/campaign evidence workspace-local untracked；lane receipts workspace-local gitignored | | `H0-TERRA-HIGH-20260809` | `H0` | `formal` | `gpt-5.6-terra / high` | `gpt-5.6-terra / xhigh` | 8 tasks × 3 replicates = 24 valid cells | `complete` | workflow completed `14/24`；focused tests passed `15/24`；Candidate/Harness-only cost `292,164,097` tokens、`4,386` tool calls、`3,776.08` credits | generation contract（未打包来源：`WorkArena:generations/H0.json`）；role/task manifest（未打包来源：`WorkArena:conditions/terra-high/generation.json`）；aggregate result（未打包来源：`WorkArena:conditions/terra-high/reports/generation-result.json`）；Wave 1 receipt（未打包来源：`WorkArena:archive/matrixspec-evolution/results/H0/terra-high-control-plane/waves/wave-1.json`）；Wave 2 receipt（未打包来源：`WorkArena:archive/matrixspec-evolution/results/H0/terra-high-control-plane/waves/wave-2.json`） | condition manifest tracked；aggregate/campaign evidence workspace-local untracked；wave receipts workspace-local gitignored | H0 Harness 源码冻结为 MatrixSpec branch `harness/H0`、commit `a93d0b8d804db4b7864159f8b04234a457c18f1e`、tree `8c26cd2b18c05cec0fd52dc90d745e11d10b4490`，详见 H0 generation descriptor（未打包来源：`WorkArena:generations/H0.json`）。 本轮最近的 workarean 正式实验版本记作 branch `codex/matrixspec-p4-integration`、commit `d716d5c`（完整值 `d716d5cbef7ac7bd4913b148b8367c57cee36dfa`，subject `matrixspec: add Terra high H0 condition`）。Terra/high preflight receipt（未打包来源：`WorkArena:archive/matrixspec-evolution/results/H0/terra-high-control-plane/preflight.json`） 精确绑定该 HEAD。旧 Luna 正式运行更早，Lane A/Lane B receipts 分别记录 `a083c4d` 与 `c217bce`；因此 `d716d5c` 是本轮最接近完成态的 workarean 版本标记，不应倒推成所有旧 Luna evidence 的生成 commit。 正式聚合结果 SHA-256： ```text 200182ea5b49517e1e5341355a879bb36e5bf9d1d65c07070b0d578d31be1df6 reports/generation-result.json 5e51c03d7af58c5cf62d990b0b892f120d7e38ff81f3f553ce2352e4f7204b62 Lane A complete receipt da21bc939ed7e635388fcc0d3bb41ae344f953dd9fe3c282facfb1086ca93ce0 Lane B complete receipt ``` Terra/high 对照条件聚合结果 SHA-256： ```text 7369ca1305547458d00dc147b934f8ca60245a2869943c1eabb935cb8c8a8730 conditions/terra-high/reports/generation-result.json 8efe38e162310ac0be1e2fac3f46595d5840b762da4faa6d7c4e35f223cbe731 Wave 1 receipt 04448ab29049ce1a827c1d1a56e2f0eadaa3d84aaa614f3b9bb5a5c309558d38 Wave 2 receipt ``` ## Judge bundles | judge_bundle_id | generation_bundle_id | evidence class | Judge | 冻结输入 | 状态 | Judge outputs | 均分 | 双 Judge 平均绝对分歧 | 结果路径 | 权威说明 | artifact_state | | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | | `H0-LUNA-XHIGH__JUDGE-TERRA-XHIGH-20260809` | `H0-LUNA-XHIGH-20260809` | `formal` | `gpt-5.6-terra / xhigh` × 2 | 24 个正式冻结匿名 packages | `complete` | `48/48` | `90.125` | `2.25` | generation aggregate（未打包来源：`WorkArena:reports/generation-result.json`）；下方 8 个 task summaries | 正式 H0 Judge 口径 | aggregate/campaign evidence workspace-local untracked | | `H0-TERRA-HIGH-20260809__JUDGE-TERRA-XHIGH-20260809` | `H0-TERRA-HIGH-20260809` | `formal` | `gpt-5.6-terra / xhigh` × 2 | Terra/high 24 个正式冻结匿名 packages | `complete` | `48/48` | `88.0625` | `1.792` | generation aggregate（未打包来源：`WorkArena:conditions/terra-high/reports/generation-result.json`）；下方 Terra/high 8 个 task summaries | Terra/high 正式对照条件 Judge 口径；48 个 metadata 角色匹配，48 个 Judge thread 全部唯一 | aggregate/campaign evidence workspace-local untracked | | `H0-LUNA-XHIGH__JUDGE-SOL-HIGH-20260809-A` | `H0-LUNA-XHIGH-20260809` | `supplemental-sensitivity` | `gpt-5.6-sol / high` × 2 | 与正式 Judge 相同的 24 个冻结匿名 packages；preflight（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-sol-high-incomplete/preflight.json`） | `incomplete` | `47/48`；1 timeout | `N/A` | `N/A` | supplemental root（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-sol-high-incomplete/`）；失败 slot metadata（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-sol-high-incomplete/results/eslint-preserve-caught-error/judge-01/Candidate-A/attempt-01/metadata.json`） | 只用于 Judge-arm sensitivity；model 与 effort 同时变化；不是正式替代，也不能解释为纯模型效应 | workspace-local gitignored | ### Terra/xhigh 正式评测落盘结果 本节直接保存正式 `gpt-5.6-terra / xhigh` 双 Judge 的 24-cell 结果，不要求读者先解析聚合 JSON。`Judge-01` 和 `Judge-02` 是同一冻结匿名 candidate package 的两个独立 Blind Judge replicates；`cell mean` 是两者的算术平均。 汇总： ```text valid cells: 24/24 Judge outputs: 48/48 Judge mean: 90.125 Judge min/max: 11 / 100 mean absolute difference between Judge pairs: 2.25 workflow completed: 18/24 focused tests passed: 19/24 infrastructure-invalid historical attempts: 8（不占 24-cell 分母） ``` | Task | Cell | selected attempt | behavior outcome | workflow completed | focused tests passed | Judge-01 | Judge-02 | cell mean | | --- | --- | ---: | --- | --- | --- | ---: | ---: | ---: | | `axum-custom-executor` | `r1` | 2 | `completed` | true | true | 100 | 100 | 100.0 | | `axum-custom-executor` | `r2` | 1 | `completed` | true | true | 100 | 100 | 100.0 | | `axum-custom-executor` | `r3` | 1 | `completed` | true | true | 99 | 99 | 99.0 | | `bat-sanitize` | `r1` | 2 | `workflow_failed` | false | false | 80 | 81 | 80.5 | | `bat-sanitize` | `r2` | 2 | `completed` | true | true | 100 | 92 | 96.0 | | `bat-sanitize` | `r3` | 2 | `completed` | true | true | 100 | 100 | 100.0 | | `cli-item-list-fields` | `r1` | 2 | `completed` | true | true | 98 | 99 | 98.5 | | `cli-item-list-fields` | `r2` | 2 | `completed` | true | true | 100 | 100 | 100.0 | | `cli-item-list-fields` | `r3` | 2 | `workflow_failed` | false | true | 98 | 96 | 97.0 | | `eslint-preserve-caught-error` | `r1` | 1 | `completed` | true | true | 96 | 97 | 96.5 | | `eslint-preserve-caught-error` | `r2` | 1 | `completed` | true | true | 100 | 100 | 100.0 | | `eslint-preserve-caught-error` | `r3` | 1 | `completed` | true | true | 100 | 100 | 100.0 | | `prometheus-utf8-negotiation` | `r1` | 1 | `workflow_failed` | false | false | 69 | 64 | 66.5 | | `prometheus-utf8-negotiation` | `r2` | 1 | `workflow_failed` | false | false | 72 | 78 | 75.0 | | `prometheus-utf8-negotiation` | `r3` | 2 | `workflow_failed` | false | false | 67 | 68 | 67.5 | | `pytest-addini-type-expressions` | `r1` | 1 | `completed` | true | false | 91 | 88 | 89.5 | | `pytest-addini-type-expressions` | `r2` | 1 | `completed` | true | true | 97 | 98 | 97.5 | | `pytest-addini-type-expressions` | `r3` | 1 | `workflow_failed` | false | true | 12 | 11 | 11.5 | | `pytest-plugin-entry-points` | `r1` | 1 | `completed` | true | true | 100 | 100 | 100.0 | | `pytest-plugin-entry-points` | `r2` | 1 | `completed` | true | true | 100 | 91 | 95.5 | | `pytest-plugin-entry-points` | `r3` | 1 | `completed` | true | true | 100 | 100 | 100.0 | | `sqlmodel-field-constraints` | `r1` | 1 | `completed` | true | true | 100 | 85 | 92.5 | | `sqlmodel-field-constraints` | `r2` | 1 | `completed` | true | true | 100 | 100 | 100.0 | | `sqlmodel-field-constraints` | `r3` | 1 | `completed` | true | true | 100 | 100 | 100.0 | 以上 48 个分数的机器真相源仍是 reports/generation-result.json（未打包来源：`WorkArena:reports/generation-result.json`）；本表是便于人工核账的持久化展开，不改变正式结果权威层级。 ### Terra/high 正式对照条件评测落盘结果 本节展开 `H0-TERRA-HIGH-20260809__JUDGE-TERRA-XHIGH-20260809` 的 24-cell 结果。Wave 1 因 control-plane 断网产生的 12 个 attempt-01 已作为 infrastructure-invalid historical attempts 排除；D1–D4 选择独立 attempt-02，D5–D8 选择首次 attempt-01。 汇总： ```text valid cells: 24/24 Judge outputs: 48/48 Judge mean: 88.0625 Judge min/max: 8 / 100 mean absolute difference between Judge pairs: 1.7916666667 workflow completed: 14/24 focused tests passed: 15/24 infrastructure-invalid historical attempts: 12（不占 24-cell 分母） Candidate/Harness-only cost: 292,164,097 tokens / 4,386 tool calls / 3,776.08 credits ``` | Task | Cell | selected attempt | behavior outcome | workflow completed | focused tests passed | Judge-01 | Judge-02 | cell mean | | --- | --- | ---: | --- | --- | --- | ---: | ---: | ---: | | `axum-custom-executor` | `r1` | 1 | `workflow_failed` | false | true | 100 | 100 | 100.0 | | `axum-custom-executor` | `r2` | 1 | `workflow_failed` | false | false | 90 | 89 | 89.5 | | `axum-custom-executor` | `r3` | 1 | `workflow_failed` | false | false | 92 | 94 | 93.0 | | `bat-sanitize` | `r1` | 1 | `completed` | true | true | 92 | 92 | 92.0 | | `bat-sanitize` | `r2` | 1 | `workflow_failed` | false | false | 56 | 42 | 49.0 | | `bat-sanitize` | `r3` | 1 | `completed` | true | true | 100 | 100 | 100.0 | | `cli-item-list-fields` | `r1` | 2 | `workflow_failed` | false | true | 8 | 12 | 10.0 | | `cli-item-list-fields` | `r2` | 2 | `workflow_failed` | false | true | 100 | 100 | 100.0 | | `cli-item-list-fields` | `r3` | 2 | `workflow_failed` | false | true | 100 | 100 | 100.0 | | `eslint-preserve-caught-error` | `r1` | 2 | `workflow_failed` | false | true | 100 | 100 | 100.0 | | `eslint-preserve-caught-error` | `r2` | 2 | `completed` | true | true | 100 | 100 | 100.0 | | `eslint-preserve-caught-error` | `r3` | 2 | `completed` | true | true | 100 | 100 | 100.0 | | `prometheus-utf8-negotiation` | `r1` | 1 | `completed` | true | false | 78 | 75 | 76.5 | | `prometheus-utf8-negotiation` | `r2` | 1 | `completed` | true | false | 62 | 70 | 66.0 | | `prometheus-utf8-negotiation` | `r3` | 1 | `workflow_failed` | false | false | 74 | 66 | 70.0 | | `pytest-addini-type-expressions` | `r1` | 2 | `completed` | true | false | 87 | 87 | 87.0 | | `pytest-addini-type-expressions` | `r2` | 2 | `workflow_failed` | false | false | 91 | 90 | 90.5 | | `pytest-addini-type-expressions` | `r3` | 2 | `completed` | true | true | 97 | 97 | 97.0 | | `pytest-plugin-entry-points` | `r1` | 2 | `completed` | true | true | 97 | 95 | 96.0 | | `pytest-plugin-entry-points` | `r2` | 2 | `completed` | true | true | 100 | 100 | 100.0 | | `pytest-plugin-entry-points` | `r3` | 2 | `completed` | true | false | 97 | 97 | 97.0 | | `sqlmodel-field-constraints` | `r1` | 1 | `completed` | true | true | 100 | 100 | 100.0 | | `sqlmodel-field-constraints` | `r2` | 1 | `completed` | true | true | 100 | 100 | 100.0 | | `sqlmodel-field-constraints` | `r3` | 1 | `completed` | true | true | 100 | 100 | 100.0 | Terra/high task 汇总索引： | Task | workflow completed | focused tests passed | Terra/xhigh Judge mean | Candidate/Harness-only tokens | Task summary | | --- | ---: | ---: | ---: | ---: | --- | | `axum-custom-executor` | 0/3 | 1/3 | 94.167 | `32,906,389` | summary（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-terra-high/campaigns/axum-custom-executor-matrixspec-harness-evolution-h0-terra-high-20260809/reports/matrixspec-evolution-task-summary.json`） | | `bat-sanitize` | 2/3 | 2/3 | 80.333 | `46,985,268` | summary（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-terra-high/campaigns/bat-sanitize-matrixspec-harness-evolution-h0-terra-high-20260809/reports/matrixspec-evolution-task-summary.json`） | | `cli-item-list-fields` | 0/3 | 3/3 | 70.000 | `28,188,481` | summary（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-terra-high/campaigns/cli-item-list-fields-matrixspec-harness-evolution-h0-terra-high-20260809/reports/matrixspec-evolution-task-summary.json`） | | `eslint-preserve-caught-error` | 2/3 | 3/3 | 100.000 | `39,965,490` | summary（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-terra-high/campaigns/eslint-preserve-caught-error-matrixspec-harness-evolution-h0-terra-high-20260809/reports/matrixspec-evolution-task-summary.json`） | | `prometheus-utf8-negotiation` | 2/3 | 0/3 | 70.833 | `32,139,240` | summary（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-terra-high/campaigns/prometheus-utf8-negotiation-matrixspec-harness-evolution-h0-terra-high-20260809/reports/matrixspec-evolution-task-summary.json`） | | `pytest-addini-type-expressions` | 2/3 | 1/3 | 91.500 | `62,643,580` | summary（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-terra-high/campaigns/pytest-addini-type-expressions-matrixspec-harness-evolution-h0-terra-high-20260809/reports/matrixspec-evolution-task-summary.json`） | | `pytest-plugin-entry-points` | 3/3 | 2/3 | 97.667 | `26,717,013` | summary（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-terra-high/campaigns/pytest-plugin-entry-points-matrixspec-harness-evolution-h0-terra-high-20260809/reports/matrixspec-evolution-task-summary.json`） | | `sqlmodel-field-constraints` | 3/3 | 3/3 | 100.000 | `22,618,636` | summary（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-terra-high/campaigns/sqlmodel-field-constraints-matrixspec-harness-evolution-h0-terra-high-20260809/reports/matrixspec-evolution-task-summary.json`） | 以上 48 个分数的机器真相源是 Terra/high aggregate（未打包来源：`WorkArena:conditions/terra-high/reports/generation-result.json`）。每个 task 的 token 值直接取对应 summary 的 `candidateCost.totalTokens`，8 项合计 `292,164,097`，与 aggregate 一致；该口径汇总 3 个 selected `valid_behavior` runs 中 `candidate + validator + reviewer` actors，不包含 Operator、Judge 或 infrastructure-invalid attempts。所有 Judge metadata 均为 `gpt-5.6-terra / xhigh`，48 个 Judge thread id 全部唯一。 Supplemental preflight SHA-256： ```text dbf3dd36a190ccb3d951334275968831ae0d50e9e0a6891342a75160acfcc9d5 preflight.json ``` 缺失的唯一 supplemental slot： ```text task: eslint-preserve-caught-error candidate: Candidate-A judge replicate: 1 model: gpt-5.6-sol reasoning effort: high exitCode: 137 timedOut: true durationSeconds: 3600.287 ``` 由于该 bundle 没有达到 `48/48`，没有运行完整 Summarize，也没有生成 `summary.json`/`summary.md`。如果后续明确批准只重试此 slot，应写入新的 `attempt-02`，保留 `attempt-01`，并在 48/48 校验通过后更新本行；不得重跑其余 47 个结果。 ### Sol/high 不完整 bundle 的描述性观测 以下数字只描述已完成证据，不是完整 Judge bundle 结论： - 47 个成功结果全部为 `gpt-5.6-sol / high`，对应 47 个独立 thread；输入 hash、输出 schema 和计分算术均通过。 - 正式 H0 preflight 列出的 497 个证据文件复核为 0 mismatch，聚合 hash 仍为 `be8f4c280ce2fe0d01ddf0a87cec88b845f2e5379baec631440a767317faa69c`。 - 47 个已完成分数的观测均值为 `90.234`。由于 ESLint 缺少一个 Judge，它不能与正式 Terra/xhigh 的 `90.125` 计算正式 overall delta。 七个达到 6/6 的 task 可以作为局部敏感性观察： | Task | Terra/xhigh | Sol/high | 描述性差值 | | --- | ---: | ---: | ---: | | `axum-custom-executor` | 99.667 | 99.500 | -0.167 | | `bat-sanitize` | 92.167 | 89.500 | -2.667 | | `cli-item-list-fields` | 98.500 | 98.833 | +0.333 | | `prometheus-utf8-negotiation` | 69.667 | 73.167 | +3.500 | | `pytest-addini-type-expressions` | 66.167 | 66.167 | 0.000 | | `pytest-plugin-entry-points` | 98.500 | 97.833 | -0.667 | | `sqlmodel-field-constraints` | 97.500 | 99.333 | +1.833 | `eslint-preserve-caught-error` 只有 5/6 个成功 Judge，观测均值为 `99.0`，不计算 task delta。 ## Luna/xhigh 正式 H0 任务结果索引 | Task | workflow completed | focused tests passed | Terra/xhigh Judge mean | Candidate/Harness-only tokens | Task summary | | --- | ---: | ---: | ---: | ---: | --- | | `axum-custom-executor` | 3/3 | 3/3 | 99.667 | `63,592,604` | summary（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-luna/campaigns/axum-custom-executor-matrixspec-harness-evolution-h0/reports/matrixspec-evolution-task-summary.json`） | | `bat-sanitize` | 2/3 | 2/3 | 92.167 | `109,842,679` | summary（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-luna/campaigns/bat-sanitize-matrixspec-harness-evolution-h0/reports/matrixspec-evolution-task-summary.json`） | | `cli-item-list-fields` | 2/3 | 3/3 | 98.500 | `83,818,633` | summary（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-luna/campaigns/cli-item-list-fields-matrixspec-harness-evolution-h0/reports/matrixspec-evolution-task-summary.json`） | | `eslint-preserve-caught-error` | 3/3 | 3/3 | 98.833 | `69,031,742` | summary（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-luna/campaigns/eslint-preserve-caught-error-matrixspec-harness-evolution-h0/reports/matrixspec-evolution-task-summary.json`） | | `prometheus-utf8-negotiation` | 0/3 | 0/3 | 69.667 | `93,664,614` | summary（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-luna/campaigns/prometheus-utf8-negotiation-matrixspec-harness-evolution-h0/reports/matrixspec-evolution-task-summary.json`） | | `pytest-addini-type-expressions` | 2/3 | 2/3 | 66.167 | `89,379,422` | summary（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-luna/campaigns/pytest-addini-type-expressions-matrixspec-harness-evolution-h0/reports/matrixspec-evolution-task-summary.json`） | | `pytest-plugin-entry-points` | 3/3 | 3/3 | 98.500 | `52,334,851` | summary（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-luna/campaigns/pytest-plugin-entry-points-matrixspec-harness-evolution-h0/reports/matrixspec-evolution-task-summary.json`） | | `sqlmodel-field-constraints` | 3/3 | 3/3 | 97.500 | `35,482,260` | summary（未打包来源：`WorkArena:archive/matrixspec-evolution/evaluations/h0-luna/campaigns/sqlmodel-field-constraints-matrixspec-harness-evolution-h0/reports/matrixspec-evolution-task-summary.json`） | 每个 task 的 token 值直接取对应 summary 的 `candidateCost.totalTokens`，8 项合计 `597,146,805`，与 Luna/xhigh aggregate（未打包来源：`WorkArena:reports/generation-result.json`） 一致；该口径汇总每个 task 的 3 个 selected `valid_behavior` runs 中 `candidate + validator + reviewer` actors，不包含 infrastructure-invalid attempts、Operator 或 Judge。 ## H0 Root Cause 与 Proposal 候选归档 本节归档 `H0-LUNA-XHIGH-20260809` 的轨迹根因分析，不扩展到 Terra/high 条件，也不把 8 个未选中的 `infrastructure_invalid` physical attempts 用作行为归因。分析覆盖 `24/24` 个 selected `valid_behavior` logical cells；聚合 Pattern Evidence 与 Weakness 原文分别见 [all-cells.json](../../archive/matrixspec-evolution/analyses/H0/h0-root-cause-20260809-a/pattern-evidence/all-cells.json) 和 [weakness-shortlist.json](../../archive/matrixspec-evolution/analyses/H0/h0-root-cause-20260809-a/weakness-shortlist.json)。 ### Weakness shortlist | Weakness | 证据强度 | 跨任务支持 | First Divergence 与根因假设 | 反证与验证预测 | | --- | --- | --- | --- | --- | | `W-01` Task lifecycle representation mismatch | `high` | C001/C006/C007/C009/C016；4 个 task | `tasks.md` 在 tasks gate 被接受，但没有下游 executor 所需的独立机器状态表示；实现阶段首次完成任务时才暴露该隐藏合同。根因候选是任务生命周期被拆在 agent-authored Markdown 与 downstream parser 两端，而 status 语法没有在生成义务或 tasks gate 中被可靠保证。 | C010/C011 未出现该模式，且 5 个 occurrence 中 4 个最终恢复，说明它不必然导致失败。若假设正确，可比较的后续运行不应再首次触发 `TASK_STATUS_LINE_MISSING`，也不应靠试改 task prose 探索 parser 语法；若只是换了错误名或仍需 trial edit，则否决。 | | `W-02` Obligation-to-evidence closure gap | `high` | C003/C004/C005/C006/C008/C009/C012/C013/C014/C015/C016/C017/C018/C020/C021/C023；覆盖全部 8 个 task family | 最早共同分歧是 obligation 被翻译弱化，或在 implementation/task 已声称完成时仍没有当前证据；独立 Review/Validation/Finalization 才首次把缺口具体化。根因候选是 stage acceptance 与 task completion 没有把每项 accepted obligation 绑定到当前可观察证据。 | C010/C011 证明 H0 能形成完整 handoff；很多 occurrence 也被 Review 成功修复，因此不把产品 bug 本身归因给 Harness。若假设正确，后续首次独立 Review 应更少发现“任务已 done，但明确行为、兼容条件、静态检查或权威文档仍缺失”的情况；仅增加测试数量不算支持。 | | `W-03` Unreachable cross-stage repair ownership | `medium` | C004/C015/C018；3 个 task，均 `workflow_failed` | Validator/Reviewer 发现 blocker 的 source 位于其他 stage/artifact，但当前角色只能改自己的报告，既不能交还可修改 source 的 owner，也没有稳定的 Controller transition。根因候选是 stage-scoped ownership 能识别跨阶段矛盾，却没有可达 repair owner 或 stable blocked terminal。 | C017 经 Operator 澄清后完成，C013 在有写入路径时完成了有效跨阶段修订；严格 ownership 本身也可能是正确设计。若假设正确，负面结论后的下一步应改变 source/state，或稳定结束为 blocked，而不是针对同一 digest 重跑 checker 或只在报告中宣称解除 blocker。 | | `W-04` No-delta recovery repetition | `medium` | C001/C004/C013/C015/C017/C018/C021/C022；6 个 task family | 同一失败、timeout 或 blocker 已返回，且 repository/controller/input state 没有变化时，下一步仍重复相同目标。根因候选是 recovery 没有一致的 stop-or-branch 纪律，使模型随机重复或重复 prompt 扩大成多步无信息增益循环。 | 很多重试在代码、权限、环境、stage 或输入变化后是有效的；模型随机性也是强替代解释。若假设正确，exact unchanged retries 应下降，但有真实 state delta 的 productive retries 必须保留；若只是更早停止并导致 completion 回归，则否决。 | 这四项是因果候选，不是已经被 H1/H5 实验证实的因果结论。完整替代解释、反证和 raw refs 以 [weakness-shortlist.json](../../archive/matrixspec-evolution/analyses/H0/h0-root-cause-20260809-a/weakness-shortlist.json) 为准。 ### W-01 的阶段产物下游合同 Proposal 候选卡 #### P-03：阶段产物必须满足下游可消费合同 ```yaml proposal_id: P-03 parent_harness: H0 source_weakness: W-01 evidence: summary: > W-01 由 C001、C006、C007、C009、C016 五个 logical cell 支持，跨越 四个 task family。最早重复分歧发生在 tasks stage：tasks.md 已被接受， 但没有 Implementation executor 随后要求的独立机器状态表示。该不兼容 直到第一次 task completion 才暴露，并引发 parser 查询、task prose 试改和重复 completion 调用。四个 cell 最终恢复；C009 在 focused tests 通过的情况下仍 workflow_failed，因此主要已观察影响是 completion、 cost 与 stability，而不是一致的产品质量下降。 authority_refs: coverage: ../../archive/matrixspec-evolution/analyses/H0/h0-root-cause-20260809-a/coverage.json pattern_evidence: ../../archive/matrixspec-evolution/analyses/H0/h0-root-cause-20260809-a/pattern-evidence/all-cells.json weakness_shortlist: ../../archive/matrixspec-evolution/analyses/H0/h0-root-cause-20260809-a/weakness-shortlist.json outcome_sidecar: ../../archive/matrixspec-evolution/analyses/H0/h0-root-cause-20260809-a/outcome-sidecar.json pattern_occurrences: - cell: C001 run: h0-axum-custom-executor-r1 pattern: omission observation: > 第一次 Task 1 completion 返回 `TASK_STATUS_LINE_MISSING`；补入独立 marker 后才可完成。 raw_refs: - raw-sessions/candidate/2026/08/09/rollout-2026-08-09T14-57-41-019fe550-213c-7b50-96d4-0d1df4270391.jsonl#L84 - raw-sessions/candidate/2026/08/09/rollout-2026-08-09T14-57-41-019fe550-213c-7b50-96d4-0d1df4270391.jsonl#L127 - raw-sessions/candidate/2026/08/09/rollout-2026-08-09T14-57-41-019fe550-213c-7b50-96d4-0d1df4270391.jsonl#L139 - cell: C006 run: h0-bat-sanitize-r3 pattern: omission observation: > tasks artifact 缺少 executor-readable independent status markers；首次 completion 失败，修正表示后才记录成功。 raw_refs: - raw-sessions/candidate/2026/08/09/rollout-2026-08-09T11-46-50-019fe4a1-6412-7ce1-a784-3e63fd482f09.jsonl#L231 - raw-sessions/candidate/2026/08/09/rollout-2026-08-09T11-46-50-019fe4a1-6412-7ce1-a784-3e63fd482f09.jsonl#L270 - raw-sessions/candidate/2026/08/09/rollout-2026-08-09T11-46-50-019fe4a1-6412-7ce1-a784-3e63fd482f09.jsonl#L278 - cell: C007 run: h0-cli-item-list-fields-r1 pattern: repeated_exploration_and_zero_information_gain observation: > tasks stage 留下空 status section；Implementation 至少五次探测 Task 1 completion，并尝试多个 marker 位置，期间多次得到相同诊断。 raw_refs: - raw-sessions/candidate/2026/08/09/rollout-2026-08-09T11-28-32-019fe490-a5df-70d3-9629-c63ca684c471.jsonl#L119 - raw-sessions/candidate/2026/08/09/rollout-2026-08-09T11-40-08-019fe49b-444e-76e0-a77a-9b5f3fe06101.jsonl#L93 - raw-sessions/candidate/2026/08/09/rollout-2026-08-09T11-40-08-019fe49b-444e-76e0-a77a-9b5f3fe06101.jsonl#L122 - raw-sessions/candidate/2026/08/09/rollout-2026-08-09T11-40-08-019fe49b-444e-76e0-a77a-9b5f3fe06101.jsonl#L176 - cell: C009 run: h0-cli-item-list-fields-r3 pattern: zero_information_gain observation: > 多次 Task 1 completion 在 status edits 后仍返回相同 parser state；该 logical cell 最终 workflow_failed，但 focused tests passed。 raw_refs: - raw-sessions/candidate/2026/08/09/rollout-2026-08-09T11-39-06-019fe49a-5088-7850-880f-e14b6b394505.jsonl#L130 - raw-sessions/candidate/2026/08/09/rollout-2026-08-09T11-39-06-019fe49a-5088-7850-880f-e14b6b394505.jsonl#L162 - raw-sessions/candidate/2026/08/09/rollout-2026-08-09T11-39-06-019fe49a-5088-7850-880f-e14b6b394505.jsonl#L276 - raw-sessions/candidate/2026/08/09/rollout-2026-08-09T11-39-06-019fe49a-5088-7850-880f-e14b6b394505.jsonl#L299 - cell: C016 run: h0-pytest-addini-type-expressions-r1 pattern: omission observation: > 七项 tasks artifact 被作为可执行计划接受，但没有独立 marker lines； 第一次 Task 1 completion 才暴露缺失，修正后继续执行。 raw_refs: - raw-sessions/candidate/2026/08/09/rollout-2026-08-09T14-43-25-019fe543-0f7a-7f20-9dd2-125f9168df3e.jsonl#L101 - raw-sessions/candidate/2026/08/09/rollout-2026-08-09T14-57-45-019fe550-2ff8-79f2-80c2-d2bcc4826b74.jsonl#L201 - raw-sessions/candidate/2026/08/09/rollout-2026-08-09T14-57-45-019fe550-2ff8-79f2-80c2-d2bcc4826b74.jsonl#L224 - raw-sessions/candidate/2026/08/09/rollout-2026-08-09T14-57-45-019fe550-2ff8-79f2-80c2-d2bcc4826b74.jsonl#L534 counterevidence: - > C010 和 C011 完成且没有 retained status-contract Pattern，说明 W-01 在 H0 下不是确定性发生。 - > C001、C006、C007、C016 均在修正表示后完成，说明当前 Harness 已有 可恢复路径，只是恢复发生在无效 handoff 之后。 - > 多个恢复后的 occurrence cell 仍有很高 Judge 分数，因此现有证据主要 支持 workflow cost/stability 弱点，不支持一致的产品质量损失。 - > task-specific query 后来能够返回 marker/status 元数据，因此不是所有 status 相关探测都属于 zero information gain。 evidence_boundary: > 归因只覆盖 H0 的 24 个 selected valid_behavior cells；不使用未选中的 infrastructure_invalid attempts，也不把本卡外推为跨 generation 已验证结论。 affected_tasks: - axum-custom-executor - bat-sanitize - cli-item-list-fields - pytest-addini-type-expressions affected_runs: - h0-axum-custom-executor-r1 - h0-bat-sanitize-r3 - h0-cli-item-list-fields-r1 - h0-cli-item-list-fields-r3 - h0-pytest-addini-type-expressions-r1 observed_impact: quality: > 没有证据表明 status contract mismatch 会一致降低产品质量；多个恢复后的 occurrence cell 仍获得很高 Judge 分数。 completion: > C009 最终 workflow_failed；其余四个 occurrence cell 在修正表示后完成。 cost: > 产生了失败的 completion 调用、status/parser 搜索、tasks.md 试改、 重复相同诊断和实施执行延迟。 stability: > 相同消费者合同脱节跨越 Rust、Go 和 Python task，且是否恢复依赖运行时 对隐藏语法的重新发现。 root_cause: hypothesis: > H0 允许 stage 依据人类可读产物和确认状态完成，但没有要求该产物在接受前 满足已知下游消费者的机器可消费合同。任务生命周期因此被拆在 agent-authored Markdown 与 downstream parser 两端，Implementation 只能通过错误和试改 重新发现本应在 tasks gate 已满足的合同。 confidence: high strategy_change: current_strategy: > SDD stage 可以在产物存在并得到确认后被接受；必要输出、稳定标识、下游 消费者和实际 acceptance checks 没有形成统一、可执行的阶段合同。 proposed_strategy: > 每个 SDD 阶段声明必要输出、稳定标识、下游消费者和 acceptance checks； 当前产物不满足该 generation 已冻结的合同时，不得接受该阶段或推进到下游。 rationale: > 唯一主要杠杆是 stage acceptance contract。它把消费者兼容性放到产物所有者 仍可修正产物的阶段边界，并直接命中 W-01 的 earliest divergence；本卡不改变 SDD 阶段拓扑、repair/back 协议、任务内容、测试或 Judge。 expected_effect: behavioral_change: > 每个 stage 在 accept 前都能说明自己必须产出什么、稳定标识是什么、谁会消费， 以及哪些检查证明当前 artifact 可被消费。不兼容产物留在当前 stage 修正或形成 明确 blocked 结果，而不是被下游首次读取时才发现。 targeted_pattern_change: > C001/C006/C007/C009/C016 类型的 `TASK_STATUS_LINE_MISSING` 首次下游暴露、 task prose 试改和 status-specific 重复 completion 应减少；不宣称同时解决 obligation 语义遗漏、跨阶段 repair dead-end 或一般性的无增量重试。 expected_metrics: quality: > 不预设 Blind Judge 或 focused-test 提升；相同冻结评测下应没有可归因的 产品质量回归，并检查格式合规没有替代语义正确性。 completion: > stage-consumer mismatch 不应在已接受 stage 的下游首次出现；受影响运行应在 原 stage 修正后继续，或以明确、可解释的 source-stage blocked 结果结束。 cost: > 下游 parser 失败、status-contract 搜索、task prose 试改和重复 completion 应减少；不预先编造 token、tool-call 或 wall-time 降幅。 stability: > 对相同 artifact 和冻结合同，stage acceptance 结论应稳定，且错误应定位到 产物所有者所在阶段，而不是依赖下游 actor 猜测表示格式。 rejection_conditions: - "不满足已声明 consumer contract 的 artifact 仍被 stage accept。" - "已被 accept 的 artifact 在下游首次正常消费时仍因同一必要输出或稳定标识缺失而失败。" - "方案只把隐藏 parser error 提前，却没有暴露必要输出、consumer 和可操作的 acceptance check。" - "只修补 tasks status 特例，其他 SDD stage 仍没有各自的下游消费合同。" - "不同 actor 对同一 artifact 和冻结合同给出互相矛盾的 accept 结论。" - "新增 gate 造成可归因的 focused-test、Blind Judge 或 workflow completion 回归。" - "artifact 通过格式检查但相同的语义 obligation 缺口仍被误报为本卡已解决。" regression_risks: - "合同过度规定 Markdown 表达形式，压缩本可接受的产物自由度。" - "stage acceptance checks 与真实 downstream consumer 漂移，形成第二套不一致规则。" - "检查过宽或错误定位导致 false block，并把早期发现收益变成额外流程成本。" - "agent 只满足稳定标识和格式表面要求，反而掩盖 W-02 的语义证据缺口。" - "为没有实际机器消费者的产物强行增加无意义标识和检查。" ``` `P-03` 是独立的单策略候选：它只改变 stage acceptance contract。它不与 `P-01/P-02` 合并，也不表示已经选定、实施或进入正式 generation。 ### W-03 的两张单策略 Proposal 候选卡 下面两张卡都来自 `W-03`，但改变的是两个不同策略杠杆，必须分开选择和实验。它们是候选归档，不代表已经进入正式 generation，也不追写历史 `proposals.yaml`。 #### P-01：Default Validation Stage Compression（H1-inspired） ```yaml proposal_id: P-01 parent_harness: H0 source_weakness: W-03 evidence: summary: > W-03 由 C004、C015、C018 三个 workflow_failed cell 支持。C018 的 First Divergence 直接发生在 standalone Validation：Validator 识别 upstream design/tasks 冲突，却只能写 validation.md，也没有 Controller back-route。C004/C015 的相同 dead-end 发生在 Review，作为本策略不能 消除完整 W-03 的明确边界。 affected_tasks: - pytest-addini-type-expressions affected_runs: - h0-pytest-addini-type-expressions-r3 observed_impact: quality: > 主要影响是 workflow/evidence validity；没有证据证明删除 Validation 本身会提高产品质量，C004/C015 也表明 Review blocker 仍可能存在。 completion: > C018 未进入 Review，最终 workflow_failed；不把 C004/C015 的 Review failure 计为本策略的直接 affected run 或预期修复。 cost: > C018 在 validation-only write scope 中产生报告改写和权限请求； standalone checker 也增加一次 actor、artifact、accept 和 handoff。 stability: > Validation handoff 的不可达责任链可以通过不进入该独立阶段而消失， 但直接证据只有一个 Validation occurrence，不能据此声称跨 task 稳定。 root_cause: hypothesis: > H0 的 stage-scoped ownership 允许 downstream checker 发现 upstream 矛盾，却没有可达 repair owner 或 Controller transition，导致报告层 假清除或对未变化 source state 的重复检查。 confidence: medium strategy_change: current_strategy: > 默认 H0 workflow 在 implementation 前要求 standalone Validation； Validator 只能写 validation.md，跨阶段 blocker 因而增加一次必须由 Controller 正确路由的 handoff。 proposed_strategy: > 对默认低风险 workflow 移除 standalone Validation stage，使已确认的 upstream planning artifacts 直接进入 implementation，并继续保留独立 Review。需要实现前独立一致性验证的任务显式选择保留 Validation 的 Standard/Full profile。本卡不同时引入 back/revise Controller transition。 rationale: > 唯一主要杠杆是默认 workflow topology。它通过减少一个独立 checker handoff 直接避免 C018 类型的 validation-only dead-end，同时保持高风险 profile 和 Review 可用；它不宣称修复 Review 的跨阶段责任链。 expected_effect: behavioral_change: > 默认低风险 run 在 upstream planning stages 确认后直接进入 implementation，不创建、不进入也不 accept validation.md。需要 standalone Validation 的任务仍能通过显式 profile 获得该阶段。 targeted_pattern_change: > C018 类型的 validation-report-only clearance、validation-only authority request 和无状态增量 Validation 重入应消失；C004/C015 的 Review pattern 不属于本卡承诺消除的范围。 expected_metrics: quality: > 不预设上升；相同 focused tests 与 Blind Judge 下应至少没有可归因回归， 并重点观察明确 obligation 是否只是更晚被 Review 发现。 completion: > 只预期 validation-specific dead-end 减少；不预设 Review failure 改善。 cost: > 默认路径的 Validation actor、artifact、accept 和 handoff 开销应消失， 但不预先编造 token、tool-call 或 wall-time 降幅。 stability: > 默认路径少一个跨角色 transition；高风险任务的 profile routing 必须稳定。 rejection_conditions: - "默认流程只是把 Validation 换名或藏进另一独立 actor，产生等价 handoff。" - "C018 的同一 obligation 只是被推迟到 Implementation/Review 才首次发现。" - "删除 Validation 后出现可归因的 focused-test、Judge 或 completion 回归。" - "本应进入 Standard/Full 的高风险任务被错误路由到无 Validation 默认流程。" - "Standard/Full 不再保留其独立 Validation 能力。" - "实验把 C004/C015 的 Review dead-end 误报为已由本策略解决。" regression_risks: - "W-02 obligation-evidence gap 加重，开放义务更晚才被 Review 具体化。" - "tasks/implementation handoff 承担更多一致性责任，但现有完成门不足。" - "Review 成为唯一独立 checker 后负载和 late-discovery 成本上升。" - "profile 选择规则过宽，使高风险变更失去实现前独立验证。" ``` #### P-02：Reachable Cross-Stage Repair（H5-inspired） ```yaml proposal_id: P-02 parent_harness: H0 source_weakness: W-03 evidence: summary: > C004、C015、C018 分别来自三个 task family，均为 workflow_failed。 下游 Reviewer 或 Validator 识别了位于其他 stage/artifact 的 blocker， 但当前角色没有可达的 source/state-changing repair path；后续出现了 报告层假清除、对未变化 source 的复审，或无法改变 Controller 状态的请求。 affected_tasks: - bat-sanitize - prometheus-utf8-negotiation - pytest-addini-type-expressions affected_runs: - h0-bat-sanitize-r1 - h0-prometheus-utf8-negotiation-r3 - h0-pytest-addini-type-expressions-r3 observed_impact: quality: > 主要影响是 evidence/workflow validity，而不是一种统一产品缺陷； 部分实现检查已经通过，但跨 artifact 矛盾仍开放。 completion: > 三个 occurrence cell 都未完成 workflow。 cost: > 重复 Review、focused checks、报告改写和权限请求没有伴随 source-state 改变。 stability: > 相同 dead-end 形态同时出现在 Validation 和 Review，并跨越不同任务生态。 root_cause: hypothesis: > H0 可以识别跨阶段矛盾，却没有把 blocker 稳定交还给可修改 source 的 责任角色，也没有在不可达时形成稳定 terminal，导致报告层假清除或 对未变化 source state 的重复检查。 confidence: medium strategy_change: current_strategy: > Validation/Review 的负面结论主要停留在 checker 报告中；Controller 没有把该结论绑定为阻止 accept、改变 currentStage、失效旧 confirmation 并重新分配修复责任的语义控制信号。 proposed_strategy: > 将负面 verdict 的处置权交给 Controller。合法且可达时，执行持久化 back transition，使 repair target 及其 downstream confirmation 失效， 由 adapter 路由给目标 owner 修复、重新确认并重入 checker；目标非法、 不可达，或同一 blocker 在相同 source、Controller state 和 decision input 下再现时，稳定结束为 behavioral blocked failure。本卡不删除 checker； back 是条件能力，可以发生零次或多次，不是每个 run 的固定必经步骤。 rationale: > 唯一主要杠杆是跨阶段 blocker 的 Controller-owned disposition。repair 与 terminal 是该处置的两个分支；策略不放宽严格 artifact ownership， 也不改变任务、测试、质量标准、Judge 或正式 cell 分母。 expected_effect: behavioral_change: > 形成合法 negative verdict 后，当前 checker 不再被确认；下一步要么出现 可审计的 back/invalidation、目标 source 修改和重新确认，要么稳定终止。 不再只改 checker 报告，也不在相同 recovery context 下重复检查。 targeted_pattern_change: > C004/C015/C018 所代表的报告层假清除、unchanged re-review 和 zero-information-gain recovery loop 应消失。 expected_metrics: quality: > 不预设 Judge 分数上升；首先保持现有质量门，并减少带开放 blocker 的假完成。 completion: > 只在 blocker 存在可达 owner 的 cell 中有望提高；不可达场景应更干净地失败。 cost: > 无 source/state 增量的 Review、Validation、权限请求和报告改写应减少。 stability: > 相同 blocker context 应得到确定的 repair 或 terminal 结果，而不是随机循环。 rejection_conditions: - "negative verdict 后当前 Validation/Review 仍被 accept。" - "只修改 checker 报告便声称 source blocker 已消失。" - "back 后 repair target 或 downstream 的旧 confirmation 仍保持有效。" - "source、Controller state 与 decision input 未变化时仍重复同一 checker。" - "旧循环只是被替换成等价的 back/review 循环。" - "C013/C017 类型的真实 source 变化或新 Operator 信息被误判为停滞。" - "本来可修复的 blocker 被过早终止，造成可归因的 completion 或质量回归。" regression_risks: - "repairTarget 路由错误，导致角色越过严格 artifact ownership。" - "target/downstream invalidation 过宽，造成不必要的重做成本。" - "invalidation 过窄，保留依赖旧 artifact 的陈旧 confirmation。" - "blocker identity 或状态摘要不稳定，导致漏检停滞或制造 false terminal。" - "Arena event/completion ledger 仍按单向流程解释，无法证明最终 confirmation 有效。" ``` 当前只完成归档和候选定义。后续由用户从多张 Proposal 中选定一张，再交给 MAIN 建立独立 generation；`P-01` 与 `P-02` 不得在同一代同时启用，否则无法区分收益来自默认阶段压缩还是跨阶段 repair chain。 ## H1 Terra/high 主视图（用户授权 D5 替换） 本节登记 generation bundle `H1-TERRA-HIGH-D5-REPLACEMENT-20260811` 及 Judge bundle `H1-TERRA-HIGH-D5-REPLACEMENT-20260811__JUDGE-TERRA-XHIGH-20260811`。 主视图固定为：D1–D4、D6–D8 使用原始 H1 selected cells，D5 使用物理独立的 `bat-sanitize-matrixspec-harness-evolution-h1-rerun-20260811` 三个 cells。用户已明确授权 Supplemental D5 **直接替代**原始 H1 D5，因此它是主分母、指标、Candidate 成本、Judge 聚合和后续 Weakness 权重中唯一选中的 D5。原始 H1 D5 不参与这些数字，只保留为 Judge 算术失败、历史 attempts、Freeze 行为和 supersession 原因等事故/治理证据。 ### H1 generation 与 Judge bundle | generation_bundle_id | protocol | evidence class | Candidate / Harness | Operator | 规模 | 状态 | 关键结果 | artifact_state | | --- | --- | --- | --- | --- | --- | --- | --- | --- | | `H1-TERRA-HIGH-D5-REPLACEMENT-20260811` | `matrixspec-start-go-accept-back-done-v2` | `user-authorized-primary-amendment` | `gpt-5.6-terra / high` | `gpt-5.6-terra / xhigh` | 8 tasks × 3 = 24 selected valid cells | `complete` | workflow `10/24`；focused `18/24`；Candidate/Harness-only `316,713,117` tokens、`5,393` tool calls、`4,460.56` credits | H1 manifests tracked only on an unpushed local execution branch；campaign evidence is worktree-local ignored/untracked | | judge_bundle_id | generation_bundle_id | Judge | 冻结输入 | 状态 | Judge outputs | 均分 | 双 Judge 平均绝对分差 | authority note | | --- | --- | --- | --- | --- | ---: | ---: | ---: | --- | | `H1-TERRA-HIGH-D5-REPLACEMENT-20260811__JUDGE-TERRA-XHIGH-20260811` | `H1-TERRA-HIGH-D5-REPLACEMENT-20260811` | `gpt-5.6-terra / xhigh` × 2 | 24 个冻结匿名 packages | `complete` | `48/48` | `93.5208333333` | `1.875` | D5 packages/results 只取 replacement campaign；原始 D5 Judge 不进入本 bundle | 汇总真相来自下方 8 份 complete task summary 对 selected runs 的确定性合并；当前没有单独的 H1 `generation-result.json`，因此本 ledger 不把不存在的 aggregate 文件伪装成权威源。 ```text valid cells: 24/24 workflow completed: 10/24 (41.67%) focused tests passed: 18/24 (75.00%) Judge outputs: 48/48 Judge mean: 93.5208333333 Judge min/max: 71 / 100 mean absolute difference between Judge pairs: 1.875 Candidate/Harness-only cost: 316,713,117 tokens / 5,393 tool calls / 4,460.56 credits per-cell mean: 13,196,379.875 tokens / 224.7083 tool calls / 185.8567 credits ``` ### H1 平台与输入 commit 节点 H1 主视图不能倒推成一个 WorkArena commit；实际存在两个执行节点： | 平台/输入 | 覆盖范围 | commit | tree | parent / 说明 | 权威入口 | | --- | --- | --- | --- | --- | --- | | WorkArena execution | D1–D4、D6、D8 | `c109fca220dfdb848e8bfeb503c08cbee2d8a784` | `3e56c0d2541670d638c1a22c3d542a923433c3da` | parent `c6b3124dde477df5b2cdb10a9a444ab11dfe0a1b` | available-six result（未打包来源：`WorkArena:.scratch/matrixspec-h1-formal/available-six-result.json`） | | WorkArena execution | D7 与 Supplemental D5 replacement | `9460ecca217480d9f0c741a0f51c14cfad702500` | `a5b9d738584c05f600102df43a150005ca6c24fe` | parent `c109fca220dfdb848e8bfeb503c08cbee2d8a784`；local branch `codex/matrixspec-h1-formal-execution`，未 push/merge | D5/D7 readiness（未打包来源：`WorkArena:.scratch/matrixspec-h1-formal/d5-d7-readiness-receipt.json`） | | H1 role configuration lineage | 全 H1 manifest 的 Terra/high actor tuple | `4927e0e16c98c176d57df6a0fa52cee79bab64e9` | `44fc0d05ecb44baa34ae1c40ab8f11c8b7a61423` | parent `f84fdae33d96861f47fc481bf81141cac1377490`；不是全部 task 的执行 HEAD | generation manifest（未打包来源：`WorkArena:experiments/matrixspec-harness-evolution-h1/generation.json`） | | MatrixSpec runtime | 全部 24 cells | `2291c4b5b119e00df751d841a81e12afdecac443` | `dd37a8a1f8102bcb606776767cff68691e35616c` | Git parent `58b71b774155f4b785f79effad10e08ca6958caf`；protocol parent H0=`a93d0b8d804db4b7864159f8b04234a457c18f1e` / tree `8c26cd2b18c05cec0fd52dc90d745e11d10b4490` | H1 descriptor（未打包来源：`WorkArena:experiments/matrixspec-harness-evolution-h1/generations/H1.json`） | H1 descriptor SHA-256=`fccf79527e5322c801c4542b5f1617b73cee63d99e3fd0eaf2d410f945c8b34d`；generation manifest SHA-256=`5bec5f8d49aaed73d9d7e466f5e8709af514cef17d7ef8bab0f4b986f981848a`；contract SHA-256=`2be2601f20f756fa4698a5ddfb9eefe95335b66147071b4e49d264911aafe08d`；workflow SHA-256=`17a2ce3777a408b0e30d91b6419c73c32da48b2699a07254fbfc59ea5ecfc7c4`。 413 个纳入主视图的 Candidate/Validator/Reviewer/Operator raw sessions 均自报 Codex CLI `0.147.0-alpha.6.5`。Judge JSONL 没有独立 `cli_version` 字段，所以不能把当前本机二进制版本或 hash 倒推成历史 Judge CLI provenance。 8 个任务的 source 与 sealed baseline 使用相同 commit/tree；reference 是独立的 Ground Truth checkout： | ID | Task | source + sealed baseline commit / tree | reference commit / tree | | --- | --- | --- | --- | | D1 | `cli-item-list-fields` | `ae66a1c02e08366858f3070664f493afbe0cdf18` / `95735bbafb33f83b76c2e3fa3f5c99c2245621be` | `efe3f165dd297c85fff11473dbf586f2d39fbf86` / `b4539ca014121861158af022e743c494436f1b1f` | | D2 | `eslint-preserve-caught-error` | `c30d80801ca561bdf65c6c3eba4ee57dced278cf` / `ccdf0ff80afafd785159edd40453e24755f9febf` | `cf2a9bf2d982642f760370c15f1196f4658f4e27` / `def285760ba27c23d63e85966303445368c7c5ca` | | D3 | `pytest-plugin-entry-points` | `f1211ba21d1df2f55cf2ba1523b9d7b6c6a9ef56` / `a619a6d46d82f7bfa4159e66a7ba5a1d77f73e3b` | `198eff1604e7b649e3fdcf306306517070d19235` / `5c000011ef82b7ef9873ba531ccef98595202b6b` | | D4 | `pytest-addini-type-expressions` | `ef052d0bc481af97afb3fbd2aae24d8abce08604` / `1ee74ee36b4407e3aaf05ca7fb36e5d88b271a97` | `344c23787cdb3431dcc441b8b63ee9950f04b921` / `d6daea2f709dc6b1dab24788d867d255eb3e5735` | | D5 | `bat-sanitize` replacement | `971f9679dafac7fb9246c2f8a43118873a446b3a` / `9d7529113ef9bc9746ca36d2509f07217bca4415` | `0a52e4321f808f57a91174a98daeab84e7f7de2a` / `e0bd84ad176e90e6134ec178e6ebaf6bddfa93af` | | D6 | `sqlmodel-field-constraints` | `e4e1385eedc700ad8c4e079841a85c32a29f1cff` / `dfee9f430d5a75fc965824884563c9ef0d36b383` | `306f202b3e9c35b8f1a6668d2718bfac086fca06` / `f5443e192a3af27f817500be3b156edcd395d484` | | D7 | `axum-custom-executor` | `309d1bd9530eec2217134cb262760af1df42ee3b` / `133a6bb0bc0b59b54481973c45e269ca4b6de84b` | `aa51de89c86ac57511cb49dd73878810cb7c98a0` / `04adb9428453861b392c68a4962cab947995066a` | | D8 | `prometheus-utf8-negotiation` | `d24220a6c477eef2dfeb12a312e0da66539095e1` / `c715add7499121d29f15cbb21d929571e3fae457` | `831ed026fe1b02a98c7e2fbef634915ef2e8efc8` / `8e1cf4e9c601adee16525b0f7b9779a1dabdb339` | 这些 pin 的权威 manifest 是 H1 execution checkout 下的 `packs/tasks//task-dense-spec-v1.json` 与 `experiments/matrixspec-harness-evolution-h0/full-baselines.json`。 ### H1 匿名 Judge package 与结果位置 | 覆盖范围 | package 路径模板 | Judge result 路径模板 | 数量 | 可点击入口 | | --- | --- | --- | ---: | --- | | D1–D4、D6–D8 | `historical-worktree://1723/workarean/campaigns/{taskId}-matrixspec-harness-evolution-h1/evaluation/candidates/Candidate-{A,B,C}/` | 同 campaign 下 `evaluation/results/judge-{01,02}/Candidate-{A,B,C}/` | 21 packages / 42 finals / 42 metadata | D1 packages（未打包来源：`WorkArena:campaigns/cli-item-list-fields-matrixspec-harness-evolution-h1/evaluation/candidates/`）；D1 results（未打包来源：`WorkArena:campaigns/cli-item-list-fields-matrixspec-harness-evolution-h1/evaluation/results/`） | | D5 replacement | `historical-worktree://1723/workarean/campaigns/bat-sanitize-matrixspec-harness-evolution-h1-rerun-20260811/evaluation/candidates/Candidate-{A,B,C}/` | 同 campaign 下 `evaluation/results/judge-{01,02}/Candidate-{A,B,C}/` | 3 packages / 6 finals / 6 metadata | D5 packages（未打包来源：`WorkArena:campaigns/bat-sanitize-matrixspec-harness-evolution-h1-rerun-20260811/evaluation/candidates/`）；D5 results（未打包来源：`WorkArena:campaigns/bat-sanitize-matrixspec-harness-evolution-h1-rerun-20260811/evaluation/results/`） | 每个 package 根以 `package-manifest.json` 为入口；它冻结 `runId`、`packageHash`、任务/合同/rubric、`product.diff`、`tests.log` 和允许的 baseline context。每个 result 根保存两个独立 Judge 的 `judge.final.json`、`metadata.json`、`judge.jsonl` 与 `judge.stderr.txt`。 H1 的 Candidate/Validator/Reviewer/Operator 原始 rollout 冻结在对应 campaign 的 `runs//raw-sessions//YYYY/MM/DD/rollout-*.jsonl`；主视图共观察到 `413` 个 actor raw sessions。48 个 Judge 的原始 rollout 位于相应 campaign 的 `evaluation/.judge-homes/judge-{01,02}/Candidate-{A,B,C}/sessions/...`。同样只把 `sessions/` 作为对账入口，不复制 auth、config、SQLite 或其它 Judge home 状态。 H1 control-plane 的主要执行依据是 available-six result（未打包来源：`WorkArena:.scratch/matrixspec-h1-formal/available-six-result.json`） 与 D5/D7 readiness receipt（未打包来源：`WorkArena:.scratch/matrixspec-h1-formal/d5-d7-readiness-receipt.json`）；D5 replacement 保持独立 campaign 和 summary，不覆盖原始 H1 D5 evidence。 ### H1 任务级结果 | ID | Task | workflow | focused | Terra/xhigh Judge mean | Candidate tokens | Tool calls | Credits | Task summary / SHA-256 | | --- | --- | ---: | ---: | ---: | ---: | ---: | ---: | --- | | D1 | `cli-item-list-fields` | 0/3 | 3/3 | 98.0000 | 51,825,005 | 932 | 724.28 | summary（未打包来源：`WorkArena:campaigns/cli-item-list-fields-matrixspec-harness-evolution-h1/reports/matrixspec-evolution-task-summary.json`） `653b14a2b09e67bf1e82e5a77936993e837878d14ef03eafdca0c7052b8b60e7` | | D2 | `eslint-preserve-caught-error` | 2/3 | 3/3 | 100.0000 | 32,358,161 | 522 | 435.43 | summary（未打包来源：`WorkArena:campaigns/eslint-preserve-caught-error-matrixspec-harness-evolution-h1/reports/matrixspec-evolution-task-summary.json`） `616f56dae9f50d09a957221004f10968df1e8a61e55157e5f357abca8fc5ef62` | | D3 | `pytest-plugin-entry-points` | 2/3 | 3/3 | 99.3333 | 29,220,909 | 524 | 436.38 | summary（未打包来源：`WorkArena:campaigns/pytest-plugin-entry-points-matrixspec-harness-evolution-h1/reports/matrixspec-evolution-task-summary.json`） `3175714cac5de7517951d6867ebad62c64251eeb81b197f78c6f049d55d11732` | | D4 | `pytest-addini-type-expressions` | 1/3 | 3/3 | 91.5000 | 59,882,724 | 863 | 782.47 | summary（未打包来源：`WorkArena:campaigns/pytest-addini-type-expressions-matrixspec-harness-evolution-h1/reports/matrixspec-evolution-task-summary.json`） `54f8938725f6877a0d74da196f977a64e810974cc9fe85b24e22ae1b9061488f` | | D5 | `bat-sanitize` replacement | 1/3 | 1/3 | 86.3333 | 51,513,657 | 879 | 684.96 | summary（未打包来源：`WorkArena:campaigns/bat-sanitize-matrixspec-harness-evolution-h1-rerun-20260811/reports/matrixspec-evolution-task-summary.json`） `67c0bab92364beb1217a9889f0ccd1979241fd665873bbc603a00b78ea772609` | | D6 | `sqlmodel-field-constraints` | 2/3 | 3/3 | 100.0000 | 21,938,914 | 490 | 349.14 | summary（未打包来源：`WorkArena:campaigns/sqlmodel-field-constraints-matrixspec-harness-evolution-h1/reports/matrixspec-evolution-task-summary.json`） `e08ed04b676fcb7c0260c88c721d960dcb747c9c1547b7f04a76df20fa45b424` | | D7 | `axum-custom-executor` | 1/3 | 1/3 | 95.1667 | 30,353,180 | 555 | 459.76 | summary（未打包来源：`WorkArena:campaigns/axum-custom-executor-matrixspec-harness-evolution-h1/reports/matrixspec-evolution-task-summary.json`） `58c6cd070c7aa6206e362d67fb94ca35b9e7378fe8bef08343c7811839a91cf5` | | D8 | `prometheus-utf8-negotiation` | 1/3 | 1/3 | 77.8333 | 39,620,567 | 628 | 588.14 | summary（未打包来源：`WorkArena:campaigns/prometheus-utf8-negotiation-matrixspec-harness-evolution-h1/reports/matrixspec-evolution-task-summary.json`） `c61f630ce185cfcc285897898987ff1ac2d9c7d80ccb2cfb33c60df788e06652` | ### H1 24-cell 分数与每 cell 成本 | Task | Cell | selected physical attempt | outcome | workflow | focused | J01 | J02 | mean | Candidate tokens | Tools | Credits | | --- | --- | --- | --- | --- | --- | ---: | ---: | ---: | ---: | ---: | ---: | | Axum | r1 | `h1-axum-custom-executor-r1-attempt-03` | `workflow_failed` | false | false | 88 | 94 | 91.0 | 9,820,174 | 206 | 162.29 | | Axum | r2 | `h1-axum-custom-executor-r2-attempt-01` | `workflow_failed` | false | false | 95 | 94 | 94.5 | 11,449,291 | 187 | 167.05 | | Axum | r3 | `h1-axum-custom-executor-r3-attempt-01` | `completed` | true | true | 100 | 100 | 100.0 | 9,083,715 | 162 | 130.42 | | D5 replacement | r1 | `h1-bat-sanitize-rerun-20260811-r1-attempt-01` | `workflow_failed` | false | false | 86 | 84 | 85.0 | 16,838,175 | 288 | 232.10 | | D5 replacement | r2 | `h1-bat-sanitize-rerun-20260811-r2-attempt-01` | `completed` | true | true | 90 | 92 | 91.0 | 17,738,979 | 312 | 233.64 | | D5 replacement | r3 | `h1-bat-sanitize-rerun-20260811-r3-attempt-01` | `workflow_failed` | false | false | 83 | 83 | 83.0 | 16,936,503 | 279 | 219.22 | | CLI | r1 | `h1-cli-item-list-fields-r1-attempt-06` | `workflow_failed` | false | true | 100 | 100 | 100.0 | 17,670,995 | 319 | 246.44 | | CLI | r2 | `h1-cli-item-list-fields-r2-attempt-03` | `workflow_failed` | false | true | 98 | 100 | 99.0 | 18,746,082 | 348 | 259.07 | | CLI | r3 | `h1-cli-item-list-fields-r3-attempt-03` | `workflow_failed` | false | true | 94 | 96 | 95.0 | 15,407,928 | 265 | 218.77 | | ESLint | r1 | `h1-eslint-preserve-caught-error-r1-attempt-02` | `workflow_failed` | false | true | 100 | 100 | 100.0 | 8,434,293 | 146 | 115.95 | | ESLint | r2 | `h1-eslint-preserve-caught-error-r2-attempt-01` | `completed` | true | true | 100 | 100 | 100.0 | 10,558,824 | 156 | 143.29 | | ESLint | r3 | `h1-eslint-preserve-caught-error-r3-attempt-03` | `completed` | true | true | 100 | 100 | 100.0 | 13,365,044 | 220 | 176.19 | | Prometheus | r1 | `h1-prometheus-utf8-negotiation-r1-attempt-01` | `workflow_failed` | false | false | 72 | 76 | 74.0 | 13,486,332 | 218 | 198.70 | | Prometheus | r2 | `h1-prometheus-utf8-negotiation-r2-attempt-01` | `workflow_failed` | false | false | 73 | 71 | 72.0 | 14,814,757 | 255 | 230.60 | | Prometheus | r3 | `h1-prometheus-utf8-negotiation-r3-attempt-01` | `completed` | true | true | 80 | 95 | 87.5 | 11,319,478 | 155 | 158.84 | | pytest addini | r1 | `h1-pytest-addini-type-expressions-r1-attempt-02` | `workflow_failed` | false | true | 95 | 95 | 95.0 | 18,923,100 | 292 | 262.53 | | pytest addini | r2 | `h1-pytest-addini-type-expressions-r2-attempt-02` | `workflow_failed` | false | true | 89 | 92 | 90.5 | 16,918,492 | 283 | 236.15 | | pytest addini | r3 | `h1-pytest-addini-type-expressions-r3-attempt-02` | `completed` | true | true | 86 | 92 | 89.0 | 24,041,132 | 288 | 283.79 | | pytest plugin | r1 | `h1-pytest-plugin-entry-points-r1-attempt-03` | `completed` | true | true | 100 | 100 | 100.0 | 5,430,781 | 102 | 85.34 | | pytest plugin | r2 | `h1-pytest-plugin-entry-points-r2-attempt-02` | `completed` | true | true | 100 | 100 | 100.0 | 5,735,849 | 107 | 91.88 | | pytest plugin | r3 | `h1-pytest-plugin-entry-points-r3-attempt-02` | `workflow_failed` | false | true | 98 | 98 | 98.0 | 18,054,279 | 315 | 259.16 | | SQLModel | r1 | `h1-sqlmodel-field-constraints-r1-attempt-01` | `completed` | true | true | 100 | 100 | 100.0 | 5,668,862 | 130 | 97.58 | | SQLModel | r2 | `h1-sqlmodel-field-constraints-r2-attempt-01` | `workflow_failed` | false | true | 100 | 100 | 100.0 | 10,344,981 | 244 | 158.18 | | SQLModel | r3 | `h1-sqlmodel-field-constraints-r3-attempt-01` | `completed` | true | true | 100 | 100 | 100.0 | 5,925,071 | 116 | 93.38 | ### H1 package identity 对账 下表的 manifest 均位于对应 campaign 的 `evaluation/candidates/