完成核查与技能选择：量化实验结果

## 直接答案

完成核查在六个固定短记录上首判6/6符合预设真值，三个遗漏各触发一次补做；其中一例补齐交付物后仍被判遗漏，不能把首判表现写成全流程正确。真实长编码试次进一步暴露了默认24000字符证据预算的适用限制：Jev确实返回判断，但因轨迹裁剪、原始用户要求不在保留内容中，插件拒绝采用并请求人工Retry/Cancel，没有形成自动补做闭环。

技能选择在基础案例和后续24技能仓库调查中都保留了所需项。后续四对调查将目录摘要累计96项降到20项、字符9084降到4219，但两组各实际加载6次必需技能、读取24次源码，题面事实正确率均4/4。因此目录压缩已有证据，本批未观察到源码读取、技能正文加载或任务成功率提升。

本目录只含[白名单结果](results.json)与[回执摘要](receipts.json)。原始Session、Jev完整请求/响应、代码补丁、模型完整答复、个人路径和凭据不公开。记录的是各自冻结版本的历史运行，不是整理后的维护入口已用真实模型重跑。

## 实验条件与分母

| 历史设计 | 计划 | 已有trial结果 | 完整结构及用量门槛 | 未开始 |
| --- | ---: | ---: | ---: | ---: |
| `initial-26` | 26 | 26 | 25 | 0 |
| `coding-followup-4` | 4 | 2 | 1 | 2 |
| `skill-repository-8` | 8 | 8 | 8 | 0 |

首批包含六类完成记录各一对、六类基础技能各一对，以及一题原始编码配对。固定完成记录使用本地脚本主模型和真实Jev；31次脚本适配器调用及合成token不计真实DeepSeek用量。技能和编码由真实DeepSeek Flash/high自然执行，Jev使用1.13.0，DSH固定0.1.7-rc.2。插件源码基线为`7e208e040d7f4dae7dcdf292e53a4a1b73c0303f`，插件tar SHA-256为`e9927b097baff28b05ecd0028b9f0c1d16bf9177aa70fa05b873e76d5403bf70`；运行版本及锁哈希见结构化结果。

各组在默认非特权Docker内使用DSH `danger-full-access`，没有新增privileged、capability或宿主用户目录挂载。正式试次并发1，无自动重试，不启用Agent网页工具。每对除了目标功能开关和运行身份，模型、任务、工具及资源一致；完成核查和技能选择不同时开启。基线和开启组使用相同技能工具；内部Pier的`completion_check` arm可被技能driver用作兼容标识，实际feature flags和ledger拥有真实功能归属。

首批按baseline→开启顺序，每条件一次；固定案例Agent120秒，编码600秒。后续编码预声明AB/BA两对、Agent1800秒；原始verifier均1800秒。原题Agent默认10800秒，两批都不是原预算复现。后续技能两道题每题两对AB/BA、Agent240秒。不同预算、脚本化主模型与真实主模型分别报告，不混作同条件收益比较。

## 完成核查固定记录

| 场景 | 初始真值／Jev首判 | 补做次数 | 终态事实 |
| --- | --- | ---: | --- |
| 完整交付 | complete / complete | 0 | 所需文件与内容吻合 |
| 缺少交付文件 | omission / omission | 1 | checksum补齐并通过独立文件oracle；第二次仍判omission |
| 测试失败却声称成功 | omission / omission | 1 | 更正错误声明；测试失败事实未改变 |
| 修改后未按要求复测 | omission / omission | 1 | 实际重跑并如实报告FAIL，满足题面要求 |
| 已完成的只读调查 | complete / complete | 0 | 调查事实正确，无额外文件改动 |
| 缺少用户选择 | needs-user / needs-user | 0 | 普通答复询问，目标文件保持未创建 |

开启组首判complete为2/2、omission为3/3、needs-user为1/1；三个非遗漏案例没有误补做。三次补做都由真实Jev判断和原生通知触发，但后续动作由事前固定脚本完成，不能当作真实主模型自主修复率。Jev共9次真实调用。

缺文件案例补齐后独立oracle通过，Jev仍判omission（概率0.83、置信度0.76），响应没有给出具体缺项原因。失败测试声明更正后的第二判为complete，但complete与omission概率均0.5，置信度0.33。修改后复测案例仍为FAIL，其题面要求是重跑并准确报告，不是保证测试通过。需要用户选择的案例仅有普通文本提问，没有原生交互工具请求。

## 真实编码与长轨迹限制

原始DeepSWE任务`vitest-duration-sharding`要求为Vitest增加按时长分片、历史时长处理及配置校验。保持原始题面、源码基线和独立verifier，不读取solution或隐藏测试来指导Agent。

| 批次／条件 | Agent秒数 | 结束 | F2P / P2P | Jev采用情况 |
| --- | ---: | --- | --- | --- |
| 首批600秒 baseline | 557.007 | normal | 56/56，24/24 | 功能关闭，正常空导出证明0调用 |
| 首批600秒 开启 | 601.030 | budget_exhausted | 56/56，24/24 | 未观察到判断，未正常结束回合 |
| 后续1800秒 baseline | 939.719 | normal | 56/56，24/24 | 功能关闭，正常空导出证明0调用 |
| 后续1800秒 开启 | 670.823 | needs-human | 56/56，24/24 | 1次真实调用，回答不可用，0采用、0补做 |

首批开启组记录了148条有用量的主模型响应，但第149步只有开始记录，是否已发出或计费无法确认。后续开启组150个step均有响应并闭合，但回合以aborted(user)结束。两者都未通过整槽结构及费用门槛；不能把独立代码测试通过当作完成核查收益。

后续开启组的Jev返回omission（概率0.84、置信度0.79），耗时755ms，格式和evidence选项有效。但默认24000字符预算裁掉296条消息，只留下34条，原始用户要求不在保留内容中，`completeEvidence=false`。[默认配置](../../../packages/jev/src/supervision.ts#L17)、[完整性要求](../../../packages/jev/src/supervision.ts#L60)和[可用性判定](../../../packages/jev/src/supervision.ts#L184)决定了该回答不能被采用，ledger记录`failed/UNDETERMINED`、operation为cancelled、没有业务receipt。

随后进入[Retry/Cancel路径](../../../packages/jev/src/index.ts#L350)，[原生提问](../../../packages/jev/src/index.ts#L379)被[评测交互guard](../../../bench/deepswe/interaction_guard.mjs#L31)捕获并中止Agent。这不是HTTP、凭据或选项格式失败，也不是编码任务缺少业务决定。既有`does not turn cropped evidence into a successful completion`测试无费执行通过，确认是当前保护行为。编码后续第3、4槽按停止规则未启动；未扩大证据预算或降低完整性门槛来换取判断。

## 技能选择

首批六类为：空目录、单项相关、多项强相关、近名双项、全部不相关、完整目录恢复。两组各6/6满足冻结任务事实，四个有相关技能案例的9个所需项全部进入前五；空目录和全部不相关的recall为N/A。Jev共5次操作、评分32个候选；两组各加载9次原生技能正文，SHA核对通过。

全部不相关的八项分数均为0.01，产品仍按默认规则发布前五项；主模型两组均未加载正文。目录恢复题面已具名目标，所以它证明恢复和加载，不证明排序器独立发现目标。近名案例指定代码正确，但开启组的附带解释误述了干扰项数量，保留为回复瑕疵。

后续两道题使用各24项技能的小型仓库fixture。技能正文只教定位/核查，不包含最终数值答案；模型必须根据源码回答会话续期、付款分配与隐私清理问题，题面不点名技能或强制技能调用。独立宿主oracle执行冻结源码，根代理另逐条审阅最终答案与引用。

| 后续每条件四槽累计 | baseline | skill-selection |
| --- | ---: | ---: |
| 题面事实与源码引用通过 | 4/4 | 4/4 |
| 发布的目录摘要 | 96 | 20 |
| 目录字符数 | 9084 | 4219 |
| 所需技能正文加载 | 6次，1916 UTF-8字节 | 6次，1916 UTF-8字节 |
| 确认源码read | 24次，9748结果UTF-8字节 | 24次，9748结果UTF-8字节 |
| 主模型调用 | 17 | 16 |
| Jev调用 | 0 | 4 |
| Agent秒数合计 | 59.01 | 61.06 |
| 冻结峰价估算USD | 0.015773724 | 0.015640860，含Jev |

四个开启组各有24项真实Jev评分，共96项；所需技能6次入选机会全部命中前五，涉及3个不同技能、跨repeat重复计数。原生skill调用未加载无关技能，文件与正文哈希正确，Jev相关性请求不含正文。8槽真实模型请求的23项工具schema一致。

四对的源码read和所需技能加载差值均0。费用差（开启减关闭）依次为`-0.000257898`、`-0.000663978`、`+0.000484668`、`+0.000304344` USD。原生搜索与bash调用有变化，但不推算bash内部文件读取量；结果字节包含工具格式化内容，不等于磁盘I/O或token。小样本的累计费用略低不能推导稳定省钱。8个答复的题面事实与源码引用均正确，部分对未展示store实现的附带推断单列，不能称整段文字完全可证。

## 费用、修订与复跑

首批完整25槽的峰价估算为USD0.210807618；加最后编码槽已记录主模型部分后为USD0.440568054，完整总费用仍未知。后续技能费用完整，为USD0.031414584；编码baseline完整估算USD0.293765928，开启组已记录主模型USD0.218507796、Jev USD0.000672630，但异常结束未取得整槽完整标记。后续可核算部分合计USD0.544360938，不是完整账单或账单下界，也没有消除首批的未知项。

估算沿用2026-10-02冻结的[DeepSeek峰价](https://api-docs.deepseek.com/quick_start/pricing/)和[Jev 1.13.0价格](https://docs.typesafe.ai/models)。主模型输入、缓存读、缓存写、输出每百万分别为USD0.30/0.006/0.30/1.20；Jev输入USD0.042、输出0。实际计费时段、缓存、浮动模型别名和顺序仍限制费用比较。

历史采集修订均保留旧源码、锁和差异。首批只修正真实编码trial目录发现，另外111项输入哈希相同，前24槽分析不变，槽25未重跑。后续技能只修正把运行stdout/stderr误计为输入的枚举规则，另外55项哈希相同，第一槽完整分析不变；第二槽在收费前被阻止，修正后从未开始槽继续。独立任务、真值、模型输入和产品参数均未据结果调整。

维护入口和资源准备见[中文复跑指南](../../../bench/completion_skill/README.zh-CN.md)。重跑生成新batch，记录scenario、Git HEAD、dirty状态、源码和资源哈希。原始数据与凭据仍留本地。整理后的维护入口只在本次交付中做无费验证，不将本目录历史数字冒充其真实模型复跑结果。

## 边界与验证

这些实验分别验证指定输入上的判断、采用、实际读取和独立结果，不能合并成一个插件总体有效率。脚本化完成记录不证明主模型自主纠错；小型仓库和少量重复不代表复杂项目平均收益。原始编码的默认长轨迹核查出现明确限制，后续两对收益比较未完成。

当前可支持的结论是：技能目录筛选和所需信息保留成立，本批未观察到源码读取或任务成功率提升；完成核查的短记录机制成立，但默认预算下这次真实长轨迹无法自动获得可采用判断。产品行为未因本次归档或维护脚本整理而修改。