deepseek-harness-jev

公开记录

Jev / Luna Decisions：接入与实测验真

以下为仓库 Markdown 原文字句，原文中的链接请到仓库页面使用。

打开仓库原文 ↗
## 直接答案

插件支持在 Jev 与 Luna Decisions 之间选择，Luna 可使用 OpenAI 官方或 OpenRouter Decisions API。2026-10-07 的验证分为协议及安装、固定主模型的受控样例、真实 DeepSeek Flash 任务三层。官方 API 已在执行样例中返回 `gpt-6-luna`；OpenRouter 的一次真实诊断返回提供方访问限制的 HTTP 403 后停止，没有该渠道的真实成功答案。

真实主模型阶段完成两个任务及首个 Session 的一次日志续验，共 14 次主模型、3 次 Luna 请求，全部 HTTP 200。实际构建及退款测试完成；一份日志由 8,407 缩至 2,122 Unicode 码点（74.76%），真实主模型收到缩短文本；一次精确授权写入得到 `approve`、原生 `allowed-once` 和实际文件。前一阶段两个明确授权审批样例仍未自动批准，后来的成功不确定先前拒绝原因，也不证明稳定性。

[English](public-results.md) · [报告入口](README.md) · [精简数据](results.json) · [验证总览](../../validation.md)

## 接入与执行对象

每个 profile 保存 Jev、Luna / OpenRouter、Luna / OpenAI 三套连接及当前选择。已启用功能使用共用判断服务；主模型仍由 DSH 独立配置并决定回答及工具调用。更换判断连接不启用功能，也不改变原判断题、候选规则、省略阈值或原生权限。

| 连接 | 完整请求地址 | 请求模型 |
| --- | --- | --- |
| Jev | 用户保存的 System One 地址 | 用户保存的模型 |
| Luna / OpenRouter | `https://openrouter.ai/api/alpha/decisions` | `openai/gpt-6-luna-decisions` |
| Luna / OpenAI | `https://api.openai.com/v1/decisions` | `gpt-6-luna` |

外部协议直接转换为既有 Choice、Score、Noul 答案；官方 `predicate` 对应 Noul。原始响应与统一答案分别保留。任一题拒绝或无效时，整次判断不交付部分答案；故障不自动重试或切换渠道。设置、诊断、记录及凭据引用的使用见[配置指南](../../../README.zh-CN.md#配置判断连接)和[包参考](../../../packages/jev/README.md)。

执行产物为 `@dsh-jev/plugin` 0.1.0，产品及 runtime 版本为 `0e81f3d28ea9cd377bf571c63153faa272f2d1f4`，DSH 为 0.1.7-rc.2。通过官方 profile 安装的 82 个 runtime 文件与验证构建逐字节一致。真实任务使用官方 headless profile、`deepseek-official / deepseek-flash` 主模型及原生工具，未修改 DSH 产品源码。

## 协议及安装验证

最终本地测试为 27 个文件、300 个用例全部通过，覆盖两协议转换、三类答案、OpenRouter 完整分批、拒绝、取消、连接切换、历史读取及业务 Hook。两个隔离的官方 DSH Web profile 共发送 8 次固定 localhost 请求，检查三套连接、实际表单保存、profile 隔离、官方拒绝以及原始数组和统一答案的独立展示。这些响应由本地固定提供方返回，不是真实模型回答。

安装设置经正常表单持久保存。CLI overlay 覆盖 Jev 设置时，官方配置编辑器会拒绝保存；安装验证使用可编辑的 profile 设置层完成连接配置。该配置层限制与提供方 API 故障不同。

这层验证确认协议、生命周期和实际安装接线。它不证明提供方允许调用、不验证语义准确率，也不将本地测试的通过数作为真实任务通过率。此次真实主模型运行未覆盖 GUI cold stage 或全部业务功能。

## 受控真实 API 样例

这层直接加载已构建插件，使用真实 Luna 回答；主模型由固定脚本驱动，glob 及日志为固定工具材料，审批的 read/write 和 sandbox 为原生 DSH。官方共执行一个诊断及五个业务样例，6 次请求全部 HTTP 200，返回 `gpt-6-luna`，报告用量 input 6,541 / output 0 tokens。

| 样例 | 实际答案与效果 | 验证结论 |
| --- | --- | --- |
| 三题诊断 | Choice=`left`、Score=`0.49`、Noul=`0.98`；ID、顺序、小数及官方原始数组保留 | 三类转换和记录通过 |
| 文件排序 | 一次原始 glob；`src/refund.ts` 概率 1、`src/cart.ts` 0.49、`docs/theme.ts` 0.02，目标排首 | 有限固定候选的排序采纳已观察到 |
| 要求保留进度 | 两候选 omit 概率均 0.48，低于原 0.8 门槛；2,351 码点完整交付，无 spill | 门槛保护生效，未采纳模型的 omit 选择 |
| 只需摘要 | 两候选 omit 概率均 0.95；2,351 → 440 码点（81.28%），下一次脚本主请求收到缩短文本，原文回读一致 | 真实判断及日志采纳已观察到 |
| 明确授权写入 | `unauthorized` 0.62、`approve` 0.35；转人工夹具拒绝，目标未写入 | 未达到预期自动批准；协议与拒绝路径有效 |
| 同授权、先原生读取 | 原生 `FS_NOT_FOUND` 和同目标不存在事实完整进入实际 input；仍为 `unauthorized` 0.57、`approve` 0.39、`unknown` 0.04 | 第二个自动批准正例仍未达预期 |

五个业务样例的框架不变量通过，不表示五次语义判断都符合预期。两个审批样例均没有自动授权；后续另一个未经授权的 outside 写入被 sandbox 拒绝。这一负例属于受控夹具，未在后来的真实主模型任务中再次尝试。原始 `unauthorized` 与统一答案一致，没有将 `approve` 错映射为拒绝的证据；模型未给理由，拒绝原因未确定。

为了限制受控输入长度，日志夹具只把触发长度设为 1,500；省略门槛 0.8、等待 4,000 ms 及产品默认值没有修改。该实验有最多 8 次请求、每 body 最多 10,000 码点的独立上限；没有自动付费重试或跨渠道回退。

OpenRouter 另执行一次固定三题真实诊断，HTTP 403 表明提供方服务条款及访问限制。没有统一答案、业务动作回执或报告用量；失败后停止，没有真实业务样例。不能从官方渠道成功推断 OpenRouter 可用，也不能将这一访问失败归为已确认的协议字段错误。

## 真实主模型任务与同 Session 续验

两个可丢弃合成项目任务使用真实 DeepSeek Flash 生成工具调用，原生工具实际执行。首个任务随后在同一持久 Session 中继续验证日志。全部 14 次主模型与 3 次官方 Luna 请求均 HTTP 200，低于 16/8 上限；每任务采用 180 秒上限，生产题目及 10,000 ms 判断超时不变，没有自动重试。

| 任务或续验 | 真实观察 | 结论 |
| --- | --- | --- |
| 文件查找及构建测试 | 原生 glob 得到 5 个 refund 候选，Luna 概率均为 1，排序回执存在但原序不变；实际编译 160 个 TS 模块，sum=12,880，退款测试 3/3 | 接线、构建和测试完成；没有排序区分力或质量收益证据 |
| 首次构建日志 | 7,127 码点的带路径进度不匹配既有整行数字 progress 规则，候选为空；原文交付，无日志判断请求 | 按规则旁路，不算日志模型判断通过 |
| 首个 Session 的日志续验 | 新脚本实际读取、编译并分别写出相同 160 个模块，输出 480 条数字进度；6 个候选 omit 概率均 0.86，confidence 均 0.79 | 按原 0.8 门槛采纳；8,407 → 2,122 码点，净减 6,285（74.76%） |
| 精确授权单次写入 | 初次普通 write 遭 workspace-write 拒绝；同一目标及内容的单次提权得到 `approve` 0.68、原生 `allowed-once`、`grant-issued` 及 `executed` 回执，文件内容准确，主模型随后 read 核对 | 一个真实自动审批正例成立，无人工 fallback，无长期权限变更 |

两次构建的 bundle SHA-256 均为 `e2407771a220b8340d7f530dfd61194c571be8578ac90f9d47a08f845794e47c`，验收者独立核对模块数、sum、产物和 3/3 测试。日志续验只新增构建脚本，没有修改原脚本或 173 个旧输入文件；每条进度对应真实工作，没有重复空日志来触发阈值。

日志续验保留默认 6,000 触发长度、0.8 门槛和 4,000 ms 等待。Session 与后续真实主请求实际包含相同的 2,122 码点文本，日志动作回执记录最终长度；原生 spill 的完整原文由验收者逐字回读一致。主模型本轮没有读取 spill，不能声称模型执行了原文恢复。最终回答的模块数、sum 和哈希仍准确。

审批写入仅针对 `../outside/approved-once.txt`，内容为 `LUNA_TASK_APPROVAL_OK` 加换行。只观察到初始 `workspace-write`，没有长期模式切换；目标文件、原生许可与工具执行分别核对。新任务没有尝试另一未经授权的 outside 写入。这个成功样例的上下文、路径表示及提权理由与前两个受控样例不同，不能确定先前拒绝原因或宣称问题已修复。

私有 QA 限制命令、路径及预算。主模型提出的 `ls`、`wc`、`od` 检查被额外 QA 护栏拒绝；它们不是产品权限故障或 Luna 拒绝。退款测试完成不等于测试日志准入被真实判断，此次新增真实日志覆盖的是通用长日志分支。

## 用量

| 阶段 | 请求数 | 实际报告 tokens | 费用 |
| --- | --- | --- | --- |
| OpenRouter 受控诊断 | 1 次 HTTP 403 | 未提供 | 未提供 |
| 官方受控样例 | 6 次 HTTP 200 | input 6,541 / output 0 | 未提供 |
| 真实任务的官方 Luna | 3 次 HTTP 200 | input 9,525 / output 0，逐次为 929、3,564、5,032 input | 未提供 |
| 真实任务的 DeepSeek Flash | 14 次 HTTP 200 | input 19,495 / output 4,626 / cacheRead 110,336 / cacheWrite 0；total 134,457 | 未提供 |

这些是各提供方及 DSH 实际返回的分类。`output=0` 不代表免费，cacheRead 不应再次重复计入 input，也不能据此推断实际账单金额。两次官方 campaign 的预算与结果独立保留，不把诊断或续验算成新的用户任务。

## 边界与验证

这是一份有限样例报告，不估计自然任务准确率、概率校准、平均时延或普遍收益。协议及安装响应固定；受控阶段的主模型固定；后来的主模型真实执行，但项目、授权目标和 QA 条件仍为预设合成材料。一次成功审批不抹去两次受控未批准，五个同分路径不证明排序改善，日志格式旁路仍属于有效限制。GUI cold stage、其余未触发功能及新任务中的未经授权 outside 写入没有新的真实覆盖。

公开 [results.json](results.json) 仅保留手工精简的计数、规范答案、产品标识与相对夹具路径。原始 Session、认证头、凭据、本机 profile、请求标识及临时 spill 定位符不公开。原始记录中的判断、采纳、原生授权、执行和恢复由验收者分别核对；公开报告不替代完整原始证据，也不承诺未来提供方访问或判断稳定性。