寻找上下文接入已验证

技能选择

先筛掉未达到最低相关概率的技能,再最多推荐指定数量的摘要;允许零推荐。

DSH 准备发布技能目录时,所选判断模型分别评估可供模型调用的技能名称和简介。插件按最低概率筛选后排序,主模型仍通过原生工具加载正文,未展示的技能仍可调用。

该功能使用当前保存的 Jev 或 Luna Decisions 连接;案例按实际模型单独标注。切换连接保留原功能机制。判断连接与验真 ↗

接入方式

这项判断如何进入任务

原生接入点
  • agent/pre-step
触发
新的直接用户请求到来,或技能目录发生变化时,在 agent/pre-step、目录进入模型前判断。
送给所选判断模型
当前技能的名称和摘要,加最近最多两条直接用户消息及一条可见助手文本;任务文本合计最多 2,000 字。技能正文、附件、工具输出和推理内容不进入这次判断。
如何采用
先保留 probability ≥ skillMinProbability 的候选(默认 0.5),再按概率降序、原顺序打破平局,最多取 skillLimit 项(默认 5),最后去掉当前可见目录中的名称,不补位。有效判断无过线项时发布空目录并记 skill-catalog-no-relevant;有选择但全已可见时不新增目录,记 skill-catalog-no-new。失败沿用 Retry / Cancel,不伪装零推荐。原生 skill(name) 和 skill_catalog 完整目录恢复保持可用。

实现依据:目录接入与判断输入 ↗

历史真实主模型 + 真实 Jev

两道 24 技能仓库调查,按 AB/BA 完成四对

两道只读仓库调查题,各有 24 项技能、两次关闭与开启配对;技能正文只提供查找步骤,答案由冻结仓库源码和独立真值核对。主模型使用真实 DeepSeek Flash/high。

执行与核查分别核对目录发布、所需项入选、原生技能正文加载、源码 read、最终事实与引用;原生工具 schema 在八槽中一致。

实际观察

开启组四次真实 Jev 判断各评分 24 项,所需技能 6/6 次入选前五;目录摘要累计从 96 项缩至 20 项,字符从 9084 降至 4219。关闭与开启组各加载 6 次所需技能正文、确认 read 24 次源码,题面事实与引用均为 4/4。证据:完成核查与技能选择:量化实验结果 ↗历史结果与试次分母 ↗结构化结果 ↗具名场景与复跑指南 ↗

目录摘要确实减少,但本批没有观察到技能正文加载、源码读取或任务正确率改善。四对费用差有正有负,不能推断稳定节省;bash 内部读取量未计入 read 次数。

历史真实主模型 + 真实 Jev

首批六类固定技能输入

将空目录、单项、多项、近名干扰、全不相关与完整目录恢复六类案例分别运行关闭和开启组。

执行与核查按冻结真值核对前五所需项、原生正文加载和任务事实。

实际观察

两组各 6/6 满足任务事实;四个有相关项的案例共 9/9 所需项进入前五,两组各加载 9 次技能正文。全不相关八项虽均被评为 0.01,当时的无门槛规则仍发布前五。证据:完成核查与技能选择:量化实验结果 ↗回执摘要 ↗

这些是旧规则的小规模固定案例,历史结果保持不变。当前修复加入默认 0.5 门槛,同样的八项 0.01 输入会得到成功零推荐;这不代表重新运行了真实模型。完整目录恢复题面已具名目标,不能算作排序器独立发现;近名案例的开启组附带解释误述干扰项数量。

历史隔离 Web · 确定性 Jev

让 7 个技能候选进入原生目录

在隔离 DSH Web profile 加载 7 个可供模型调用的技能摘要,用测试指令触发宿主原生目录发布;判断服务返回固定排序。

执行与核查检查模型可见目录、完整目录入口、是否读取技能正文,以及再次请求是否重新判断。

实际观察

目录发布 5 个摘要,保留完整目录入口;正文读取接口没有被调用。再次符合条件的请求发起新的 Jev 判断。证据:技能选择与文件排序:公开验收摘要 ↗可复测的目录断言 ↗

这验证了目录接线和展示数量变化;没有真实主模型自主完成任务,也没有技能选择质量或时间的前后对照。

这些结果的边界

  • 默认最多选择 5 项,可在 Jev 设置页修改上限;可选 0 至 5 项,去重后不补位。
  • 最低相关概率 skillMinProbability 默认 0.5,合法值为 [0, 1] 内有限数,等号保留;confidence 不参与筛选或排序。数量表单保存不改该门槛。
  • 成功零推荐、已有摘要无新增和判断失败分别记录;skill_catalog 恢复完整当前目录,不调用 Jev。
  • Jev 的排序概率不是任务成功率。
  • 目录摘要缩短不等于实际源码或技能正文读取减少;四对小型仓库调查没有测得任务成功率提升。