# 衣序评测方法与运行记录

## 2026-11-11 当前版本复测

当前代码的核心规则回归为37/37，补充服务诊断为11/12，工程测试为105/105。复现命令为 `node scripts/validate-current.js`。补充诊断使用24件示例衣物及固定合成天气，关闭真实模型调用，包含已知失败与对照表达。该批与下方历史模型批次分别统计。

唯一失败为S04：“12度，上班通勤，想穿得温暖一些，不穿裙子”触发多余澄清；同条件改为“怕冷”可继续推荐。已定位到规则解析的保暖意图分类，修复与复验待执行。逐题摘要见[本批复测报告](/reports/current-validation-report.md)。

先导偏好评价包含4位参与者、4个固定场景、16次选择：hybrid获选5次、规则获选3次、持平8次，其中8次展示相同搭配。仅展示衣物名称、同一聊天转达、首位完成后曾揭示结果，保留为试跑。选择理由与独立操作完成率尚未采集。当前单次模型重排的配对对照待开展。

## 当前数据与批次

`eval/cases.jsonl`包含37条人工构造开发回归题，使用 `eval/fixtures.json`中独立构造的12件示例衣物。25题预标可满足、11题不可满足，1题涉及材质证据缺失。材质题允许澄清或明确提示无法核实，须继续补充无依据断言检查。题目保存来源、分层、预期状态、可满足性标签，以及已标解析字段和输出约束。当前题目已参与开发，作为持续回归集维护。

| 批次 | 符合预标 | 实际模型执行 | 降级 / 执行错误 |
|---|---:|---:|---:|
| 规则基线 | 37/37 | — | 0 / 0 |
| 真实混合策略首轮 | 34/37 | 37 | 0 / 0 |
| D25、D27、D28修复后定向复验 | 3/3 | 3 | 0 / 0 |
| 天气发布前规则回归 | 37/37 | — | 0 / 0 |

首轮混合策略中，D25、D27将缺件冲突返回为澄清，D28将低温正式场合偏好处理成补衣前提。修复后3题分别返回预标状态；完整混合复测安排在后续批次。各批独立保存分母与汇总。

首轮37题经本机HTTP执行，端到端耗时中位数2880.93ms、P95为3479.14ms；3题定向复验中位数1063.38ms、P95为2133.57ms。每批时延同时保留样本量、运行环境与测量位置。

工程测试当前105/105通过，覆盖工具、服务、前端与HTTP边界，包含mock与故障注入。新增 `eval/weather-cases.json`提供12条人工天气开发规格，状态为 `draft_not_run`，待运行；真实天气和公网AI链路观察单独记录在天气实施文档中。

## 独立判分与固定分母

产品核心负责产生规则结果。`eval/evaluator.js`通过预标条件、独立衣橱查表与返回ID判分，检查完整性、锁定、排除、颜色和裙裤要求。

每个请求进入固定分母，执行错误同样保留。输出符合预标要求需同时满足状态、已标解析字段、完整组合、独立约束和必要提示。错误按以下口径记录：

- 预标可满足而返回 `conflict`：错误冲突。
- 预标不可满足而返回 `ok`：错误成功。
- 预标可满足而返回多余 `clarify`：不必要澄清，结合逐题失败记录分析。
- 模型异常或额度拦截：保留实际回退、错误及调用阶段。

当前汇总的 `falseConflicts`覆盖第一种错误；首轮3题澄清问题保留在失败明细与34/37总通过数中。后续指标将单列不必要澄清。近期少重复属于软偏好；显式排除进入硬约束检查。

模型有效成绩统计实际完成模型流程且无整体回退的任务；规则结果和降级路径另列。无解与澄清路径根据实际阶段统计调用量。

## 运行与归档

```text
node eval/run.js --version rule
node eval/run.js --version hybrid --base-url http://127.0.0.1:5173
node eval/run.js --version direct --base-url http://127.0.0.1:5173
```

`--max-cases 1`用于连通性检查，`--out-dir`用于归档新批次。运行器生成逐题JSON、CSV、summary与report；默认同名文件会更新。模型评测需先启动服务并配置模型，调用消耗实际服务额度。

逐题记录包含预期、实际响应、逐项判分、请求版本、实际模式、回退、耗时和usage。运行清单保存时间、Node版本与题库、衣橱、评测器、代码的SHA256。runner墙钟时间用于端到端统计，API的 `meta.elapsedMs`用于服务诊断；usage结合实际服务单价计算费用。

公开仓库提供人工题库、独立评测器、运行器与分批汇总，历史逐题响应和原始请求日志在本地归档。重新执行时生成独立批次，并记录当前模型与参数。

## 独立题库计划

下一阶段规划100个独立任务：检索60、策略40，按需求家族分为开发30、验证20、保留测试50。当前37条题继续作为独立维护的回归集。

| 规划分层 | 开发 | 验证 | 保留测试 | 合计 |
|---|---:|---:|---:|---:|
| 明确属性、口语语义、多条件检索 | 18 | 12 | 30 | 60 |
| 澄清、无结果、证据缺失、多轮修改 | 12 | 8 | 20 | 40 |
| 合计 | 30 | 20 | 50 | 100 |

按原始需求家族与衣橱快照划分数据，分别标记真实任务、人工边界题和模型辅助改写。多轮任务按独立需求计数。保留集在方案冻结后运行；后续参与失败修复的题转入回归，并补充未见任务。

## 检索相关性标注

Recall与NDCG的准备工作是建立完整相关性真值。计划按查询—单品标注：0为无关或违反硬条件，1为有证据支持的弱相关，2为满足主要需求，3为同时较好覆盖偏好。证据缺失时标记 `U`，补证或复核后再进入完整真值统计；报告同时列出真值不完整的查询数量。

正式比较前固定二值相关阈值与分级增益表，例如等级≥2为相关。Recall@K使用定义语料内全部相关单品作分母；NDCG使用固定等级与理想排序。候选并集标注需记录覆盖范围，无相关结果任务单列。组合约束、单品相关性与解释事实性分别评价。

## 版本比较与人工盲评计划

规则、混合策略和直接模型使用相同衣橱、任务与展示数量。重排比较固定候选池，候选生成比较单独记录策略。每批保存模型、参数、Prompt、代码版本、实际阶段与回退。

盲评计划先隐藏方法和解释，只比较组合，选项为胜、平、负、都不可用；随后固定组合评价解释。展示顺序随机，重复候选单列。计划抽取部分任务由两位评审独立评分，记录一致与分歧；有序等级可按预设规则计算加权κ。

天气对照采用A单温度规则、B冻结天气＋规则、C相同天气/条件/候选池＋模型重排。A与B比较新增天气信息，B与C比较模型重排贡献。

## 用户与性能评价

任务完成、收藏、想穿、自报已穿分别定义分母。试用记录保存人数、任务数、帮助次数、偏好胜平负与未反馈状态。前后任务观察用于发现问题，随机分组实验用于后续效果归因。

性能批次记录设备、网络、部署区域、预热、并发、有效样本、端到端时延、usage、失败与回退。后续将结合真实用户任务、未见测试与盲评，评价可用性、偏好及模型增量。
