39 lines
1.4 KiB
Markdown
39 lines
1.4 KiB
Markdown
|
---
|
|||
|
|
type: project
|
|||
|
|
status: active
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
# 04 · 失败复盘
|
|||
|
|
|
|||
|
|
> 失败分类的权威定义见 [[02-Why-Guide]] 第 7 步（简化五类）与 [[01-LLM-Evaluation-Roadmap]] 第八节（系统级扩展分类）；严重度 S0-S4 见路线图第十节。
|
|||
|
|
|
|||
|
|
## 失败分类（对应工作表第 5 节）
|
|||
|
|
|
|||
|
|
| Case | 失败类型 | 证据 | 我准备先检查什么 |
|
|||
|
|
|---|---|---|---|
|
|||
|
|
| | 无依据事实 / 漏限制 / 不当确定 / 格式 / 规则不确定 | | prompt / 文档 / rubric / grader |
|
|||
|
|
|
|||
|
|
> 第一版只用 4-5 个类型即可。分类的目的不是"全面"，而是找到下一次唯一值得改的地方。
|
|||
|
|
|
|||
|
|
## 根因三步定位（RAG 示例）
|
|||
|
|
|
|||
|
|
1. run 里的实际 context 是否包含 expected 中的 gold context？没有 → **检索错误**
|
|||
|
|
2. 把 gold context 直接给模型重跑：答对 → 检索/拼装问题；仍错 → **模型推理 / 生成错误**
|
|||
|
|
3. 并排人工复核输出 / expected / grader：人工认为可接受但 grader 判失败 → **grader 错误**（记录 grader 版本与提示词）
|
|||
|
|
|
|||
|
|
> 不要凭直觉归因，一次失败先走完三步，通常不超过 10 分钟。
|
|||
|
|
|
|||
|
|
## 严重度标注
|
|||
|
|
|
|||
|
|
| Case | 严重度（S0-S4） | 理由 | 发布策略 |
|
|||
|
|
|---|---|---|---|
|
|||
|
|
| | | | 见路线图第十节 |
|
|||
|
|
|
|||
|
|
## 一句话复盘（每批至少一条）
|
|||
|
|
|
|||
|
|
- 本周最常见的失败类型是：…… 下一步唯一值得改的地方是：……
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
返回 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/README|项目实践入口]]。
|