reconcile LLM_Evaluation zone: align stage numbering and scopes, standardize full-path wikilinks, slim old guidebook notes, dedupe templates

- fix stage-numbering conflict (README vs 05-Progress) and unify stage-1 reading scope
- resolve AWS workshop prerequisite contradiction in 04-Reference/01
- convert medium-path wikilinks to vault-root paths (~30 links), fix .pyy typos, annotate ragas fork, unify archive status, add 01-/02- README hubs
- compress old-version guidebook notes (01, 05) into pointers; add 2026 reading guidance to 00-Overview
- dedupe project templates and remove embedded template copy in 03-Practice/README
This commit is contained in:
windyboy
2026-08-24 11:15:37 +08:00
parent 63add96a09
commit 0dac58fb6f
29 changed files with 644 additions and 434 deletions
@@ -0,0 +1,38 @@
---
type: project
status: active
---
# 04 · 失败复盘
> 失败分类的权威定义见 [[02-Why-Guide]] 第 7 步(简化五类)与 [[01-LLM-Evaluation-Roadmap]] 第八节(系统级扩展分类);严重度 S0-S4 见路线图第十节。
## 失败分类(对应工作表第 5 节)
| Case | 失败类型 | 证据 | 我准备先检查什么 |
|---|---|---|---|
| | 无依据事实 / 漏限制 / 不当确定 / 格式 / 规则不确定 | | prompt / 文档 / rubric / grader |
> 第一版只用 4-5 个类型即可。分类的目的不是"全面",而是找到下一次唯一值得改的地方。
## 根因三步定位(RAG 示例)
1. run 里的实际 context 是否包含 expected 中的 gold context?没有 → **检索错误**
2. 把 gold context 直接给模型重跑:答对 → 检索/拼装问题;仍错 → **模型推理 / 生成错误**
3. 并排人工复核输出 / expected / grader:人工认为可接受但 grader 判失败 → **grader 错误**(记录 grader 版本与提示词)
> 不要凭直觉归因,一次失败先走完三步,通常不超过 10 分钟。
## 严重度标注
| Case | 严重度(S0-S4 | 理由 | 发布策略 |
|---|---|---|---|
| | | | 见路线图第十节 |
## 一句话复盘(每批至少一条)
- 本周最常见的失败类型是:…… 下一步唯一值得改的地方是:……
---
返回 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/README|项目实践入口]]。