dedupe LLM_Evaluation zone: single-source tables, fix nav orphans, compress guidebook 2025
- Why Guide: remove duplicated 20-case/rubric/test-definition tables, link to authoritative Roadmap/Worksheet instead; 10-min action points to entries - Concept Map / What-Is: cross-link narrative vs quick-reference roles - Worksheet: annotate sections with authoritative sources - 04-Reference 01-04 <-> archive/01: bidirectional resource links - archive/00-Material-List: shrink guidebook listing, now reachable from READMEs - guidebook: compress 06-Yearly-Dives 2025 section (-> 08-2025-Edition §3), add old/new version nav banners to 01-05, reverse links in 08 - README/Start-Here: link Learning Board (was orphaned)
This commit is contained in:
+6
@@ -38,6 +38,8 @@ created: 2026-08-21
|
||||
## 1. 写 rubric v0.1:先让“怎么判”有答案
|
||||
|
||||
> **为什么这一步比写参考答案更早:** 参考答案只是一个可能的表述;rubric 才说明你要保护的行为边界。
|
||||
>
|
||||
> 三个维度的完整定义与判定方式见 [[01-LLM-Evaluation-Roadmap]] 第六节;为什么这样设计见 [[02-Why-Guide]] 第 3 步。
|
||||
|
||||
| 维度 | 通过条件 | 失败条件 | 正例 | 反例 |
|
||||
|---|---|---|---|---|
|
||||
@@ -56,6 +58,8 @@ created: 2026-08-21
|
||||
## 2. 写 10 个 case:让不同类型的失败有机会出现
|
||||
|
||||
> **为什么不是“随便写 10 个问题”:** 评测数据集的价值来自覆盖不同风险,而不是来自问题数量。
|
||||
>
|
||||
> 20-case 的权威分布表(含每类意图)见 [[01-LLM-Evaluation-Roadmap]] Day 1。
|
||||
|
||||
| 编号 | 类别 | 问题 | 文档能否完整回答 | 你预期系统应该怎样做 |
|
||||
|---:|---|---|---|---|
|
||||
@@ -130,6 +134,8 @@ created: 2026-08-21
|
||||
## 5. 写最小失败分类:不要把所有错误叫“幻觉”
|
||||
|
||||
> **为什么分类:** 错误类型决定修复路径。检索错、规则错、提示词错和评分错,不应使用同一修复手段。
|
||||
>
|
||||
> 每类的定义、示例与扩展分类见 [[02-Why-Guide]] 第 7 步与 [[01-LLM-Evaluation-Roadmap]] 第八节。
|
||||
|
||||
| Case | 失败类型 | 证据 | 你准备先检查什么 |
|
||||
|---|---|---|---|
|
||||
|
||||
Reference in New Issue
Block a user