windyboy
0dac58fb6f
- fix stage-numbering conflict (README vs 05-Progress) and unify stage-1 reading scope - resolve AWS workshop prerequisite contradiction in 04-Reference/01 - convert medium-path wikilinks to vault-root paths (~30 links), fix .pyy typos, annotate ragas fork, unify archive status, add 01-/02- README hubs - compress old-version guidebook notes (01, 05) into pointers; add 2026 reading guidance to 00-Overview - dedupe project templates and remove embedded template copy in 03-Practice/README
1.8 KiB
1.8 KiB
type, status
| type | status |
|---|---|
| project | active |
02 · Case 设计
权威分布表：20-case 配比见 01-LLM-Evaluation-Roadmap Day 1；10-case 结构见 02-First-Week-Worksheet 第 2 节。第一版 10-20 个即可。
Case 列表（对应工作表第 2 节）
| 编号 | 类别 | 问题 | 文档能否完整回答 | 预期系统行为 | case 状态 |
|---|---|---|---|---|---|
| 01 | 正常路径 | 是 | candidate | ||
| 02 | 正常路径 | 是 | |||
| 03 | 正常路径 | 是 | |||
| 04 | 资料不足 | 否 | |||
| 05 | 资料不足 | 否 | |||
| 06 | 部分支持 | 部分 | |||
| 07 | 多证据 | 是 | |||
| 08 | 幻觉诱发 | 否 / 部分 | |||
| 09 | 格式约束 | 是 | |||
| 10 | 边界条件 | 视情况 |
case 状态流转：candidate → reviewed → accepted → regression → deprecated（定义见 01-LLM-Evaluation-Roadmap 第五节）。
资料不足的写法：不要写完全无关的问题，写"只差一小块信息就能回答"的问题（如文档讲了字段但没有默认值），才能测出模型会不会补全空白。
JSONL 结构（稳定测试定义）
字段与示例见 01-LLM-Evaluation-Roadmap 第五节。每个 case 至少包含：id / input / expected / metadata（category、difficulty、risk、split、case_status）/ rubric_version / dataset_version。测试定义与运行记录分开保存。
{
"id": "rag-0001",
"input": { "question": "", "context": [] },
"expected": { "behavior": "", "must_include": [], "must_not_include": [] },
"metadata": { "category": "", "difficulty": "", "risk": "", "split": "dev", "case_status": "candidate" },
"rubric_version": "0.1",
"dataset_version": "0.1"
}
返回 01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/README。