47 lines
1.8 KiB
Markdown
47 lines
1.8 KiB
Markdown
|
---
|
|||
|
|
type: project
|
|||
|
|
status: active
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
# 02 · Case 设计
|
|||
|
|
|
|||
|
|
> 权威分布表：20-case 配比见 [[01-LLM-Evaluation-Roadmap]] Day 1；10-case 结构见 [[02-First-Week-Worksheet]] 第 2 节。第一版 10-20 个即可。
|
|||
|
|
|
|||
|
|
## Case 列表（对应工作表第 2 节）
|
|||
|
|
|
|||
|
|
| 编号 | 类别 | 问题 | 文档能否完整回答 | 预期系统行为 | case 状态 |
|
|||
|
|
|---|---:|---|---|---|---|
|
|||
|
|
| 01 | 正常路径 | | 是 | | candidate |
|
|||
|
|
| 02 | 正常路径 | | 是 | | |
|
|||
|
|
| 03 | 正常路径 | | 是 | | |
|
|||
|
|
| 04 | 资料不足 | | 否 | | |
|
|||
|
|
| 05 | 资料不足 | | 否 | | |
|
|||
|
|
| 06 | 部分支持 | | 部分 | | |
|
|||
|
|
| 07 | 多证据 | | 是 | | |
|
|||
|
|
| 08 | 幻觉诱发 | | 否 / 部分 | | |
|
|||
|
|
| 09 | 格式约束 | | 是 | | |
|
|||
|
|
| 10 | 边界条件 | | 视情况 | | |
|
|||
|
|
|
|||
|
|
> case 状态流转：candidate → reviewed → accepted → regression → deprecated（定义见 [[01-LLM-Evaluation-Roadmap]] 第五节）。
|
|||
|
|
>
|
|||
|
|
> 资料不足的写法：不要写完全无关的问题，写"只差一小块信息就能回答"的问题（如文档讲了字段但没有默认值），才能测出模型会不会补全空白。
|
|||
|
|
|
|||
|
|
## JSONL 结构（稳定测试定义）
|
|||
|
|
|
|||
|
|
> 字段与示例见 [[01-LLM-Evaluation-Roadmap]] 第五节。每个 case 至少包含：id / input / expected / metadata（category、difficulty、risk、split、case_status）/ rubric_version / dataset_version。**测试定义与运行记录分开保存**。
|
|||
|
|
|
|||
|
|
```json
|
|||
|
|
{
|
|||
|
|
"id": "rag-0001",
|
|||
|
|
"input": { "question": "", "context": [] },
|
|||
|
|
"expected": { "behavior": "", "must_include": [], "must_not_include": [] },
|
|||
|
|
"metadata": { "category": "", "difficulty": "", "risk": "", "split": "dev", "case_status": "candidate" },
|
|||
|
|
"rubric_version": "0.1",
|
|||
|
|
"dataset_version": "0.1"
|
|||
|
|
}
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
返回 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/README|项目实践入口]]。
|