reconcile LLM_Evaluation zone: align stage numbering and scopes, standardize full-path wikilinks, slim old guidebook notes, dedupe templates
- fix stage-numbering conflict (README vs 05-Progress) and unify stage-1 reading scope - resolve AWS workshop prerequisite contradiction in 04-Reference/01 - convert medium-path wikilinks to vault-root paths (~30 links), fix .pyy typos, annotate ragas fork, unify archive status, add 01-/02- README hubs - compress old-version guidebook notes (01, 05) into pointers; add 2026 reading guidance to 00-Overview - dedupe project templates and remove embedded template copy in 03-Practice/README
This commit is contained in:
windyboy
@@ -0,0 +1,58 @@
|
||||
---
|
||||
type: project
|
||||
status: active
|
||||
project_type: rag-eval # 可选：rag-eval / agent-tool-eval / code-agent-eval / text-to-sql
|
||||
created: 2026-08-21
|
||||
---
|
||||
|
||||
# 项目名称
|
||||
|
||||
> **模板使用说明：** 复制整个 `_template/` 文件夹为 `03-Practice/2026-项目名/`，逐项填写。各节的权威方法与表格见 [[02-First-Week-Worksheet|首周工作表]] 与 [[01-LLM-Evaluation-Roadmap|实战路线图]]；本模板只做骨架，不重复内容。
|
||||
|
||||
## 问题与范围
|
||||
|
||||
- 任务名称：
|
||||
- 用户输入：
|
||||
- 系统输出：
|
||||
|
||||
## 一句话成功条件
|
||||
|
||||
> （示例：关键事实可由文档支持；资料不足时明确说明）
|
||||
|
||||
## 三类失败
|
||||
|
||||
1.
|
||||
2.
|
||||
3.
|
||||
|
||||
## 非目标
|
||||
|
||||
- （示例：不评价文档外的常识正确性）
|
||||
|
||||
## 数据来源 / 许可
|
||||
|
||||
- 来源：／ URL：／ 日期：
|
||||
- 许可：／ PII 政策：
|
||||
|
||||
## 主要风险
|
||||
|
||||
- （示例：无依据补全、过度拒答、引用错位）
|
||||
|
||||
## 当前版本
|
||||
|
||||
- dataset_version：v0.1 ／ rubric_version：v0.1 ／ 最近 run：
|
||||
|
||||
## 关键链接
|
||||
|
||||
- 工作表：[[02-First-Week-Worksheet|首周工作表]]
|
||||
- 代码仓库：（GitHub URL）
|
||||
- 数据集：`datasets/eval-v0.1.jsonl`
|
||||
- 最近报告：`reports/report-v0.1.md`
|
||||
|
||||
## 下一步最小动作
|
||||
|
||||
- [ ]
|
||||
|
||||
---
|
||||
|
||||
返回 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/README|项目实践入口]]。
|
||||
@@ -0,0 +1,48 @@
|
||||
---
|
||||
type: project
|
||||
status: active
|
||||
---
|
||||
|
||||
# 01 · 任务与 Rubric
|
||||
|
||||
> 权威版本：rubric 三维度的完整定义见 [[01-LLM-Evaluation-Roadmap]] 第六节；为什么这样设计见 [[02-Why-Guide]] 第 3 步。本文件只记录本项目的填写结果。
|
||||
|
||||
## 任务边界（对应工作表第 0 节）
|
||||
|
||||
| 项目 | 你的填写 |
|
||||
|---|---|
|
||||
| 任务名称 | |
|
||||
| 用户输入 | |
|
||||
| 系统输出 | |
|
||||
| 一句话成功条件 | |
|
||||
| 三类失败 | |
|
||||
| 非目标 | |
|
||||
| 数据来源 / 许可 | |
|
||||
|
||||
## Rubric v0.1（对应工作表第 1 节）
|
||||
|
||||
| 维度 | 通过条件 | 失败条件 | 正例 | 反例 |
|
||||
|---|---|---|---|---|
|
||||
| 有据性（pass/fail） | | | | |
|
||||
| 资料不足处理（pass/fail） | | | | |
|
||||
| 核心任务完成度（0/1/2） | | | | |
|
||||
|
||||
> 0/1/2 评分定义见 [[01-LLM-Evaluation-Roadmap]] 第六节；第一版不要增加维度。
|
||||
|
||||
### 一票否决项
|
||||
|
||||
- （示例：出现任何无证据事实 → 整体 fail，无论其他维度）
|
||||
|
||||
### 无法判断时的升级路径
|
||||
|
||||
- （示例：两个片段对同一参数描述冲突 → 标记 low confidence，人工仲裁，不自动评分）
|
||||
|
||||
### Rubric 修改记录
|
||||
|
||||
| 版本 | 日期 | 改了什么 | 为什么改 | 预期影响 | 实际结果 |
|
||||
|---|---|---|---|---|---|
|
||||
| v0.1 | | | | | |
|
||||
|
||||
---
|
||||
|
||||
返回 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/README|项目实践入口]]。
|
||||
@@ -0,0 +1,46 @@
|
||||
---
|
||||
type: project
|
||||
status: active
|
||||
---
|
||||
|
||||
# 02 · Case 设计
|
||||
|
||||
> 权威分布表：20-case 配比见 [[01-LLM-Evaluation-Roadmap]] Day 1；10-case 结构见 [[02-First-Week-Worksheet]] 第 2 节。第一版 10-20 个即可。
|
||||
|
||||
## Case 列表（对应工作表第 2 节）
|
||||
|
||||
| 编号 | 类别 | 问题 | 文档能否完整回答 | 预期系统行为 | case 状态 |
|
||||
|---|---:|---|---|---|---|
|
||||
| 01 | 正常路径 | | 是 | | candidate |
|
||||
| 02 | 正常路径 | | 是 | | |
|
||||
| 03 | 正常路径 | | 是 | | |
|
||||
| 04 | 资料不足 | | 否 | | |
|
||||
| 05 | 资料不足 | | 否 | | |
|
||||
| 06 | 部分支持 | | 部分 | | |
|
||||
| 07 | 多证据 | | 是 | | |
|
||||
| 08 | 幻觉诱发 | | 否 / 部分 | | |
|
||||
| 09 | 格式约束 | | 是 | | |
|
||||
| 10 | 边界条件 | | 视情况 | | |
|
||||
|
||||
> case 状态流转：candidate → reviewed → accepted → regression → deprecated（定义见 [[01-LLM-Evaluation-Roadmap]] 第五节）。
|
||||
>
|
||||
> 资料不足的写法：不要写完全无关的问题，写"只差一小块信息就能回答"的问题（如文档讲了字段但没有默认值），才能测出模型会不会补全空白。
|
||||
|
||||
## JSONL 结构（稳定测试定义）
|
||||
|
||||
> 字段与示例见 [[01-LLM-Evaluation-Roadmap]] 第五节。每个 case 至少包含：id / input / expected / metadata（category、difficulty、risk、split、case_status）/ rubric_version / dataset_version。**测试定义与运行记录分开保存**。
|
||||
|
||||
```json
|
||||
{
|
||||
"id": "rag-0001",
|
||||
"input": { "question": "", "context": [] },
|
||||
"expected": { "behavior": "", "must_include": [], "must_not_include": [] },
|
||||
"metadata": { "category": "", "difficulty": "", "risk": "", "split": "dev", "case_status": "candidate" },
|
||||
"rubric_version": "0.1",
|
||||
"dataset_version": "0.1"
|
||||
}
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
返回 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/README|项目实践入口]]。
|
||||
@@ -0,0 +1,58 @@
|
||||
---
|
||||
type: project
|
||||
status: active
|
||||
---
|
||||
|
||||
# 03 · 运行与盲评
|
||||
|
||||
> 为什么盲评、最小记录格式见 [[02-Why-Guide]] 第 4 步；run 的 JSONL schema 见 [[01-LLM-Evaluation-Roadmap]] 第五节。
|
||||
|
||||
## 候选生成条件（对应工作表第 3 节）
|
||||
|
||||
| 项目 | A | B |
|
||||
|---|---|---|
|
||||
| 模型 / 来源 | | |
|
||||
| 系统提示词版本 | | |
|
||||
| 温度 / 生成设置 | | |
|
||||
| 运行日期 | | |
|
||||
| dataset_version | | |
|
||||
|
||||
> 重要：先把来源隐藏、随机标 A/B；完成全部判断前不要看真实来源。
|
||||
|
||||
## 盲评记录（对应工作表第 4 节）
|
||||
|
||||
| Case | A：有据性 | A：资料不足 | A：完成度 | B：有据性 | B：资料不足 | B：完成度 | 更优/平局 | 一句话理由 | 置信度 |
|
||||
|---|---|---|---|---|---|---|---|---|---|
|
||||
| 01 | | | | | | | | | | high/low |
|
||||
| 02 | | | | | | | | | | high/low |
|
||||
| 03 | | | | | | | | | | high/low |
|
||||
| 04 | | | | | | | | | | high/low |
|
||||
| 05 | | | | | | | | | | high/low |
|
||||
| 06 | | | | | | | | | | high/low |
|
||||
| 07 | | | | | | | | | | high/low |
|
||||
| 08 | | | | | | | | | | high/low |
|
||||
| 09 | | | | | | | | | | high/low |
|
||||
| 10 | | | | | | | | | | high/low |
|
||||
|
||||
### 低置信度归因（`low` 不是坏事，是最有价值的发现）
|
||||
|
||||
| Case | 为什么难判 | 下一步动作 |
|
||||
|---|---|---|
|
||||
| | rubric 模糊 / 文档不完整 / 问题有歧义 / 自己标错 | 改规则 / 补证据 / 移出自动评分 / 请人复核 |
|
||||
|
||||
## Run 记录（可选，脚本自动生成）
|
||||
|
||||
> 每次运行保存：case_id / system_version / model / temperature / trial / timestamp / output / grading。大输入只存 case_id + 版本号，不复制全文。
|
||||
|
||||
```json
|
||||
{
|
||||
"case_id": "rag-0001",
|
||||
"run": { "system_version": "", "model": "", "temperature": 0, "trial": 1, "timestamp": "" },
|
||||
"output": "",
|
||||
"grading": { "groundedness": "", "completeness": 0, "grader_version": "human-v0.1" }
|
||||
}
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
返回 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/README|项目实践入口]]。
|
||||
@@ -0,0 +1,38 @@
|
||||
---
|
||||
type: project
|
||||
status: active
|
||||
---
|
||||
|
||||
# 04 · 失败复盘
|
||||
|
||||
> 失败分类的权威定义见 [[02-Why-Guide]] 第 7 步（简化五类）与 [[01-LLM-Evaluation-Roadmap]] 第八节（系统级扩展分类）；严重度 S0-S4 见路线图第十节。
|
||||
|
||||
## 失败分类（对应工作表第 5 节）
|
||||
|
||||
| Case | 失败类型 | 证据 | 我准备先检查什么 |
|
||||
|---|---|---|---|
|
||||
| | 无依据事实 / 漏限制 / 不当确定 / 格式 / 规则不确定 | | prompt / 文档 / rubric / grader |
|
||||
|
||||
> 第一版只用 4-5 个类型即可。分类的目的不是"全面"，而是找到下一次唯一值得改的地方。
|
||||
|
||||
## 根因三步定位（RAG 示例）
|
||||
|
||||
1. run 里的实际 context 是否包含 expected 中的 gold context？没有 → **检索错误**
|
||||
2. 把 gold context 直接给模型重跑：答对 → 检索/拼装问题；仍错 → **模型推理 / 生成错误**
|
||||
3. 并排人工复核输出 / expected / grader：人工认为可接受但 grader 判失败 → **grader 错误**（记录 grader 版本与提示词）
|
||||
|
||||
> 不要凭直觉归因，一次失败先走完三步，通常不超过 10 分钟。
|
||||
|
||||
## 严重度标注
|
||||
|
||||
| Case | 严重度（S0-S4） | 理由 | 发布策略 |
|
||||
|---|---|---|---|
|
||||
| | | | 见路线图第十节 |
|
||||
|
||||
## 一句话复盘（每批至少一条）
|
||||
|
||||
- 本周最常见的失败类型是：…… 下一步唯一值得改的地方是：……
|
||||
|
||||
---
|
||||
|
||||
返回 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/README|项目实践入口]]。
|
||||
@@ -0,0 +1,32 @@
|
||||
---
|
||||
type: project
|
||||
status: active
|
||||
---
|
||||
|
||||
# 05 · 变更与回归
|
||||
|
||||
> 实验日志规则（专区规则三）与回归原则见 [[02-Why-Guide]] 第 8 步：一次改一个可解释因素，重跑旧 case（不只跑失败 case）。
|
||||
|
||||
## 变更记录（对应工作表第 6 节）
|
||||
|
||||
| 你修改了什么 | 为什么改它 | 预期改善哪些 case | 必须不变差的 case | 修改后结果 |
|
||||
|---|---|---|---|---|
|
||||
| | | | | |
|
||||
|
||||
## 实验日志
|
||||
|
||||
> 每次改变 case / rubric / prompt / 模型 / 文档版本，记一条：改了什么、为什么改、预期影响、实际结果。
|
||||
|
||||
| 日期 | 改动 | 原因 | 预期影响 | 实际结果 |
|
||||
|---|---|---|---|---|
|
||||
| | | | | |
|
||||
|
||||
## 回归检查
|
||||
|
||||
- [ ] 重跑原失败 case，确认修复生效
|
||||
- [ ] 重跑一小组原本通过的 case，确认没有"修 A 坏 B"
|
||||
- [ ] 确认的失败已固化进 regression（对应 case 状态 → regression）
|
||||
|
||||
---
|
||||
|
||||
返回 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/README|项目实践入口]]。
|
||||
Reference in New Issue
Block a user