reconcile LLM_Evaluation zone: align stage numbering and scopes, standardize full-path wikilinks, slim old guidebook notes, dedupe templates

- fix stage-numbering conflict (README vs 05-Progress) and unify stage-1 reading scope
- resolve AWS workshop prerequisite contradiction in 04-Reference/01
- convert medium-path wikilinks to vault-root paths (~30 links), fix .pyy typos, annotate ragas fork, unify archive status, add 01-/02- README hubs
- compress old-version guidebook notes (01, 05) into pointers; add 2026 reading guidance to 00-Overview
- dedupe project templates and remove embedded template copy in 03-Practice/README
This commit is contained in:
windyboy
2026-08-24 11:15:37 +08:00
parent 63add96a09
commit 0dac58fb6f
29 changed files with 644 additions and 434 deletions
@@ -11,6 +11,12 @@ created: 2026-08-21
这里用于放实际 Eval 项目,而不是继续积累理论笔记。学习材料告诉你“为什么”和“怎么做”([[02-Why-Guide|Why Guide]]、[[01-LLM-Evaluation-Roadmap|实战路线图]]);项目目录保存你亲自得到的证据。
## 项目列表
| 项目 | 状态 | 代码仓库 | 最近更新 | 一句话 |
|---|---|---|---|---|
| (暂无——从 [[02-First-Week-Worksheet|首周工作表]] 开始,复制 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/_template/00-项目概览|`_template/`]] 建立第一个项目) | | | | |
## 建议的第一批项目
按以下顺序推进。先完成一个小型、可重跑的闭环,再增加框架和自动化:
@@ -19,6 +25,8 @@ created: 2026-08-21
2. `agent-tool-eval/` — 模拟工具调用、权限与状态
3. `code-agent-eval/` — 编译、测试、静态分析与回归
> 每个项目复制 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/_template/00-项目概览|`_template/` 骨架]](6 个文件)即可开始;骨架内的引导说明引用了工作表与路线图,不重复内容。
每个项目创建独立子目录,例如:
```text
@@ -43,6 +51,18 @@ scripts/
reports/
```
### Obsidian 模板 ↔ 代码仓库目录 对照
同一份项目内容在 Obsidian(判断与决策)与代码仓库(可运行事实)中各存一份,对应关系如下:
| 工作表 / 模板(Obsidian 项目目录) | 代码仓库目录(路线图 §4 的 `llm-eval-lab/` 结构) |
|---|---|
| `00-项目概览.md` + `01-任务与Rubric.md` | `task.md` + `rubrics/` |
| `02-Case设计.md` | `datasets/`(冻结的 eval 定义,JSONL |
| `03-运行与盲评.md` | `runs/`(原始输出 + 盲评记录) |
| `04-失败复盘.md` | `reports/`(确认的失败入 `datasets/regression/` |
| `05-变更与回归.md` | `scripts/`validate / eval+ CI 配置 |
## 为什么笔记和数据要分开
这个 Obsidian 专区保存**思考与决策**;代码仓库保存 JSONL、脚本和原始运行输出。两边互相链接即可:
@@ -66,33 +86,7 @@ reports/
## 项目模板
可直接复制以下内容到新项目的 `00-项目概览.md`
```markdown
---
type: project
status: active
project_type: rag-eval
---
# 项目名称
## 问题与范围
## 一句话成功条件
## 主要风险
## 当前版本
## 关键链接
- 工作表:
- 代码仓库:
- 数据集:
- 最近报告:
## 下一步最小动作
```
新项目的 `00-项目概览.md` 直接复制 `_template/00-项目概览.md`(骨架见 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/_template/00-项目概览|`_template/`]]);本页不再内嵌模板副本,避免与模板文件漂移。
## 开始前