reconcile LLM_Evaluation zone: align stage numbering and scopes, standardize full-path wikilinks, slim old guidebook notes, dedupe templates
- fix stage-numbering conflict (README vs 05-Progress) and unify stage-1 reading scope - resolve AWS workshop prerequisite contradiction in 04-Reference/01 - convert medium-path wikilinks to vault-root paths (~30 links), fix .pyy typos, annotate ragas fork, unify archive status, add 01-/02- README hubs - compress old-version guidebook notes (01, 05) into pointers; add 2026 reading guidance to 00-Overview - dedupe project templates and remove embedded template copy in 03-Practice/README
This commit is contained in:
@@ -11,6 +11,12 @@ created: 2026-08-21
|
||||
|
||||
这里用于放实际 Eval 项目,而不是继续积累理论笔记。学习材料告诉你“为什么”和“怎么做”([[02-Why-Guide|Why Guide]]、[[01-LLM-Evaluation-Roadmap|实战路线图]]);项目目录保存你亲自得到的证据。
|
||||
|
||||
## 项目列表
|
||||
|
||||
| 项目 | 状态 | 代码仓库 | 最近更新 | 一句话 |
|
||||
|---|---|---|---|---|
|
||||
| (暂无——从 [[02-First-Week-Worksheet|首周工作表]] 开始,复制 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/_template/00-项目概览|`_template/`]] 建立第一个项目) | | | | |
|
||||
|
||||
## 建议的第一批项目
|
||||
|
||||
按以下顺序推进。先完成一个小型、可重跑的闭环,再增加框架和自动化:
|
||||
@@ -19,6 +25,8 @@ created: 2026-08-21
|
||||
2. `agent-tool-eval/` — 模拟工具调用、权限与状态
|
||||
3. `code-agent-eval/` — 编译、测试、静态分析与回归
|
||||
|
||||
> 每个项目复制 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/_template/00-项目概览|`_template/` 骨架]](6 个文件)即可开始;骨架内的引导说明引用了工作表与路线图,不重复内容。
|
||||
|
||||
每个项目创建独立子目录,例如:
|
||||
|
||||
```text
|
||||
@@ -43,6 +51,18 @@ scripts/
|
||||
reports/
|
||||
```
|
||||
|
||||
### Obsidian 模板 ↔ 代码仓库目录 对照
|
||||
|
||||
同一份项目内容在 Obsidian(判断与决策)与代码仓库(可运行事实)中各存一份,对应关系如下:
|
||||
|
||||
| 工作表 / 模板(Obsidian 项目目录) | 代码仓库目录(路线图 §4 的 `llm-eval-lab/` 结构) |
|
||||
|---|---|
|
||||
| `00-项目概览.md` + `01-任务与Rubric.md` | `task.md` + `rubrics/` |
|
||||
| `02-Case设计.md` | `datasets/`(冻结的 eval 定义,JSONL) |
|
||||
| `03-运行与盲评.md` | `runs/`(原始输出 + 盲评记录) |
|
||||
| `04-失败复盘.md` | `reports/`(确认的失败入 `datasets/regression/`) |
|
||||
| `05-变更与回归.md` | `scripts/`(validate / eval)+ CI 配置 |
|
||||
|
||||
## 为什么笔记和数据要分开
|
||||
|
||||
这个 Obsidian 专区保存**思考与决策**;代码仓库保存 JSONL、脚本和原始运行输出。两边互相链接即可:
|
||||
@@ -66,33 +86,7 @@ reports/
|
||||
|
||||
## 项目模板
|
||||
|
||||
可直接复制以下内容到新项目的 `00-项目概览.md`:
|
||||
|
||||
```markdown
|
||||
---
|
||||
type: project
|
||||
status: active
|
||||
project_type: rag-eval
|
||||
---
|
||||
|
||||
# 项目名称
|
||||
|
||||
## 问题与范围
|
||||
|
||||
## 一句话成功条件
|
||||
|
||||
## 主要风险
|
||||
|
||||
## 当前版本
|
||||
|
||||
## 关键链接
|
||||
- 工作表:
|
||||
- 代码仓库:
|
||||
- 数据集:
|
||||
- 最近报告:
|
||||
|
||||
## 下一步最小动作
|
||||
```
|
||||
新项目的 `00-项目概览.md` 直接复制 `_template/00-项目概览.md`(骨架见 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/_template/00-项目概览|`_template/`]]);本页不再内嵌模板副本,避免与模板文件漂移。
|
||||
|
||||
## 开始前
|
||||
|
||||
|
||||
Reference in New Issue
Block a user