type, tags, status, created
| type | tags | status | created | ||
|---|---|---|---|---|---|
| hub |
|
active | 2026-08-21 |
项目实践入口
这里用于放实际 Eval 项目，而不是继续积累理论笔记。学习材料告诉你“为什么”和“怎么做”（02-Why-Guide、01-LLM-Evaluation-Roadmap）；项目目录保存你亲自得到的证据。
项目列表
| 项目 | 状态 | 代码仓库 | 最近更新 | 一句话 |
|---|---|---|---|---|
| 01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/01-go-docs-qa/00-project-overview | 进行中（10 个 case 设计） | TBD | 2026-08-26 | Go 官方文档约束下的技术问答（公开文档 RAG 评测） |
建议的第一批项目
按以下顺序推进。先完成一个小型、可重跑的闭环，再增加框架和自动化：
rag-eval-lab/— 公开技术文档约束问答agent-tool-eval/— 模拟工具调用、权限与状态code-agent-eval/— 编译、测试、静态分析与回归
每个项目复制 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/_template/00-project-overview|
_template/骨架]]（6 个文件）即可开始；骨架内的引导说明引用了工作表与路线图，不重复内容。
每个项目创建独立子目录，例如：
03-Practice/
└── 2026-我的第一个公开文档问答评测/
├── 00-project-overview.md
├── 01-task-and-rubric.md
├── 02-case-design.md
├── 03-run-and-blind-review.md
├── 04-failure-review.md
└── 05-change-and-regression.md
每个项目至少保留：
task.md
datasets/
rubrics/
runs/
scripts/
reports/
Obsidian 模板 ↔ 代码仓库目录 对照
同一份项目内容在 Obsidian（判断与决策）与代码仓库（可运行事实）中各存一份，对应关系如下：
| 工作表 / 模板（Obsidian 项目目录） | 代码仓库目录（路线图 §4 的 llm-eval-lab/ 结构） |
|---|---|
00-project-overview.md + 01-task-and-rubric.md |
task.md + rubrics/ |
02-case-design.md |
datasets/（冻结的 eval 定义，JSONL） |
03-run-and-blind-review.md |
runs/（原始输出 + 盲评记录） |
04-failure-review.md |
reports/（确认的失败入 datasets/regression/） |
05-change-and-regression.md |
scripts/（validate / eval）+ CI 配置 |
为什么笔记和数据要分开
这个 Obsidian 专区保存思考与决策；代码仓库保存 JSONL、脚本和原始运行输出。两边互相链接即可：
| 放在 Obsidian 项目目录 | 放在代码仓库 |
|---|---|
| 为什么选这个题、成功条件、设计取舍 | datasets/、runs/、scripts/、原始输出 |
| rubric 的修改理由 | 可执行 schema 与校验脚本 |
| 失败模式、实验结论、下一个假设 | 机器生成报告、日志与图表 |
| 项目复盘、作品展示文字 | README、依赖、CI 配置 |
原则： Obsidian 是你的“工程判断日志”，代码仓库是你的“可运行事实”。不要让任何一边替代另一边。
每个项目都要回答的五个问题
- 用户想完成什么任务？
- 什么情况算成功，什么情况算失败？
- 你故意设计了哪些边界或负例？
- 最常见的失败在哪里，为什么？
- 修改后，你如何证明没有破坏原有能力？
项目模板
新项目的 00-project-overview.md 直接复制 _template/00-project-overview.md（骨架见 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/_template/00-project-overview|_template/]]）；本页不再内嵌模板副本，避免与模板文件漂移。
开始前
先完成 02-First-Week-Worksheet，再建立你的第一个项目目录。