fix broken wikilinks in LLM_Evaluation zone; update Obsidian plugins
- Rewrite folder-relative wikilinks (resolved from vault root) to unique basenames or full vault-root paths so they actually resolve in Obsidian - Fix malformed table links with spaces around the | alias separator - Plugin updates from Obsidian (any-block, omnisearch, quickadd, etc.)
This commit is contained in:
windyboy
@@ -19,7 +19,7 @@ created: 2026-08-21
|
||||
|
||||
完成这一层后，继续阅读：
|
||||
|
||||
- [[01-Getting-Started/02-Why-Guide|从零开始做 LLM 评测：每一步背后的道理]]
|
||||
- [[02-Practical-Roadmap/01-LLM-Evaluation-Roadmap|从软件工程到 LLM 评测工程：实战路线]]
|
||||
- [[02-Why-Guide|从零开始做 LLM 评测：每一步背后的道理]]
|
||||
- [[01-LLM-Evaluation-Roadmap|从软件工程到 LLM 评测工程：实战路线]]
|
||||
|
||||
原则：这里回答 **What**，后续文档分别回答 **Why** 和 **How**。
|
||||
|
||||
@@ -33,16 +33,16 @@ created: 2026-08-21
|
||||
- [ ] 为这段文档写一个“能回答的问题”和一个“不能回答的问题”。
|
||||
- [ ] 写一条规则：`答案包含上下文未支持的关键事实，则 groundedness = fail`。
|
||||
|
||||
完成任意一项后，打开 [[02-Practical-Roadmap/02-First-Week-Worksheet]]，把它填入第 0 节。
|
||||
完成任意一项后，打开 [[02-First-Week-Worksheet]]，把它填入第 0 节。
|
||||
|
||||
## 你现在处于哪种状态？
|
||||
|
||||
| 你的状态 | 先读什么 | 现在不要做什么 |
|
||||
|---|---|---|
|
||||
| 不懂为什么要多写 case、rubric 和 run | [[01-Getting-Started/02-Why-Guide]] | 不要先上评测框架。 |
|
||||
| 知道原理，但不知道今天怎么开始 | [[02-Practical-Roadmap/02-First-Week-Worksheet]] | 不要把项目放大到 100 个 case。 |
|
||||
| 已有 10 个 case，想系统推进 | [[02-Practical-Roadmap/01-LLM-Evaluation-Roadmap]] | 不要急着微调模型。 |
|
||||
| 已有具体项目，想记录实验 | [[03-Practice/README]] | 不要把 run、case 和个人笔记混在一起。 |
|
||||
| 不懂为什么要多写 case、rubric 和 run | [[02-Why-Guide]] | 不要先上评测框架。 |
|
||||
| 知道原理，但不知道今天怎么开始 | [[02-First-Week-Worksheet]] | 不要把项目放大到 100 个 case。 |
|
||||
| 已有 10 个 case，想系统推进 | [[01-LLM-Evaluation-Roadmap]] | 不要急着微调模型。 |
|
||||
| 已有具体项目，想记录实验 | [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/README]] | 不要把 run、case 和个人笔记混在一起。 |
|
||||
| 想理解这条职业方向的全貌 | [[02_Areas/Job/llm_data_annotation_programmer_roadmap|大模型数据标注与程序员入门]]（存于 02_Areas/Job） | 不要把岗位名当成能力边界。 |
|
||||
|
||||
## 本专区的学习原则
|
||||
|
||||
@@ -16,14 +16,14 @@ created: 2026-08-21
|
||||
## Level 1：建立判断能力
|
||||
|
||||
- [ ] 我能用自己的话解释：为什么先定义成功条件，再运行模型。
|
||||
- [ ] 我已读完 [[01-Getting-Started/02-Why-Guide]]。
|
||||
- [ ] 我已读完 [[02-Why-Guide]]。
|
||||
- [ ] 我已从公开资料中选定一个范围足够小的任务。
|
||||
- [ ] 我已写出一个能回答的问题和一个不能回答的问题。
|
||||
- [ ] 我已写出 rubric v0.1，包含有据性、资料不足处理与核心任务完成度三个维度。
|
||||
|
||||
## Level 2：完成第一个最小闭环
|
||||
|
||||
- [ ] 我已在 [[02-Practical-Roadmap/02-First-Week-Worksheet]] 中写出 10 个 case。
|
||||
- [ ] 我已在 [[02-First-Week-Worksheet]] 中写出 10 个 case。
|
||||
- [ ] 我已得到至少一组候选输出。
|
||||
- [ ] 我已对至少 5 个 case 写下通过/失败理由。
|
||||
- [ ] 我已识别并命名 3—5 类失败。
|
||||
@@ -35,7 +35,7 @@ created: 2026-08-21
|
||||
- [ ] 我已保存稳定的 case 定义与一次运行记录。
|
||||
- [ ] 我已写出一份简短失败复盘。
|
||||
- [ ] 我已决定下一阶段是 RAG、Agent tool-use、Text-to-SQL 还是 Code Agent。
|
||||
- [ ] 我已开始阅读 [[02-Practical-Roadmap/01-LLM-Evaluation-Roadmap]] 中对应部分。
|
||||
- [ ] 我已开始阅读 [[01-LLM-Evaluation-Roadmap]] 中对应部分。
|
||||
|
||||
## 每周复盘（复制到项目周记）
|
||||
|
||||
|
||||
@@ -9,7 +9,7 @@ created: 2026-08-21
|
||||
|
||||
# 项目实践入口
|
||||
|
||||
这里用于放实际 Eval 项目，而不是继续积累理论笔记。学习材料告诉你“为什么”和“怎么做”（[[01-Getting-Started/02-Why-Guide|Why Guide]]、[[02-Practical-Roadmap/01-LLM-Evaluation-Roadmap|实战路线图]]）；项目目录保存你亲自得到的证据。
|
||||
这里用于放实际 Eval 项目，而不是继续积累理论笔记。学习材料告诉你“为什么”和“怎么做”（[[02-Why-Guide|Why Guide]]、[[01-LLM-Evaluation-Roadmap|实战路线图]]）；项目目录保存你亲自得到的证据。
|
||||
|
||||
## 建议的第一批项目
|
||||
|
||||
@@ -96,7 +96,7 @@ project_type: rag-eval
|
||||
|
||||
## 开始前
|
||||
|
||||
先完成 [[02-Practical-Roadmap/02-First-Week-Worksheet|首周工作表]]，再建立你的第一个项目目录。
|
||||
先完成 [[02-First-Week-Worksheet|首周工作表]]，再建立你的第一个项目目录。
|
||||
|
||||
---
|
||||
|
||||
|
||||
@@ -21,8 +21,8 @@ created: 2026-08-21
|
||||
|
||||
## 正式学习材料不在本目录
|
||||
|
||||
- 建立心智模型：[[01-Getting-Started/02-Why-Guide]]
|
||||
- 填写第一个项目：[[02-Practical-Roadmap/02-First-Week-Worksheet]]
|
||||
- 执行完整路线：[[02-Practical-Roadmap/01-LLM-Evaluation-Roadmap]]
|
||||
- 建立心智模型：[[02-Why-Guide]]
|
||||
- 填写第一个项目：[[02-First-Week-Worksheet]]
|
||||
- 执行完整路线：[[01-LLM-Evaluation-Roadmap]]
|
||||
|
||||
返回 [[01_Projects/Personal-Tech/LLM_Evaluation/README|学习专区首页]]。
|
||||
|
||||
@@ -24,14 +24,14 @@ created: 2026-08-21
|
||||
→ 再进入完整工程路线（How）
|
||||
```
|
||||
|
||||
| 顺序 | 阅读材料 | 解决的问题 | 完成标志 |
|
||||
|---:|---|---|---|
|
||||
| 1 | [[01-Getting-Started/00-Start-Here|开始这里]] | 我究竟在学什么，如何不被概念和工具淹没？ | 完成十分钟动作，能复述学习主线。 |
|
||||
| 2 | [[00-Foundations/01-What-Is-LLM-Evaluation|什么是 LLM Evaluation]] | 评测的对象、边界与常用术语是什么？ | 能区分模型评测与系统评测、Benchmark 与 Product Eval。 |
|
||||
| 3 | [[01-Getting-Started/02-Why-Guide|从零开始做 LLM 评测：每一步背后的道理]] | 为什么先做 case、rubric、盲评、run、失败分类与回归？ | 能解释每个动作在防什么问题。 |
|
||||
| 4 | [[02-Practical-Roadmap/02-First-Week-Worksheet|首周工作表]] | 今天应该写什么，卡住时怎样缩小范围？ | 完成任务边界、10 个 case 与 rubric v0.1。 |
|
||||
| 5 | [[03-Practice/README|项目实践入口]] | 如何把工作表变成自己的项目仓库？ | 开始一个最小项目并保存第一个 run。 |
|
||||
| 6 | [[02-Practical-Roadmap/01-LLM-Evaluation-Roadmap|LLM 评测工程实战路线图]] | 怎样逐步走向 Judge、Agent、安全、数据资产与 CI？ | 为自己选择一个 12 周内的下一阶段。 |
|
||||
| 顺序 | 阅读材料 | 解决的问题 | 完成标志 | |
|
||||
| --: | ------------------------------------------------ | ----------------------- | --------------------------------- | -------------------------------------- |
|
||||
| 1 | [[00-Start-Here|开始这里]] | 我究竟在学什么，如何不被概念和工具淹没？ | 完成十分钟动作，能复述学习主线。 |
|
||||
| 2 | [[01-What-Is-LLM-Evaluation|什么是 LLM Evaluation]] | 评测的对象、边界与常用术语是什么？ | 能区分模型评测与系统评测、Benchmark 与 Product Eval。 |
|
||||
| 3 | [[02-Why-Guide|从零开始做 LLM 评测：每一步背后的道理]] | 为什么先做 case、rubric、盲评、run、失败分类与回归？ | 能解释每个动作在防什么问题。 |
|
||||
| 4 | [[02-First-Week-Worksheet|首周工作表]] | 今天应该写什么，卡住时怎样缩小范围？ | 完成任务边界、10 个 case 与 rubric v0.1。 |
|
||||
| 5 | [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/README|项目实践入口]] | 如何把工作表变成自己的项目仓库？ | 开始一个最小项目并保存第一个 run。 |
|
||||
| 6 | [[01-LLM-Evaluation-Roadmap|LLM 评测工程实战路线图]] | 怎样逐步走向 Judge、Agent、安全、数据资产与 CI？ | 为自己选择一个 12 周内的下一阶段。 |
|
||||
|
||||
> **数量口径：** 首周最低完成 10 个 case；若时间充裕，按路线图 Day 1 扩展至 20 个（结构见《首周工作表》第 2 节）。
|
||||
|
||||
@@ -56,10 +56,10 @@ created: 2026-08-21
|
||||
|
||||
## 你的当前入口
|
||||
|
||||
打开 [[01-Getting-Started/00-Start-Here|开始这里]]，完成其中的十分钟动作；完成后再填写 [[02-Practical-Roadmap/02-First-Week-Worksheet|首周工作表]]。
|
||||
打开 [[00-Start-Here|开始这里]]，完成其中的十分钟动作；完成后再填写 [[02-First-Week-Worksheet|首周工作表]]。
|
||||
|
||||
## 关联材料
|
||||
|
||||
- 职业与岗位背景：[[02_Areas/Job/llm_data_annotation_programmer_roadmap|大模型数据标注与程序员入门]]（原文存于 02_Areas/Job）
|
||||
- 入门认知草案：[[04-Reference-Archive/02-Intro-Cognitive-Framework-Draft|入门认知框架（草案）]]
|
||||
- 路线图重构草案：[[04-Reference-Archive/03-Roadmap-Refactor-Outline-Draft|实战路线图重构大纲（草案）]]
|
||||
- 入门认知草案：[[02-Intro-Cognitive-Framework-Draft|入门认知框架（草案）]]
|
||||
- 路线图重构草案：[[03-Roadmap-Refactor-Outline-Draft|实战路线图重构大纲（草案）]]
|
||||
|
||||
Reference in New Issue
Block a user