rename LLM_Evaluation files to English, keep Chinese content with aliases
This commit is contained in:
+7
-5
@@ -1,4 +1,6 @@
|
|||||||
---
|
---
|
||||||
|
aliases:
|
||||||
|
- 开始这里
|
||||||
type: guide
|
type: guide
|
||||||
tags:
|
tags:
|
||||||
- LLM评测
|
- LLM评测
|
||||||
@@ -31,16 +33,16 @@ created: 2026-08-21
|
|||||||
- [ ] 为这段文档写一个“能回答的问题”和一个“不能回答的问题”。
|
- [ ] 为这段文档写一个“能回答的问题”和一个“不能回答的问题”。
|
||||||
- [ ] 写一条规则:`答案包含上下文未支持的关键事实,则 groundedness = fail`。
|
- [ ] 写一条规则:`答案包含上下文未支持的关键事实,则 groundedness = fail`。
|
||||||
|
|
||||||
完成任意一项后,打开 [[02-执行路线与工作表/01-首周工作表]],把它填入第 0 节。
|
完成任意一项后,打开 [[02-Roadmap-Worksheets/01-First-Week-Worksheet]],把它填入第 0 节。
|
||||||
|
|
||||||
## 你现在处于哪种状态?
|
## 你现在处于哪种状态?
|
||||||
|
|
||||||
| 你的状态 | 先读什么 | 现在不要做什么 |
|
| 你的状态 | 先读什么 | 现在不要做什么 |
|
||||||
|---|---|---|
|
|---|---|---|
|
||||||
| 不懂为什么要多写 case、rubric 和 run | [[01-为什么这样学/01-从零开始做 LLM 评测 - 每一步背后的道理]] | 不要先上评测框架。 |
|
| 不懂为什么要多写 case、rubric 和 run | [[01-Why/01-Why-Guide]] | 不要先上评测框架。 |
|
||||||
| 知道原理,但不知道今天怎么开始 | [[02-执行路线与工作表/01-首周工作表]] | 不要把项目放大到 100 个 case。 |
|
| 知道原理,但不知道今天怎么开始 | [[02-Roadmap-Worksheets/01-First-Week-Worksheet]] | 不要把项目放大到 100 个 case。 |
|
||||||
| 已有 10 个 case,想系统推进 | [[02-执行路线与工作表/02-LLM 评测工程实战路线图]] | 不要急着微调模型。 |
|
| 已有 10 个 case,想系统推进 | [[02-Roadmap-Worksheets/02-LLM-Evaluation-Roadmap]] | 不要急着微调模型。 |
|
||||||
| 已有具体项目,想记录实验 | [[03-项目实践/00-项目实践入口]] | 不要把 run、case 和个人笔记混在一起。 |
|
| 已有具体项目,想记录实验 | [[03-Project-Practice/00-Project-Practice-Entry]] | 不要把 run、case 和个人笔记混在一起。 |
|
||||||
| 想理解这条职业方向的全貌 | [[02_Areas/Job/llm_data_annotation_programmer_roadmap|大模型数据标注与程序员入门]](存于 02_Areas/Job) | 不要把岗位名当成能力边界。 |
|
| 想理解这条职业方向的全貌 | [[02_Areas/Job/llm_data_annotation_programmer_roadmap|大模型数据标注与程序员入门]](存于 02_Areas/Job) | 不要把岗位名当成能力边界。 |
|
||||||
|
|
||||||
## 本专区的学习原则
|
## 本专区的学习原则
|
||||||
+6
-4
@@ -1,4 +1,6 @@
|
|||||||
---
|
---
|
||||||
|
aliases:
|
||||||
|
- 学习看板
|
||||||
type: checklist
|
type: checklist
|
||||||
tags:
|
tags:
|
||||||
- LLM评测
|
- LLM评测
|
||||||
@@ -14,14 +16,14 @@ created: 2026-08-21
|
|||||||
## Level 1:建立判断能力
|
## Level 1:建立判断能力
|
||||||
|
|
||||||
- [ ] 我能用自己的话解释:为什么先定义成功条件,再运行模型。
|
- [ ] 我能用自己的话解释:为什么先定义成功条件,再运行模型。
|
||||||
- [ ] 我已读完 [[01-为什么这样学/01-从零开始做 LLM 评测 - 每一步背后的道理]]。
|
- [ ] 我已读完 [[01-Why/01-Why-Guide]]。
|
||||||
- [ ] 我已从公开资料中选定一个范围足够小的任务。
|
- [ ] 我已从公开资料中选定一个范围足够小的任务。
|
||||||
- [ ] 我已写出一个能回答的问题和一个不能回答的问题。
|
- [ ] 我已写出一个能回答的问题和一个不能回答的问题。
|
||||||
- [ ] 我已写出 rubric v0.1,包含有据性、资料不足处理与核心任务完成度三个维度。
|
- [ ] 我已写出 rubric v0.1,包含有据性、资料不足处理与核心任务完成度三个维度。
|
||||||
|
|
||||||
## Level 2:完成第一个最小闭环
|
## Level 2:完成第一个最小闭环
|
||||||
|
|
||||||
- [ ] 我已在 [[02-执行路线与工作表/01-首周工作表]] 中写出 10 个 case。
|
- [ ] 我已在 [[02-Roadmap-Worksheets/01-First-Week-Worksheet]] 中写出 10 个 case。
|
||||||
- [ ] 我已得到至少一组候选输出。
|
- [ ] 我已得到至少一组候选输出。
|
||||||
- [ ] 我已对至少 5 个 case 写下通过/失败理由。
|
- [ ] 我已对至少 5 个 case 写下通过/失败理由。
|
||||||
- [ ] 我已识别并命名 3—5 类失败。
|
- [ ] 我已识别并命名 3—5 类失败。
|
||||||
@@ -29,11 +31,11 @@ created: 2026-08-21
|
|||||||
|
|
||||||
## Level 3:项目化与证据链
|
## Level 3:项目化与证据链
|
||||||
|
|
||||||
- [ ] 我已在 `03-项目实践/` 下创建自己的项目目录。
|
- [ ] 我已在 `03-Project-Practice/` 下创建自己的项目目录。
|
||||||
- [ ] 我已保存稳定的 case 定义与一次运行记录。
|
- [ ] 我已保存稳定的 case 定义与一次运行记录。
|
||||||
- [ ] 我已写出一份简短失败复盘。
|
- [ ] 我已写出一份简短失败复盘。
|
||||||
- [ ] 我已决定下一阶段是 RAG、Agent tool-use、Text-to-SQL 还是 Code Agent。
|
- [ ] 我已决定下一阶段是 RAG、Agent tool-use、Text-to-SQL 还是 Code Agent。
|
||||||
- [ ] 我已开始阅读 [[02-执行路线与工作表/02-LLM 评测工程实战路线图]] 中对应部分。
|
- [ ] 我已开始阅读 [[02-Roadmap-Worksheets/02-LLM-Evaluation-Roadmap]] 中对应部分。
|
||||||
|
|
||||||
## 每周复盘(复制到项目周记)
|
## 每周复盘(复制到项目周记)
|
||||||
|
|
||||||
+2
@@ -1,4 +1,6 @@
|
|||||||
---
|
---
|
||||||
|
aliases:
|
||||||
|
- 从零开始做 LLM 评测
|
||||||
type: guide
|
type: guide
|
||||||
tags:
|
tags:
|
||||||
- LLM评测
|
- LLM评测
|
||||||
+2
@@ -1,4 +1,6 @@
|
|||||||
---
|
---
|
||||||
|
aliases:
|
||||||
|
- 首周工作表
|
||||||
type: template
|
type: template
|
||||||
tags:
|
tags:
|
||||||
- LLM评测
|
- LLM评测
|
||||||
+2
@@ -1,4 +1,6 @@
|
|||||||
---
|
---
|
||||||
|
aliases:
|
||||||
|
- LLM 评测工程实战路线图
|
||||||
type: guide
|
type: guide
|
||||||
tags:
|
tags:
|
||||||
- LLM评测
|
- LLM评测
|
||||||
+4
-2
@@ -1,4 +1,6 @@
|
|||||||
---
|
---
|
||||||
|
aliases:
|
||||||
|
- 项目实践入口
|
||||||
type: hub
|
type: hub
|
||||||
tags:
|
tags:
|
||||||
- LLM评测
|
- LLM评测
|
||||||
@@ -12,7 +14,7 @@ created: 2026-08-21
|
|||||||
学习材料告诉你“为什么”和“怎么做”;项目目录保存你亲自得到的证据。请为每个项目创建一个独立子目录,例如:
|
学习材料告诉你“为什么”和“怎么做”;项目目录保存你亲自得到的证据。请为每个项目创建一个独立子目录,例如:
|
||||||
|
|
||||||
```text
|
```text
|
||||||
03-项目实践/
|
03-Project-Practice/
|
||||||
└── 2026-我的第一个公开文档问答评测/
|
└── 2026-我的第一个公开文档问答评测/
|
||||||
├── 00-项目概览.md
|
├── 00-项目概览.md
|
||||||
├── 01-任务与Rubric.md
|
├── 01-任务与Rubric.md
|
||||||
@@ -37,7 +39,7 @@ created: 2026-08-21
|
|||||||
|
|
||||||
## 建议的第一个项目
|
## 建议的第一个项目
|
||||||
|
|
||||||
从“公开文档约束下的问答评测”开始。它不要求真实业务数据,也能清楚练习 case、rubric、盲评、失败分类与回归。请先完成 [[02-执行路线与工作表/01-首周工作表]],再建立你的第一个项目目录。
|
从“公开文档约束下的问答评测”开始。它不要求真实业务数据,也能清楚练习 case、rubric、盲评、失败分类与回归。请先完成 [[02-Roadmap-Worksheets/01-First-Week-Worksheet]],再建立你的第一个项目目录。
|
||||||
|
|
||||||
## 每个项目都要回答的五个问题
|
## 每个项目都要回答的五个问题
|
||||||
|
|
||||||
+7
-5
@@ -1,4 +1,6 @@
|
|||||||
---
|
---
|
||||||
|
aliases:
|
||||||
|
- 材料清单
|
||||||
type: reference
|
type: reference
|
||||||
tags:
|
tags:
|
||||||
- LLM评测
|
- LLM评测
|
||||||
@@ -14,13 +16,13 @@ created: 2026-08-21
|
|||||||
| 文件 | 当前角色 | 何时阅读 | 为什么归档而非放在主路线 |
|
| 文件 | 当前角色 | 何时阅读 | 为什么归档而非放在主路线 |
|
||||||
|---|---|---|---|
|
|---|---|---|---|
|
||||||
| [[02_Areas/Job/llm_data_annotation_programmer_roadmap|大模型数据标注与程序员入门]](原文存于 02_Areas/Job,本专区不再复制副本) | 职业全景与程序员能力迁移背景 | 想理解岗位、方向与能力地图时 | 覆盖面广,但不是第一个项目的直接操作材料。 |
|
| [[02_Areas/Job/llm_data_annotation_programmer_roadmap|大模型数据标注与程序员入门]](原文存于 02_Areas/Job,本专区不再复制副本) | 职业全景与程序员能力迁移背景 | 想理解岗位、方向与能力地图时 | 覆盖面广,但不是第一个项目的直接操作材料。 |
|
||||||
| [[02-入门认知框架(草案)]] | Why Guide 的概念设计底稿 | 想研究内容设计或自行扩展课程时 | 已被正式 Why Guide 吸收,不建议日常阅读。 |
|
| [[02-Intro-Cognitive-Framework-Draft]] | Why Guide 的概念设计底稿 | 想研究内容设计或自行扩展课程时 | 已被正式 Why Guide 吸收,不建议日常阅读。 |
|
||||||
| [[03-实战路线图重构大纲(草案)]] | Practical Roadmap 的结构设计底稿 | 想理解路线如何从审阅意见演化时 | 正式路线图已更完整,草案只保留历史价值。 |
|
| [[03-Roadmap-Refactor-Outline-Draft]] | Practical Roadmap 的结构设计底稿 | 想理解路线如何从审阅意见演化时 | 正式路线图已更完整,草案只保留历史价值。 |
|
||||||
|
|
||||||
## 正式学习材料不在本目录
|
## 正式学习材料不在本目录
|
||||||
|
|
||||||
- 建立心智模型:[[01-为什么这样学/01-从零开始做 LLM 评测 - 每一步背后的道理]]
|
- 建立心智模型:[[01-Why/01-Why-Guide]]
|
||||||
- 填写第一个项目:[[02-执行路线与工作表/01-首周工作表]]
|
- 填写第一个项目:[[02-Roadmap-Worksheets/01-First-Week-Worksheet]]
|
||||||
- 执行完整路线:[[02-执行路线与工作表/02-LLM 评测工程实战路线图]]
|
- 执行完整路线:[[02-Roadmap-Worksheets/02-LLM-Evaluation-Roadmap]]
|
||||||
|
|
||||||
返回 [[01_Projects/Personal-Tech/LLM_Evaluation/README|学习专区首页]]。
|
返回 [[01_Projects/Personal-Tech/LLM_Evaluation/README|学习专区首页]]。
|
||||||
+2
@@ -1,4 +1,6 @@
|
|||||||
---
|
---
|
||||||
|
aliases:
|
||||||
|
- 入门认知框架
|
||||||
type: draft
|
type: draft
|
||||||
tags:
|
tags:
|
||||||
- LLM评测
|
- LLM评测
|
||||||
+2
@@ -1,4 +1,6 @@
|
|||||||
---
|
---
|
||||||
|
aliases:
|
||||||
|
- 实战路线图重构大纲
|
||||||
type: draft
|
type: draft
|
||||||
tags:
|
tags:
|
||||||
- LLM评测
|
- LLM评测
|
||||||
@@ -25,11 +25,11 @@ created: 2026-08-21
|
|||||||
|
|
||||||
| 顺序 | 阅读材料 | 解决的问题 | 完成标志 |
|
| 顺序 | 阅读材料 | 解决的问题 | 完成标志 |
|
||||||
|---:|---|---|---|
|
|---:|---|---|---|
|
||||||
| 1 | [[00-首页与导航/00-开始这里]] | 我究竟在学什么,如何不被概念和工具淹没? | 能复述学习主线。 |
|
| 1 | [[00-Home-Navigation/00-Start-Here]] | 我究竟在学什么,如何不被概念和工具淹没? | 能复述学习主线。 |
|
||||||
| 2 | [[01-为什么这样学/01-从零开始做 LLM 评测 - 每一步背后的道理]] | 为什么先做 case、rubric、盲评、run、失败分类与回归? | 能解释每个动作在防什么问题。 |
|
| 2 | [[01-Why/01-Why-Guide]] | 为什么先做 case、rubric、盲评、run、失败分类与回归? | 能解释每个动作在防什么问题。 |
|
||||||
| 3 | [[02-执行路线与工作表/01-首周工作表]] | 今天应该写什么,卡住时怎样缩小范围? | 完成任务边界、10 个 case 与 rubric v0.1。 |
|
| 3 | [[02-Roadmap-Worksheets/01-First-Week-Worksheet]] | 今天应该写什么,卡住时怎样缩小范围? | 完成任务边界、10 个 case 与 rubric v0.1。 |
|
||||||
| 4 | [[03-项目实践/00-项目实践入口]] | 如何把工作表变成自己的项目仓库? | 开始一个最小项目并保存第一个 run。 |
|
| 4 | [[03-Project-Practice/00-Project-Practice-Entry]] | 如何把工作表变成自己的项目仓库? | 开始一个最小项目并保存第一个 run。 |
|
||||||
| 5 | [[02-执行路线与工作表/02-LLM 评测工程实战路线图]] | 怎样逐步走向 Judge、Agent、安全、数据资产与 CI? | 为自己选择一个 12 周内的下一阶段。 |
|
| 5 | [[02-Roadmap-Worksheets/02-LLM-Evaluation-Roadmap]] | 怎样逐步走向 Judge、Agent、安全、数据资产与 CI? | 为自己选择一个 12 周内的下一阶段。 |
|
||||||
|
|
||||||
> **数量口径:** 首周最低完成 10 个 case;若时间充裕,按路线图 Day 1 扩展至 20 个(结构见《首周工作表》第 2 节)。
|
> **数量口径:** 首周最低完成 10 个 case;若时间充裕,按路线图 Day 1 扩展至 20 个(结构见《首周工作表》第 2 节)。
|
||||||
|
|
||||||
@@ -37,27 +37,27 @@ created: 2026-08-21
|
|||||||
|
|
||||||
| 目录 | 放什么 | 不放什么 | 设计原因 |
|
| 目录 | 放什么 | 不放什么 | 设计原因 |
|
||||||
|---|---|---|---|
|
|---|---|---|---|
|
||||||
| `00-首页与导航` | 学习入口、进度、阅读路线 | 长篇理论或项目原始数据 | 让你每次打开专区都能立刻知道下一步。 |
|
| `00-Home-Navigation` | 学习入口、进度、阅读路线 | 长篇理论或项目原始数据 | 让你每次打开专区都能立刻知道下一步。 |
|
||||||
| `01-为什么这样学` | 心智模型、概念解释、决策理由 | 复杂工具的操作手册 | 入门时最缺的是判断,不是框架。 |
|
| `01-Why` | 心智模型、概念解释、决策理由 | 复杂工具的操作手册 | 入门时最缺的是判断,不是框架。 |
|
||||||
| `02-执行路线与工作表` | 可执行路线、清单、模板、阶段性任务 | 一次性运行结果 | 将原则转成动作,且便于反复使用。 |
|
| `02-Roadmap-Worksheets` | 可执行路线、清单、模板、阶段性任务 | 一次性运行结果 | 将原则转成动作,且便于反复使用。 |
|
||||||
| `03-项目实践` | 每个亲自完成的 Eval 项目、实验记录、复盘 | 通用学习材料 | 学习材料与个人证据分离,项目才不会被笔记淹没。 |
|
| `03-Project-Practice` | 每个亲自完成的 Eval 项目、实验记录、复盘 | 通用学习材料 | 学习材料与个人证据分离,项目才不会被笔记淹没。 |
|
||||||
| `04-参考与归档` | 旧大纲与参考草案(职业定位原文存于 02_Areas/Job) | 正在执行的任务 | 保留来路和背景,但不干扰当前学习。 |
|
| `04-Reference-Archive` | 旧大纲与参考草案(职业定位原文存于 02_Areas/Job) | 正在执行的任务 | 保留来路和背景,但不干扰当前学习。 |
|
||||||
| `99-附件` | 外部 PDF、截图、数据文件等二进制附件(也可统一放全库 `05_Attachments`) | 主笔记 | 保持 Markdown 笔记可搜索、可链接、可版本控制。 |
|
| `99-Attachments` | 外部 PDF、截图、数据文件等二进制附件(也可统一放全库 `05_Attachments`) | 主笔记 | 保持 Markdown 笔记可搜索、可链接、可版本控制。 |
|
||||||
|
|
||||||
## 三条使用规则
|
## 三条使用规则
|
||||||
|
|
||||||
> **规则一:先写再读。** 每读完一个核心概念,都回到工作表写一项内容;只读不写容易产生“我已经会了”的错觉。
|
> **规则一:先写再读。** 每读完一个核心概念,都回到工作表写一项内容;只读不写容易产生“我已经会了”的错觉。
|
||||||
|
|
||||||
> **规则二:项目笔记不放在通用材料旁。** 每个项目单独放入 `03-项目实践/项目名/`,防止模板、原理和实际 run 混在一起。
|
> **规则二:项目笔记不放在通用材料旁。** 每个项目单独放入 `03-Project-Practice/项目名/`,防止模板、原理和实际 run 混在一起。
|
||||||
|
|
||||||
> **规则三:只要改变了 case、rubric、prompt、模型或文档版本,就记一条实验日志。** 日志不必长,但要说明改了什么、为什么改、预期影响和实际结果。
|
> **规则三:只要改变了 case、rubric、prompt、模型或文档版本,就记一条实验日志。** 日志不必长,但要说明改了什么、为什么改、预期影响和实际结果。
|
||||||
|
|
||||||
## 你的当前入口
|
## 你的当前入口
|
||||||
|
|
||||||
打开 [[00-首页与导航/00-开始这里]],完成其中的十分钟动作;完成后再填写 [[02-执行路线与工作表/01-首周工作表]]。
|
打开 [[00-Home-Navigation/00-Start-Here]],完成其中的十分钟动作;完成后再填写 [[02-Roadmap-Worksheets/01-First-Week-Worksheet]]。
|
||||||
|
|
||||||
## 关联材料
|
## 关联材料
|
||||||
|
|
||||||
- 职业与岗位背景:[[02_Areas/Job/llm_data_annotation_programmer_roadmap|大模型数据标注与程序员入门]](原文存于 02_Areas/Job)
|
- 职业与岗位背景:[[02_Areas/Job/llm_data_annotation_programmer_roadmap|大模型数据标注与程序员入门]](原文存于 02_Areas/Job)
|
||||||
- 入门认知草案:[[04-参考与归档/02-入门认知框架(草案)]]
|
- 入门认知草案:[[04-Reference-Archive/02-Intro-Cognitive-Framework-Draft]]
|
||||||
- 路线图重构草案:[[04-参考与归档/03-实战路线图重构大纲(草案)]]
|
- 路线图重构草案:[[04-Reference-Archive/03-Roadmap-Refactor-Outline-Draft]]
|
||||||
|
|||||||
Reference in New Issue
Block a user