my-vault/01_Projects/Personal-Tech/LLM_Evaluation/00-Home-Navigation/00-Start-Here.md

aliases, type, tags, status, created

aliases	type	tags	status	created
开始这里	guide	LLM评测 入门	active	2026-08-21

开始这里：你不是在学“给模型打分”

你要学的是一项测试与质量工程能力：定义成功、构造会失败的情况、按规则判定、解释失败原因，并用旧案例验证修复没有带来退步。

如果你有软件开发经验，请把它暂时理解为：

模糊需求
  → 验收条件
  → 测试用例
  → 断言 / rubric
  → 一次运行记录
  → 缺陷分类
  → 修复与回归

第一次只做十分钟

不要先注册平台、安装框架或申请 API Key。任选一个动作即可：

• 从公开技术文档复制一段 200—500 字的内容。
• 为这段文档写一个“能回答的问题”和一个“不能回答的问题”。
• 写一条规则：答案包含上下文未支持的关键事实，则 groundedness = fail。

完成任意一项后，打开 02-Roadmap-Worksheets/01-First-Week-Worksheet，把它填入第 0 节。

你现在处于哪种状态？

你的状态	先读什么	现在不要做什么
不懂为什么要多写 case、rubric 和 run	01-Why/01-Why-Guide	不要先上评测框架。
知道原理，但不知道今天怎么开始	02-Roadmap-Worksheets/01-First-Week-Worksheet	不要把项目放大到 100 个 case。
已有 10 个 case，想系统推进	02-Roadmap-Worksheets/02-LLM-Evaluation-Roadmap	不要急着微调模型。
已有具体项目，想记录实验	03-Project-Practice/00-Project-Practice-Entry	不要把 run、case 和个人笔记混在一起。
想理解这条职业方向的全貌	[[02_Areas/Job/llm_data_annotation_programmer_roadmap	大模型数据标注与程序员入门]]（存于 02_Areas/Job）

本专区的学习原则

先建立判断，再追求自动化。

如果你还不能解释一个输出为什么通过或失败，自动评分器、CI 和仪表盘只会把不清楚的判断更快地放大。

返回 01_Projects/Personal-Tech/LLM_Evaluation/README。