restructure 04-Reference: resource map for evaluation engineering (archive old drafts)

2026-08-21 17:12:45 +08:00
parent 0f25594088
commit 4523ce67b3
20 changed files with 277 additions and 3 deletions
@@ -0,0 +1,55 @@
+---
+type: reference
+tags:
+  - llm-evaluation
+  - evaluation-infrastructure
+status: active
+created: 2026-08-21
+---
+
+# 01 · Evaluation Infrastructure
+
+主题：Evaluation Harness、Sandbox、Trace、Scaling
+
+## S 级资源（必须认真研究）
+
+### 1. UK AISI Engineering Playbook + Inspect AI
+- 仓库：https://github.com/UKGovernmentBEIS/inspect_ai
+- 背景：英国人工智能安全研究所（UK AISI）官方开源
+- 为什么看：国家级安全评测机构测试前沿模型时使用的完整底座
+- 核心思想：把评测基础设施拆成五层
+  - Evaluate
+  - Isolate
+  - Connect
+  - Run
+  - Scale
+- 重点抽象（映射到自己的体系）：
+  - Task → Case
+  - Dataset → Dataset
+  - Solver → Model / Agent Adapter
+  - Tool / Sandbox → 隔离执行环境
+  - Scorer → Grader
+  - Log → Trace / Outcome
+- 适合阶段：完成第一个小项目以后
+
+### 2. AWS Generative AI Evaluations Workshop
+- 为什么看：目前垂直场景最全、最硬核的可运行实战代码
+- 覆盖场景：
+  - Multimodal RAG
+  - Tool Calling（5 种渐进式评测方法）
+  - Automated Reasoning（利用 SMT 求解器检查合规）
+  - Multi-Agent Shared Context
+  - Red Teaming
+- 学习方式（重要）：
+  不要只照着 Notebook 跑。每个模块都问：
+  - Task 是什么？
+  - Case 怎么构造？
+  - Rubric 是什么？
+  - Grader 是什么？
+  - Failure 如何定义？
+  - 如何做成 Regression？
+- 适合阶段：最适合作为第一个实操资源
+
+## 次级参考
+- Hugging Face evaluation-guidebook（已在本目录下：[[04-Reference/evaluation-guidebook/00-Overview|evaluation-guidebook]]）
+- DeepEval（应用级单元测试框架，上手快但抽象层较浅）