windyboy
63add96a09
- Why Guide: remove duplicated 20-case/rubric/test-definition tables, link to authoritative Roadmap/Worksheet instead; 10-min action points to entries - Concept Map / What-Is: cross-link narrative vs quick-reference roles - Worksheet: annotate sections with authoritative sources - 04-Reference 01-04 <-> archive/01: bidirectional resource links - archive/00-Material-List: shrink guidebook listing, now reachable from READMEs - guidebook: compress 06-Yearly-Dives 2025 section (-> 08-2025-Edition §3), add old/new version nav banners to 01-05, reverse links in 08 - README/Start-Here: link Learning Board (was orphaned)
1.9 KiB
1.9 KiB
type, tags, status, created
| type | tags | status | created | ||
|---|---|---|---|---|---|
| reference |
|
active | 2026-08-21 |
01 · Evaluation Infrastructure
主题：Evaluation Harness、Sandbox、Trace、Scaling
S 级资源（必须认真研究）
1. UK AISI Engineering Playbook + Inspect AI
- 仓库：https://github.com/UKGovernmentBEIS/inspect_ai
- 背景：英国人工智能安全研究所（UK AISI）官方开源
- 为什么看：国家级安全评测机构测试前沿模型时使用的完整底座
- 核心思想：把评测基础设施拆成五层
- Evaluate
- Isolate
- Connect
- Run
- Scale
- 重点抽象（映射到自己的体系）：
- Task → Case
- Dataset → Dataset
- Solver → Model / Agent Adapter
- Tool / Sandbox → 隔离执行环境
- Scorer → Grader
- Log → Trace / Outcome
- 适合阶段：完成第一个小项目以后
2. AWS Generative AI Evaluations Workshop
- 为什么看：目前垂直场景最全、最硬核的可运行实战代码
- 覆盖场景：
- Multimodal RAG
- Tool Calling（5 种渐进式评测方法）
- Automated Reasoning（利用 SMT 求解器检查合规）
- Multi-Agent Shared Context
- Red Teaming
- 学习方式（重要）：
不要只照着 Notebook 跑。每个模块都问：
- Task 是什么？
- Case 怎么构造？
- Rubric 是什么？
- Grader 是什么？
- Failure 如何定义？
- 如何做成 Regression？
- 适合阶段：最适合作为第一个实操资源
次级参考
- Hugging Face evaluation-guidebook（已在本目录下：04-Reference/evaluation-guidebook/00-Overview）
- DeepEval（应用级单元测试框架，上手快但抽象层较浅）
🔗 本页资源的完整链接、来源背景与上手建议见 04-Reference/archive/01-Curated-External-Resources（"国家级与顶级学术机构"与"云厂商生产环境"两节）。