my-vault/01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/01-Evaluation-Infrastructure.md

---
type: reference
tags:
  - llm-evaluation
  - evaluation-infrastructure
status: active
created: 2026-08-21
---

# 01 · Evaluation Infrastructure

主题：Evaluation Harness、Sandbox、Trace、Scaling

## S 级资源（必须认真研究）

### 1. UK AISI Engineering Playbook + Inspect AI
- 仓库：https://github.com/UKGovernmentBEIS/inspect_ai
- 背景：英国人工智能安全研究所（UK AISI）官方开源
- 为什么看：国家级安全评测机构测试前沿模型时使用的完整底座
- 核心思想：把评测基础设施拆成五层
  - Evaluate
  - Isolate
  - Connect
  - Run
  - Scale
- 重点抽象（映射到自己的体系）：
  - Task → Case
  - Dataset → Dataset
  - Solver → Model / Agent Adapter
  - Tool / Sandbox → 隔离执行环境
  - Scorer → Grader
  - Log → Trace / Outcome
- 适合阶段：完成第一个小项目以后

### 2. AWS Generative AI Evaluations Workshop
- 为什么看：目前垂直场景最全、最硬核的可运行实战代码
- 覆盖场景：Multimodal RAG / Tool Calling（5 种渐进式评测方法）/ Automated Reasoning（SMT 求解器）/ Multi-Agent Shared Context / Red Teaming（完整介绍与链接见 [[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/archive/01-Curated-External-Resources|archive/01]]）
- 学习方式（重要）：
  不要只照着 Notebook 跑。每个模块都问：
  - Task 是什么？
  - Case 怎么构造？
  - Rubric 是什么？
  - Grader 是什么？
  - Failure 如何定义？
  - 如何做成 Regression？
- 适合阶段：完成第一个小项目以后（与本节开头一致）；精读顺序上建议作为四个 S 级资源中第一个上手（见 [[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/README|04-Reference 资源地图]]）

## 次级参考
- Hugging Face evaluation-guidebook（已在本目录下：[[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/evaluation-guidebook/00-Overview|evaluation-guidebook]]）
- DeepEval（应用级单元测试框架，上手快但抽象层较浅）

> 🔗 本页资源的完整链接、来源背景与上手建议见 [[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/archive/01-Curated-External-Resources|archive/01-Curated-External-Resources]]（"国家级与顶级学术机构"与"云厂商生产环境"两节）。