2026-08-21 17:12:45 +08:00
|
|
|
|
---
|
|
|
|
|
|
type: reference
|
|
|
|
|
|
tags:
|
|
|
|
|
|
- llm-evaluation
|
|
|
|
|
|
- evaluation-infrastructure
|
|
|
|
|
|
status: active
|
|
|
|
|
|
created: 2026-08-21
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
|
|
# 01 · Evaluation Infrastructure
|
|
|
|
|
|
|
|
|
|
|
|
主题：Evaluation Harness、Sandbox、Trace、Scaling
|
|
|
|
|
|
|
|
|
|
|
|
## S 级资源（必须认真研究）
|
|
|
|
|
|
|
|
|
|
|
|
### 1. UK AISI Engineering Playbook + Inspect AI
|
|
|
|
|
|
- 仓库：https://github.com/UKGovernmentBEIS/inspect_ai
|
|
|
|
|
|
- 背景：英国人工智能安全研究所（UK AISI）官方开源
|
|
|
|
|
|
- 为什么看：国家级安全评测机构测试前沿模型时使用的完整底座
|
|
|
|
|
|
- 核心思想：把评测基础设施拆成五层
|
|
|
|
|
|
- Evaluate
|
|
|
|
|
|
- Isolate
|
|
|
|
|
|
- Connect
|
|
|
|
|
|
- Run
|
|
|
|
|
|
- Scale
|
|
|
|
|
|
- 重点抽象（映射到自己的体系）：
|
|
|
|
|
|
- Task → Case
|
|
|
|
|
|
- Dataset → Dataset
|
|
|
|
|
|
- Solver → Model / Agent Adapter
|
|
|
|
|
|
- Tool / Sandbox → 隔离执行环境
|
|
|
|
|
|
- Scorer → Grader
|
|
|
|
|
|
- Log → Trace / Outcome
|
|
|
|
|
|
- 适合阶段：完成第一个小项目以后
|
|
|
|
|
|
|
|
|
|
|
|
### 2. AWS Generative AI Evaluations Workshop
|
|
|
|
|
|
- 为什么看：目前垂直场景最全、最硬核的可运行实战代码
|
|
|
|
|
|
- 覆盖场景：
|
|
|
|
|
|
- Multimodal RAG
|
|
|
|
|
|
- Tool Calling（5 种渐进式评测方法）
|
|
|
|
|
|
- Automated Reasoning（利用 SMT 求解器检查合规）
|
|
|
|
|
|
- Multi-Agent Shared Context
|
|
|
|
|
|
- Red Teaming
|
|
|
|
|
|
- 学习方式（重要）：
|
|
|
|
|
|
不要只照着 Notebook 跑。每个模块都问：
|
|
|
|
|
|
- Task 是什么？
|
|
|
|
|
|
- Case 怎么构造？
|
|
|
|
|
|
- Rubric 是什么？
|
|
|
|
|
|
- Grader 是什么？
|
|
|
|
|
|
- Failure 如何定义？
|
|
|
|
|
|
- 如何做成 Regression？
|
|
|
|
|
|
- 适合阶段：最适合作为第一个实操资源
|
|
|
|
|
|
|
|
|
|
|
|
## 次级参考
|
|
|
|
|
|
- Hugging Face evaluation-guidebook（已在本目录下：[[04-Reference/evaluation-guidebook/00-Overview|evaluation-guidebook]]）
|
|
|
|
|
|
- DeepEval（应用级单元测试框架，上手快但抽象层较浅）
|
2026-08-21 17:25:12 +08:00
|
|
|
|
|
|
|
|
|
|
> 🔗 本页资源的完整链接、来源背景与上手建议见 [[04-Reference/archive/01-Curated-External-Resources|archive/01-Curated-External-Resources]]（"国家级与顶级学术机构"与"云厂商生产环境"两节）。
|
