restructure 04-Reference: resource map for evaluation engineering (archive old drafts)

2026-08-21 17:12:45 +08:00
parent 0f25594088
commit 4523ce67b3
20 changed files with 277 additions and 3 deletions
@@ -0,0 +1,31 @@
+---
+type: reference
+tags:
+  - llm-evaluation
+  - agent-evaluation
+  - safety
+status: active
+created: 2026-08-21
+---
+
+# 04 · Agent Safety and Environments
+
+主题：Tool Use、Authorization、Sandbox、Trajectory、Interactive Environment
+
+## 核心资源
+
+### 1. Inspect AI Sandbox + AISI
+- 重点看如何安全运行不可信 Agent / 代码
+- 如何把 sandbox 当成评测基础设施的一部分
+- Trace 的完整记录方式
+
+### 2. BenchFlow
+- 代表重要趋势：Static Dataset → Interactive Environment
+- 对 Agent 来说，Prompt + Response 已经不够
+- 真正要测：State → Action → Tool → Trajectory → Outcome
+- "Environment is data" 的思路值得长期关注
+- 但这是后期内容，必须先掌握 Task / Trial / Trace / Outcome / Harness
+
+### 3. AWS Workshop 中的相关模块
+- Tool Calling 的 5 种渐进式评测
+- Red Teaming 示例