32 lines
873 B
Markdown
32 lines
873 B
Markdown
---
|
|
type: reference
|
|
tags:
|
|
- llm-evaluation
|
|
- agent-evaluation
|
|
- safety
|
|
status: active
|
|
created: 2026-08-21
|
|
---
|
|
|
|
# 04 · Agent Safety and Environments
|
|
|
|
主题：Tool Use、Authorization、Sandbox、Trajectory、Interactive Environment
|
|
|
|
## 核心资源
|
|
|
|
### 1. Inspect AI Sandbox + AISI
|
|
- 重点看如何安全运行不可信 Agent / 代码
|
|
- 如何把 sandbox 当成评测基础设施的一部分
|
|
- Trace 的完整记录方式
|
|
|
|
### 2. BenchFlow
|
|
- 代表重要趋势：Static Dataset → Interactive Environment
|
|
- 对 Agent 来说，Prompt + Response 已经不够
|
|
- 真正要测：State → Action → Tool → Trajectory → Outcome
|
|
- "Environment is data" 的思路值得长期关注
|
|
- 但这是后期内容，必须先掌握 Task / Trial / Trace / Outcome / Harness
|
|
|
|
### 3. AWS Workshop 中的相关模块
|
|
- Tool Calling 的 5 种渐进式评测
|
|
- Red Teaming 示例
|