my-vault/01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/04-Agent-Safety-and-Environments.md

type, tags, status, created

type	tags	status	created
reference	llm-evaluation agent-evaluation safety	active	2026-08-21

04 · Agent Safety and Environments

主题：Tool Use、Authorization、Sandbox、Trajectory、Interactive Environment

核心资源

1. Inspect AI Sandbox + AISI

• 重点看如何安全运行不可信 Agent / 代码
• 如何把 sandbox 当成评测基础设施的一部分
• Trace 的完整记录方式

2. BenchFlow

• 代表重要趋势：Static Dataset → Interactive Environment
• 对 Agent 来说，Prompt + Response 已经不够
• 真正要测：State → Action → Tool → Trajectory → Outcome
• "Environment is data" 的思路值得长期关注
• 但这是后期内容，必须先掌握 Task / Trial / Trace / Outcome / Harness

3. AWS Workshop 中的相关模块

• Tool Calling 的 5 种渐进式评测
• Red Teaming 示例