基本定义
AI运行时安全是在AI应用实际运行、与用户或其他系统进行实时交互的过程中，检测并干预其中风险的控制层——检查用户传给AI的提示内容、AI生成的输出、以及Agent调用工具时传递的参数和返回结果，在风险发生的当下进行拦截，而不是事后才发现问题。
关注的具体风险
- 提示注入：用户或外部内容中隐藏的、试图操纵AI偏离预期行为的指令。
- 数据泄露：AI输出中意外包含了不应该透露的敏感信息。
- 异常工具调用：Agent的行为偏离了用户原本的任务意图。
- 越权访问：AI尝试访问超出其被授权范围的系统或数据。
是当前发展较快的安全类别
企业内AI应用和Agent的部署规模扩大以后，AI运行时安全成为近期安全行业发展较快的方向之一，多家厂商推出了面向这一场景的专门产品。需要说明的是，这类产品和传统防火墙工作在不同层级，通常需要配合使用，而不是二选一，详见AI Runtime Firewall和普通防火墙到底差在哪？。