基于 Inspect AI 的安全评测框架实践:从 Raw Payload 到攻击矩阵
在某垂直领域做大模型安全评测时,安全问题不只是“模型有没有拒答”。同一条请求可能涉及不同风险对象,也可能被不同攻击方式包装;模型输出还可能是自行拒答、实质性作答、平台网关拦截、超时或运行错误。 为了解决这个问题,我们基于 Inspect AI 组织了一套可复现的评测链路,核心思路是:把风险分类、攻击方法、模型调用、评分逻辑和报告统计拆成独立层,再在运行时组合成具体评测任务。 本文会按 taxono