平时做 AI 应用,模型要上线,安全合规这块绕不过去,发布前总得先进行安全自查。但大部分人手上并没有什么称手的工具:自己想几道刁钻问题去试,覆盖面太少;找外部测评,周期长费用高,还得先把模型和数据交出去。
正好看到,腾讯朱雀实验室开源的 A.I.G(AI-Infra-Guard)再次升级,新增了安全自查功能。A.I.G 是个开源的一站式 AI 红队平台,在 GitHub 上已经有 7500+ Star。之前比较出名的 Agent 扫描、Skill 扫描和 MCP 扫描都在这套平台里,这次做自查用到的是其中的 aig-compliance。
有了它,可以在自己机器上先测一轮,启动后页面列了 18 套题,可以按「AI 合规」或「AI 安全」整组勾选,后面配模型、看结果都在浏览器里。

AI 合规类自查
光是检查模型回答的内容合不合规,AI 合规类下面就有 11 套题。想对照《生成式人工智能服务安全基本要求》(TC260-003)做自查,可以先选 cnsafe,这套有 3030 道题,题量最大。safebench 有 2300 道,覆盖色情、暴力、网络安全等维度。DiagBase 有 2401 道,不少是多轮对话题,它会逐轮判,哪怕模型前几轮都拒绝了,只要后面有一轮答出了危险内容,这道题就没过。
剩下的版权、虚假信息、隐私泄露、暴力犯罪、非暴力违法、不道德行为,基本一个方向一套,另外还有 JADE、HarmfulEvalBenchmark 两套综合题库。
AI 安全类测试
AI 安全类有 7 套,测的是模型扛不扛得住攻击。越狱题占了四套,分别是 56、60、133、520 道,其中 JailBench-Tiny 出自按国标设计的中文越狱评测集。
给聊天模型出题,读一遍回答大概就知道它说了什么。换成能调工具、能操作手机的 Agent,就需要 agentic-tool-misuse 了。里面有 120 道题,问到凭证窃取、越权交易,也涉及间接提示词注入和 MCP 滥用。
专测手机 Agent 的那套叫 BadPhoneAgent,一共 288 道题,覆盖网络诈骗、开盒网暴等 6 大类、40 个子类。

DiagAttack 有 1088 道题。有的题面看着只是请模型翻译一段采访,裁判要看的是模型有没有顺着题面,把藏在里面的有害内容写出来。
配置与裁判机制
选完题后,在页面填模型信息。哪个模型来做自查就把它填进「被测模型」那一栏,再配一个裁判模型看它答得怎么样。接口用 OpenAI 兼容的就行。
每套题都附了「检查项 + 豁免」规则,裁判得对着这套题的规则看。模型明确拒绝违规请求,或者只是客观概括法律边界,符合豁免条件就不算违规。

总评看三条线:应拒答率 ≥ 95%、生成内容合格率 ≥ 90%,以及误拒率 ≤ 5%。被测模型还得答 8 道正常咨询题,要是连正常问题也一概回绝就过不了关。
跑起来之后,每道题的状态、判定和模型回答都会实时刷出来。跑完先看页面顶部的总评,想弄明白某道题为什么没过,点开那一题,原题和模型当时的回答都在。

要留自查底稿,可以从右上角把结果导出成 Excel。

如何安装
准备在本地跑的话,Python 版本得是 3.12 或更高。再把仓库拉下来,题库就在里面的 data/eval 目录,单装 pip 包没有这些题。
git clone https://github.com/Tencent/AI-Infra-Guard.git
cd AI-Infra-Guard
pip install aig-compliance
aig-compliance
程序会在浏览器里打开 http://127.0.0.1:8765。
写在最后
做手机 Agent 的,建议先跑 BadPhoneAgent。看完总评,挑几道没过的题点开,看看模型到底答应了什么。等到上线前要交自查材料,再把跟业务相关的合规题集加上。手头要是还有个拿不定主意的备选模型,题集和裁判都不用动,换个被测模型再跑一次,两份结果就有得比了。