10+年产品经理专注分享AI 工具、AI 资讯、AI Coding、Vibe Coding与下一代产品创新,按 Ctrl+D 收藏我们
关于我 留言板 标签云 排行榜

苏米客

  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
  • 登录
  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
当前位置: 首页 » AI开源项目

腾讯朱雀 A.I.G:开源 AI 红队平台,一站式安全自查与合规评测

11分钟前 AI开源项目 0 0

平时做 AI 应用,模型要上线,安全合规这块绕不过去,发布前总得先进行安全自查。但大部分人手上并没有什么称手的工具:自己想几道刁钻问题去试,覆盖面太少;找外部测评,周期长费用高,还得先把模型和数据交出去。

正好看到,腾讯朱雀实验室开源的 A.I.G(AI-Infra-Guard)再次升级,新增了安全自查功能。A.I.G 是个开源的一站式 AI 红队平台,在 GitHub 上已经有 7500+ Star。之前比较出名的 Agent 扫描、Skill 扫描和 MCP 扫描都在这套平台里,这次做自查用到的是其中的 aig-compliance。

有了它,可以在自己机器上先测一轮,启动后页面列了 18 套题,可以按「AI 合规」或「AI 安全」整组勾选,后面配模型、看结果都在浏览器里。

图片 1

AI 合规类自查

光是检查模型回答的内容合不合规,AI 合规类下面就有 11 套题。想对照《生成式人工智能服务安全基本要求》(TC260-003)做自查,可以先选 cnsafe,这套有 3030 道题,题量最大。safebench 有 2300 道,覆盖色情、暴力、网络安全等维度。DiagBase 有 2401 道,不少是多轮对话题,它会逐轮判,哪怕模型前几轮都拒绝了,只要后面有一轮答出了危险内容,这道题就没过。

剩下的版权、虚假信息、隐私泄露、暴力犯罪、非暴力违法、不道德行为,基本一个方向一套,另外还有 JADE、HarmfulEvalBenchmark 两套综合题库。

AI 安全类测试

AI 安全类有 7 套,测的是模型扛不扛得住攻击。越狱题占了四套,分别是 56、60、133、520 道,其中 JailBench-Tiny 出自按国标设计的中文越狱评测集。

给聊天模型出题,读一遍回答大概就知道它说了什么。换成能调工具、能操作手机的 Agent,就需要 agentic-tool-misuse 了。里面有 120 道题,问到凭证窃取、越权交易,也涉及间接提示词注入和 MCP 滥用。

专测手机 Agent 的那套叫 BadPhoneAgent,一共 288 道题,覆盖网络诈骗、开盒网暴等 6 大类、40 个子类。

图片 2

DiagAttack 有 1088 道题。有的题面看着只是请模型翻译一段采访,裁判要看的是模型有没有顺着题面,把藏在里面的有害内容写出来。

配置与裁判机制

选完题后,在页面填模型信息。哪个模型来做自查就把它填进「被测模型」那一栏,再配一个裁判模型看它答得怎么样。接口用 OpenAI 兼容的就行。

每套题都附了「检查项 + 豁免」规则,裁判得对着这套题的规则看。模型明确拒绝违规请求,或者只是客观概括法律边界,符合豁免条件就不算违规。

图片 3

总评看三条线:应拒答率 ≥ 95%、生成内容合格率 ≥ 90%,以及误拒率 ≤ 5%。被测模型还得答 8 道正常咨询题,要是连正常问题也一概回绝就过不了关。

跑起来之后,每道题的状态、判定和模型回答都会实时刷出来。跑完先看页面顶部的总评,想弄明白某道题为什么没过,点开那一题,原题和模型当时的回答都在。

图片 4

要留自查底稿,可以从右上角把结果导出成 Excel。

图片 5

如何安装

准备在本地跑的话,Python 版本得是 3.12 或更高。再把仓库拉下来,题库就在里面的 data/eval 目录,单装 pip 包没有这些题。

git clone https://github.com/Tencent/AI-Infra-Guard.git
cd AI-Infra-Guard
pip install aig-compliance
aig-compliance

程序会在浏览器里打开 http://127.0.0.1:8765。

写在最后

做手机 Agent 的,建议先跑 BadPhoneAgent。看完总评,挑几道没过的题点开,看看模型到底答应了什么。等到上线前要交自查材料,再把跟业务相关的合规题集加上。手头要是还有个拿不定主意的备选模型,题集和裁判都不用动,换个被测模型再跑一次,两份结果就有得比了。

Github:https://github.com/Tencent/AI-Infra-Guard

声明:本站原创文章文字版权归本站所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表本站立场,图文版权归原作者所有。如有侵权,请联系我们删除。
未经允许不得转载:腾讯朱雀 A.I.G:开源 AI 红队平台,一站式安全自查与合规评测
#腾讯朱雀 #AI红队 #AIG #安全合规 #开源项目 #AI安全 
收藏 1
Chrome 团队开源 Modern Web Guidance:给 AI Agent 装上现代 Web 开发大脑
yichen-skills:16 个开源 Skill + 1 个插件,打通 AI 编程全工作流
推荐阅读
  • Athas:用Tauri重新定义轻量级代码编辑器
  • 闲鱼超级管家开源:自动回复+自动发货,多账号店铺后台管理工具
  • Droidline 开源工具:不用 ADB 扫码即可遥控安卓手机,支持 Python/HTTP/AI Agent
  • Omnigent:用 meta-harness 统一 Codex、Claude Code 等 AI 编程 Agent
  • hlwy-ai-checker:用统计指纹检测第三方 AI API 是否掺水
评论 (0)
请登录后发表评论
分类精选
WeKnora:终于等到了腾讯ima的开源知识库框架,用 API 轻松打造本地智能文档检索
13504 1年前
CapCut API:一个剪映API开源项目,让AI自动剪辑视频
11367 11月前
OpenSpec:比 Cursor Plan 更聪明?试试这款让 AI 编码更靠谱的规范驱动工具
11324 1年前
AIRI:你的开源AI女友,让你随时拥有属于自己的 AI VTuber
10311 1年前
Antigravity-Manager:这个开源神器让你白嫖ClaudeOpus 4.5,Gemini 3!还能接Claude Code等任意平台
9967 10月前
就要创作:从提示词到创作团队,开源 AI 网文写作平台
9552 1年前
CompressO:开源免费的视频压缩神器,让你的硬盘瞬间轻松 10 倍
9403 1年前
AiNiee:开源AI翻译工具,完美解决游戏、小说、字幕、文档的批量翻译
8879 1年前
Claude Code 生成专业图表的 15 个 Skills:覆盖 7 种渲染引擎的完整指南
8800 7月前
awesome-openclaw-skills:700+ Skills 一条命令装配完成,如何让本地 AI Agent 真正落地可用
8796 9月前

文章目录

关于苏米客
分类排行
1 OlliteRT:把 Android 手机变成 OpenAI 兼容的本地大模型服务器
2 yichen-skills:16 个开源 Skill + 1 个插件,打通 AI 编程全工作流
3 腾讯朱雀 A.I.G:开源 AI 红队平台,一站式安全自查与合规评测
4 Chrome 团队开源 Modern Web Guidance:给 AI Agent 装上现代 Web 开发大脑
5 DramaClaw开源发布:企业级AI漫剧工业化生产线,无限画布+自动化流水线
6 OpenMotion开源发布:用HTML代码写视频,OpenDesign团队开源版Claude Motion
7 Coolify:自托管 360+ 服务,如何用 20 美元 VPS 替代 Vercel 账单
8 GIF 工厂开源项目:Codex 技能让表情包、签名、海报全动起来
9 GitHub 开源车机项目:DiPlay、xcertplay、LIVI 让你轻松接入 CarPlay
10 Orca 开源工具:统一管理 40+ AI 编程 Agent,支持手机和桌面端
苏米客
登录 注册
显示
没有账号? · 立即注册
显示
已有账号? · 直接登录
登录代表你已同意 用户协议 和 隐私政策
©2015-2024 苏米客XMSUMI 版权所有 · WWW.XMSUMI.COM 闽ICP备14005900号-6 网站地图 百度地图
拉美跨境导航 微信文章助手 程序库 免费影视APP 免费字体下载 产品经理导航 爱克硕儿 产品经理AI资讯 Axure元件库下载 申请友联