10+年产品经理专注分享AI 工具、AI 资讯、AI Coding、Vibe Coding与下一代产品创新,按 Ctrl+D 收藏我们
关于我 留言板 标签云 排行榜

苏米客

  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
  • 登录
  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
当前位置: 首页 » AI开源项目

腾讯 WorkBuddy Bench 开源:260 道 Agent 评测任务 + 2 个自动化 Skill

3月前 AI开源项目 889 0

腾讯 WorkBuddy 团队最新开源了 2 个 Agent Skill:wbbench-report-skills 和 wbbench-run-setup。

WorkBuddy Bench 是 WorkBuddy 产品工程实践的副产品——腾讯将内部用于模型选型、Harness 回归测试和任务分布分析的体系整体打包成了开源基准测试。

多模型 Agent 工作台的选型结果显示:GLM-5.2 在安全场景下表现突出,GPT-5.5 的 Token 消耗最低,Claude Opus 综合能力最强。这也解释了 WorkBuddy 为何选择多模型动态切换策略,而非单一依赖自家模型。

图片 1

重点不是榜单数字,而是为了让别人复现这套选型,团队在仓库的 .agents/skills/ 下放置了两个 Agent Skill:一个负责把评测跑起来,一个负责把报告写对。在 Claude Code 或 CodeBuddy Code 等 Skill 感知的客户端中一句话唤起,就能一阶段一确认地跑完整轮评测。

图片 2

真正值钱的不是基准本身那 260 道任务(Code 80、Web 70、Office 50、Security 60),而是这两个 Skill 把跑评测和写报告里最容易踩的坑,直接固化成了 Agent 可执行的 Playbook。

图片 3

两个 Skill 的分工很明确:wbbench-run-setup 负责把评测跑起来,wbbench-report-skills 负责把报告写对。一个管跑,一个管分析。

Skill 1:7 阶段评测流程

wbbench-run-setup 是一个 7 阶段(0 到 6)的交互式 Playbook,从零配置的 checkout 一路带到跑完分析:

  • 阶段 0:拉取数据集
  • 阶段 1:配置环境
  • 阶段 2:写模型配置
  • 阶段 3:填写 .env 凭据
  • 阶段 4:编写 job 文件
  • 阶段 5:dry-run 确认后执行
  • 阶段 6:交给 report skill 出报告

图片 4

设计特点:

  • 读实时模板,不靠记忆:不会因模板演进还拿旧字段处理
  • 运行时发现选项,不硬编码:避免使用可能过时的列表
  • 一阶段一确认:全程用用户语言回复

图片 5

Skill 2:报告生成

wbbench-report-skills 路由 Office、Web、Code 三个 Benchmark 的报告生成。第一步不是分析,而是先甄别 RUN_DIR 到底是哪一层。

图片 6

Harbor 的结果目录有三层嵌套:

  • JOB 层:只有时间戳子目录,没有 job.log
  • RUN 层:单次评测运行,有 job.log 加若干子目录(这才是正确层)
  • TRIAL 层:有 trial.log 加 verifier/,对应单道题

选错了层,整份报告就错了。Skill 的策略是:选不出唯一候选就回头问用户,绝不猜默认路径。

图片 7

甄别完后,三步生成报告:校验 RUN_DIR、运行 workbuddy_bench.scorer.metrics 生成 metrics.json、再写 report.md。输入产物全程只读,只往 REPORT_DIR 写东西,不修改 Harbor 原件,也不重跑评测。

图片 8

报告卫生的关键规则:

  • reward ≠ pass_rate:reward 是主分,取每任务 reward 均值,build_error 记 0 进分母;pass_rate 是 verifier 得分 ≥ 1.0 的 trial 占比,即整题全通过比例
  • Rule-only 和 Rule+Judge 评分契约不同,不能直接比较
  • 每个判断必须绑定 task id 加证据,不能只甩个均分
  • 只改测试、不动产品代码的改动不算有效修复,除非任务本身就是 Test Generation

图片 9

相关链接

  • 论文标题:Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction
  • arXiv:2607.20911
  • GitHub:https://github.com/Tencent/workbuddy-bench
声明:本站原创文章文字版权归本站所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表本站立场,图文版权归原作者所有。如有侵权,请联系我们删除。
未经允许不得转载:腾讯 WorkBuddy Bench 开源:260 道 Agent 评测任务 + 2 个自动化 Skill
#WorkBuddy #Agent评测 #开源基准 #Tencent #AIBenchmark 
收藏 1
MonkeyCode + MonkeyWork 实测:GitHub 4K Star 的 AI 开发平台,每天 3000 万免费 Token
SkillsGate 开源项目:AI Agent 技能的统一管理器,91000+ 技能一键安装到 18+ 款工具
推荐阅读
  • jit-motion 开源 Skill:一份 PRD 生成产品宣传动画,单文件 HTML 支持四画幅自适应
  • Ponytail:让 AI 代码减少 80% 的开源插件,2 天斩获 18000+ Star
  • oss-skill 开源项目:蒸馏开源软件作者或项目的工程直觉,打造有判断力的 AI Agent
  • Evolver:为OpenClaw智能体赋予自我进化能力的开源引擎
  • KrillinAI:开源AI视频翻译配音工具,100种语言双向翻译,一键部署全流程
评论 (0)
请登录后发表评论
分类精选
WeKnora:终于等到了腾讯ima的开源知识库框架,用 API 轻松打造本地智能文档检索
13276 1年前
OpenSpec:比 Cursor Plan 更聪明?试试这款让 AI 编码更靠谱的规范驱动工具
11192 1年前
CapCut API:一个剪映API开源项目,让AI自动剪辑视频
11133 10月前
AIRI:你的开源AI女友,让你随时拥有属于自己的 AI VTuber
10080 1年前
Antigravity-Manager:这个开源神器让你白嫖ClaudeOpus 4.5,Gemini 3!还能接Claude Code等任意平台
9778 10月前
就要创作:从提示词到创作团队,开源 AI 网文写作平台
9407 1年前
CompressO:开源免费的视频压缩神器,让你的硬盘瞬间轻松 10 倍
9284 1年前
AiNiee:开源AI翻译工具,完美解决游戏、小说、字幕、文档的批量翻译
8672 1年前
awesome-openclaw-skills:700+ Skills 一条命令装配完成,如何让本地 AI Agent 真正落地可用
8667 9月前
Claude Code 生成专业图表的 15 个 Skills:覆盖 7 种渲染引擎的完整指南
8646 6月前

文章目录

关于苏米客
分类排行
1 agent-desktop 开源:Vercel Labs 打造桌面端 AI Agent,后台运行不抢鼠标
2 global-law:用 Git 版本管理全球法律,精确到字的变更追溯
3 Claude Code + 6 个开源 Skill:用代码生成视频,告别 AI 视频抽卡时代
4 9 个开源视频动画项目:Agent 驱动的代码绘图、手绘视频与卡通短片制作
5 Codex 用量条:让侧边栏直观显示剩余额度的开源插件
6 android-ad-cleaner:AI 整顿完电视后,现在轮到手机了,ADB 自动关广告
7 Vercel Labs 开源 agent-desktop:基于无障碍访问树的桌面 AI Agent 操作工具
8 DeepSeek 开源 Super-agent 系统:AI 自主管理多任务,跨平台持续在线工作
9 Looseleaf 手绘风格 UI 库开源:123 个组件、61 个 Blocks,兼容 shadcn/ui,MIT 协议免费用
10 OXR 1.3B 开源文档解析模型:三榜第一、可插拔布局分析、RSI 自改进,自带免费 API
苏米客
登录 注册
显示
没有账号? · 立即注册
显示
已有账号? · 直接登录
登录代表你已同意 用户协议 和 隐私政策
©2015-2024 苏米客XMSUMI 版权所有 · WWW.XMSUMI.COM 闽ICP备14005900号-6 网站地图 百度地图
拉美跨境导航 微信文章助手 程序库 免费影视APP 免费字体下载 产品经理导航 爱克硕儿 产品经理AI资讯 Axure元件库下载 申请友联