10+年产品经理专注分享AI 工具、AI 资讯、AI Coding、Vibe Coding与下一代产品创新,按 Ctrl+D 收藏我们
关于我 留言板 小程序 标签云

苏米客

  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
  • 登录
  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
当前位置: 首页 » AI开源项目

微软开源 Skill Recorder:录制操作自动生成 AI Agent SKILL.md

51分钟前 AI开源项目 0 0

做过的Agent Skill的人应该都知道。

写一份SKILL.md,要从头到尾描述一个操作流程。

要记住每个步骤和每个工具。

还要把边界条件、输入参数等也写清楚。

真的很折磨。

最近我在 GitHub 上刷到了一个微软开源的东西。

它叫 skill-recorder,在 GitHub 上有 2072 个 Star。

Skill Recorder 截图 1

它是用来把操作录下来、自动生成 AI 能执行的 Skill 文档的桌面工具。

我给你演示一下,你就知道它有多方便了

我要在OA系统中填写一张报销单。

装完 skill-recorder 。

然后按住 Ctrl+Shift+R 来开始录制屏幕。

Skill Recorder 截图 2

然后按照正常的程序来操作。打开OA页面,填写金额、上传发票、点击提交。

Skill Recorder 截图 3

它会悄悄记录下你完成任务的全过程。

录制结束之后,点击 Analyze,GitHub Copilot 就开始工作了。

它不会对点击了哪个像素点进行分析。

它所关心的是你做了哪些事情——打开报销页面、填入金额、上传发票、最后点击提交。

Skill Recorder 截图 4

然后自动生成一个SKILL.md。

Skill Recorder 截图 5

这份文档既能让人看懂,也能让 AI 直接执行。

下次处理报销流程的时候,只要把SKILL.md交给Agent,它就可以按照步骤自动完成整个过程。

不需要写复杂的提示词,也不需要学习RPA脚本,剩下的整理、描述和转换都由Copilot来完成。

而且这个技能不是只对自己有用。放入团队仓库之后,其他同事也可以直接调用。

有人可能会好奇,它是怎么做到的

01 后台录制,但是记录的不是视频。

Skill Recorder 捕获的是操作信号,并不是屏幕上显示的像素。

窗口切换、浏览器URL、剪贴板内容、可选的语音旁白等都保存在本地。

Skill Recorder 截图 6

屏幕视频只起辅助定位的作用,并不占据主要信号。录制一小时的视频,硬盘也不会被填满。

旁白不是必须的。开启麦克风之后,Whisper 会把声音转换成文字,并且可以支持 99 种语言。

Skill Recorder 截图 7

并且在录制的时候有一个浮动的小窗口,一直置顶显示状态。静音、切麦克风、结束录制,随便就可以做。

02 Copilot 分析,帮你重建操作流程。

录制过程中所有的数据都保存在本地,不会上传任何数据。

只有你在点击 Analyze 的时候,才会把事件时间线、抽帧截图以及旁白文字上传到 GitHub 云上。

Copilot 把这些信号串联起来,重构出一个“总的意图+有条理的步骤”。

Skill Recorder 截图 8

它知道你正在“填制销单”,并不是你“点击了第三个按钮”。

这是根据语义来执行的方式,并不是简单的坐标回放。

并且录制一次就可以复用到N个相同结构的任务中去。遇到类似报销流程的时候,Agent 不需要重新学习,直接使用这个Skill就可以了。

这也是它与传统的RPA最大的区别。

RPA录制的是固定路径,一个流程只能跑一个页面,如果页面稍微改动按钮位置就会失效。

03 输出 SKILL.md,人可以看,AI也可以跑。

生成的SKILL.md本质上就是Markdown+YAML frontmatter。

它不是伪代码,也不是某种特定的 DSL。

执行的时候,它会先调用原生工具,比如 gh CLI、web_fetch、git 等等,不会死记硬背某个页面上按钮的位置。

界面改版了也无妨,流程逻辑没有变化,SKILL.md 依然可以使用。

官方原话很直白:prefer the agent's native tools over replaying UI clicks。

04 一次录制之后,所有的Agent都可以被重复使用。

生成的SKILL.md并不仅限于给Copilot使用。

Microsoft Scout、Copilot Cowork、Copilot Studio 都可以被直接调用。

甚至于Claude Code、Codex、Cursor等第三方Agent,只要支持SKILL.md格式,也可以运行。

还加入了敏感信息检测。在发送之前用本地运行的OCR进行扫描,并且自动屏蔽掉密码和Token。

录制屏幕时不小心露出了什么,它会帮助你在发送之前把它们遮住。

效果这么好,估计大家已经迫不及待想试试了

Skill Recorder 是 source-only 发布,一行命令就能装好。

Windows PowerShell:

$commit="7b0efa9534d59efb4e488a9fe855862ecba45844"; $env:SKILL_RECORDER_COMMIT=$commit; irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex macOS、Ubuntu:

commit="7b0efa9534d59efb4e488a9fe855862ecba45844"; curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" bash 不需要管理员权限,也不需要全局安装 Node.js。不过要订阅 Copilot。

安装好之后,按下 Ctrl+Shift+R 开始录制,录完之后分析一下,就会有一份 SKILL.md 文件。

到这里边界也给大家提提

Analyze 阶段必须走云端,离线分析还不支持。所以官方反复提醒:别录密码、Token、API Key。

终端命令录制还没有做,不过已经在计划中了。

另外它只支持macOS、Windows 11和Ubuntu,其他的Linux发行版目前没有覆盖到。

写在最后

我也会写SKILL.md。

但是每次都要重新梳理流程、定义工具、补充边界条件,并且还要反复调整,让 AI 能够准确地执行。

Skill Recorder 解决的就是这个过程。你只需要像平时一样操作一次,它就会自动整理出步骤,并生成可以直接使用的SKILL.md。

不需要编写代码,也不需要手动整理流程,录一次,直接得到一个可用的 Skill。

有需要的朋友可以试试。

项目基于 MIT 协议开放,感兴趣的同学可以去 GitHub 仓库看看源码和文档。

开源地址:https://github.com/microsoft/skill-recorder

声明:本站原创文章文字版权归本站所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表本站立场,图文版权归原作者所有。如有侵权,请联系我们删除。
未经允许不得转载:微软开源 Skill Recorder:录制操作自动生成 AI Agent SKILL.md
#Skill Recorder #微软 #开源 #Agent Skill #SKILL.md #AI工具 
收藏 1
MiniMax H3 本地部署教程:RTX 3060 即可运行,0 成本制作 AI 漫剧
这是最后一篇
推荐阅读
  • VoxClaw:小龙虾能说话的开源,在 OpenClaw 上集成语音输出能力
  • Agentic:首个开源MCP商业化平台,让AI工具实现按量计费
  • 开源FigEdit:AI图片一键转可编辑PPTX/SVG,17个案例实测还原度90%+
  • NoizAI Skills:给 OpenClaw 小龙虾装上声音Skills,让 AI Agent 开口说话
  • Page Agent:阿里开源,一行代码注入,用自然语言操控Web应用的纯前端GUI Agent
评论 (0)
请登录后发表评论
分类精选
WeKnora:终于等到了腾讯ima的开源知识库框架,用 API 轻松打造本地智能文档检索
11428 11月前
OpenSpec:比 Cursor Plan 更聪明?试试这款让 AI 编码更靠谱的规范驱动工具
10336 9月前
CapCut API:一个剪映API开源项目,让AI自动剪辑视频
8924 7月前
Antigravity-Manager:这个开源神器让你白嫖ClaudeOpus 4.5,Gemini 3!还能接Claude Code等任意平台
8479 7月前
AIRI:你的开源AI女友,让你随时拥有属于自己的 AI VTuber
7933 11月前
就要创作:从提示词到创作团队,开源 AI 网文写作平台
7667 10月前
CompressO:开源免费的视频压缩神器,让你的硬盘瞬间轻松 10 倍
7640 10月前
awesome-openclaw-skills:700+ Skills 一条命令装配完成,如何让本地 AI Agent 真正落地可用
7598 6月前
baoyu-skills:又一个宝藏Skill,面向内容创作者的技能集,支持图文生成、发布与处理
7061 6月前
Claude Code 生成专业图表的 15 个 Skills:覆盖 7 种渲染引擎的完整指南
6895 3月前

文章目录

关注「苏米客」公众号

订阅推送更及时,手机查看更方便
分类排行
1 微软开源 Skill Recorder:录制操作自动生成 AI Agent SKILL.md
2 AnyDoc:Rust 文档转 Markdown 引擎,性能碾压 MarkItDown
3 scroll-world 与 img2threejs:两个炫酷的 GitHub 开源项目,让 AI 帮你做网页和 3D 模型
4 Humanizer-zh:专治中文写作 AI 味的开源 Skill,14.6k Star
5 SenseNova U1.5-Lite-Preview 开源:8B 轻量级统一多模态模型,支持 4K 图像生成与编辑
6 Cloudflare 开源企业级 Agent 工作平台 Cloudflare OS
7 human-writing:卡兹克开源活人感写作 Skill,从材料到推进消除 AI 味
8 AI复刻王虹手写PPT:从GPT Image到HTML完整方案,附开源Skill
9 wigolo:开源免费的 Agent 联网搜索工具,零成本替代 Tavily/Exa
10 GitHub 7月热门开源项目盘点:Hallmark、Orca、Strix 等 17 个值得关注的项目
©2015-2024 苏米客XMSUMI 版权所有 · WWW.XMSUMI.COM 闽ICP备14005900号-6
微信文章助手 程序库 免费影视APP 免费字体下载 产品经理导航 爱克硕儿 产品经理AI资讯 Axure元件库下载 申请友联