10+年产品经理专注分享AI 工具、AI 资讯、AI Coding、Vibe Coding与下一代产品创新,按 Ctrl+D 收藏我们
关于我 留言板 标签云 排行榜

苏米客

  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
  • 登录
  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
当前位置: 首页 » AI开源项目

微软开源 skill-recorder:录屏生成 Agent Skill,告别手写 SKILL.md

8小时前 AI开源项目 0 0

手写 SKILL.md 是件折磨人的事——要把操作流程从头到尾描述清楚,记住每个步骤、工具、边界条件,写完发现还漏了两步。微软开源了一个桌面工具 skill-recorder:录一遍屏幕操作,交给 Copilot 拆成「意图 + 有序步骤」,再生成 Agent 能重复执行的 Skill。

四步流程

  1. 录:按录制键或 ⌘⇧R / Ctrl+Shift+R,正常操作,后台静默记录。
  2. 控:始终置顶的小条显示捕获状态和麦克风开关,说错话可静音、换麦,整段录废了可丢弃。
  3. 分析:点 Analyze,Copilot 把操作重构成「整体意图 + 有序步骤」。
  4. 生成:从审核通过的分析中产出 Skill 或 Automation。

skill-recorder 录制界面

录制的内容包括:窗口切换、应用切换、浏览器地址(目前仅 macOS)、屏幕画面低频快照(屏幕变化时才留帧),以及可选项的语音——通过 Whisper 本地转写 99 种语言。

不是回放,是理解意图

skill-recorder 最聪明的地方在于它不是简单回放点击操作。生成的 Skill 会优先调用 Agent 的原生工具——录的时候用了 gh 命令行,生成的 Skill 就去调 gh;用了网页抓取,生成的 Skill 就用网页抓取。回放太脆弱了,按钮挪个位置、弹窗晚出来两秒就断,而调 CLI 和 API 不会。

更进一步,它能从一次示范中学会提交所有同类表单——不是记住"你填了 2026 年 9 月的报销单",而是理解"你在提交报销单",区分哪些部分固定、哪些可变。这就是 programming by demonstration(示范式编程):你平时怎么教新同事?不会先写 SOP,而是坐他旁边演示一遍。

隐私设计

录制、存储、画面抽取、语音转写全部在本地完成,一个字节都不会离开设备。只有主动点击 Analyze 时,才会把事件时间线、屏幕截图和语音文字发到 GitHub 云端。代码里还有 common/sensitive.ts 在发送前做本地敏感信息检测。

两种产物,三个平台

生成的东西分两种:

  • SKILL:SKILL.md 过程文件,Agent 按需运行,适合"需要时才执行"的任务。
  • AUTOMATION:同一套流程挂在定时器或触发器上,比如每天检查 CI 状态。

这两种产物直接对接微软三个 Agent 平台:

  1. Microsoft Scout:放 ~/.copilot/skills/ 自动发现。
  2. Copilot Cowork:丢进 OneDrive 的 /Documents/Cowork/skills/,会话自动加载。
  3. Copilot Studio:导入工作区,走企业自动化路子。

安装与使用

分发方式偏源码发布:先下固定版本 Node.js,在本地构建,不往全局装任何东西。

macOS / Ubuntu:

commit=""
curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | \
  SKILL_RECORDER_COMMIT="$commit" bash

Windows PowerShell:

$commit=""
$env:SKILL_RECORDER_COMMIT=$commit
irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex

macOS 为主要平台,Windows 11 x64/ARM64 都支持,Ubuntu 部分支持。Analyze 需要 GitHub Copilot 权限(学生、教师、开源维护者免费)。

分析结果页,每步可点击编辑

评价

仓库有专门的 evals 目录,自带评估套件(npm run eval 测描述准确度,npm run eval:builder 测泛化能力)。提交记录也很实在,有人在修安装速度、改录制条宽度这种边角问题,正经当产品在做。

最有价值的设计是「分析之后可以人工编辑」——从一次示范里反推意图本来就容易走偏,它没把自己包装成全自动黑盒,而是把审阅环节摆在流程中间。宏记录的是动作,它想记的是意图。

最适合每周或每月重复的流程、跨多个软件的活、复杂到讲不清但演示一遍就懂的事。可以拿它当"流程考古工具":录一遍让 AI 把步骤拆出来,再看哪些该保留、哪些可以删掉。

Github:https://github.com/microsoft/skill-recorder

声明:本站原创文章文字版权归本站所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表本站立场,图文版权归原作者所有。如有侵权,请联系我们删除。
未经允许不得转载:微软开源 skill-recorder:录屏生成 Agent Skill,告别手写 SKILL.md
#微软 #开源工具 #Agent #Copilot #自动化 
收藏 1
Jev Visual:前 OpenAI 员工开源决策模型的视觉版,Mac 本地运行多模态判断
Concat 开源本地视频编辑器:21 天下载破万,AI 剪辑不依赖云端
推荐阅读
  • 开源单色海报工具 mono-color-skill:用一句话生成印刷级海报/封面/包装
  • Kimi-inspired视觉Skill开源:7种高级审美风格自动生成海报和信息图
  • Open Design:Claude Design 的真正开源替代品
  • Claude Fable 5用Three.js打造3D键盘配置器:交互式电商平台开发实战
  • Sim :零门槛 AI 工作流神器,60+ 服务随意拼装
评论 (0)
请登录后发表评论
分类精选
WeKnora:终于等到了腾讯ima的开源知识库框架,用 API 轻松打造本地智能文档检索
12386 1年前
OpenSpec:比 Cursor Plan 更聪明?试试这款让 AI 编码更靠谱的规范驱动工具
10718 11月前
CapCut API:一个剪映API开源项目,让AI自动剪辑视频
10276 9月前
AIRI:你的开源AI女友,让你随时拥有属于自己的 AI VTuber
9191 1年前
Antigravity-Manager:这个开源神器让你白嫖ClaudeOpus 4.5,Gemini 3!还能接Claude Code等任意平台
9118 8月前
CompressO:开源免费的视频压缩神器,让你的硬盘瞬间轻松 10 倍
8685 1年前
就要创作:从提示词到创作团队,开源 AI 网文写作平台
8533 11月前
awesome-openclaw-skills:700+ Skills 一条命令装配完成,如何让本地 AI Agent 真正落地可用
8068 7月前
Claude Code 生成专业图表的 15 个 Skills:覆盖 7 种渲染引擎的完整指南
7916 5月前
baoyu-skills:又一个宝藏Skill,面向内容创作者的技能集,支持图文生成、发布与处理
7873 7月前

文章目录

关于苏米客
分类排行
1 Marketing Skills 开源项目:把营销方法论转化为 AI Agent 可调用技能库
2 开源 Skill 实战:用代码渲染生成产品宣传片,零素材成本还原产品视觉风格
3 Jev Visual:前 OpenAI 员工开源决策模型的视觉版,Mac 本地运行多模态判断
4 微软开源 skill-recorder:录屏生成 Agent Skill,告别手写 SKILL.md
5 Concat 开源本地视频编辑器:21 天下载破万,AI 剪辑不依赖云端
6 VoiceStudio 开源:本地声音克隆工具,3.2 万星支持 646 种语言
7 Diagram Design:AI Agent 驱动的图表设计方案,告别模板式排版
8 page-mascot:网页吉祥物组件,实时追踪鼠标、点击眨眼,52个角色可选
9 腾讯开源BrowserSkill:让AI Agent借用已登录浏览器标签页,2天4K Star
10 1Panel AI 网关:37K Star 开源服务器管理工具开放 AI 网关能力,10 人团队免费
苏米客
登录 注册
显示
没有账号? · 立即注册
显示
已有账号? · 直接登录
登录代表你已同意 用户协议 和 隐私政策
©2015-2024 苏米客XMSUMI 版权所有 · WWW.XMSUMI.COM 闽ICP备14005900号-6 网站地图 百度地图
微信文章助手 程序库 免费影视APP 免费字体下载 产品经理导航 爱克硕儿 产品经理AI资讯 Axure元件库下载 申请友联