10+年产品经理专注分享AI 工具、AI 资讯、AI Coding、Vibe Coding与下一代产品创新,按 Ctrl+D 收藏我们
关于我 留言板 标签云 排行榜

苏米客

  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
  • 登录
  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
当前位置: 首页 » AI开源项目

微软开源 skill-recorder:录屏生成 Agent Skill,告别手写 SKILL.md

1月前 AI开源项目 425 0

手写 SKILL.md 是件折磨人的事——要把操作流程从头到尾描述清楚,记住每个步骤、工具、边界条件,写完发现还漏了两步。微软开源了一个桌面工具 skill-recorder:录一遍屏幕操作,交给 Copilot 拆成「意图 + 有序步骤」,再生成 Agent 能重复执行的 Skill。

四步流程

  1. 录:按录制键或 ⌘⇧R / Ctrl+Shift+R,正常操作,后台静默记录。
  2. 控:始终置顶的小条显示捕获状态和麦克风开关,说错话可静音、换麦,整段录废了可丢弃。
  3. 分析:点 Analyze,Copilot 把操作重构成「整体意图 + 有序步骤」。
  4. 生成:从审核通过的分析中产出 Skill 或 Automation。

skill-recorder 录制界面

录制的内容包括:窗口切换、应用切换、浏览器地址(目前仅 macOS)、屏幕画面低频快照(屏幕变化时才留帧),以及可选项的语音——通过 Whisper 本地转写 99 种语言。

不是回放,是理解意图

skill-recorder 最聪明的地方在于它不是简单回放点击操作。生成的 Skill 会优先调用 Agent 的原生工具——录的时候用了 gh 命令行,生成的 Skill 就去调 gh;用了网页抓取,生成的 Skill 就用网页抓取。回放太脆弱了,按钮挪个位置、弹窗晚出来两秒就断,而调 CLI 和 API 不会。

更进一步,它能从一次示范中学会提交所有同类表单——不是记住"你填了 2026 年 9 月的报销单",而是理解"你在提交报销单",区分哪些部分固定、哪些可变。这就是 programming by demonstration(示范式编程):你平时怎么教新同事?不会先写 SOP,而是坐他旁边演示一遍。

隐私设计

录制、存储、画面抽取、语音转写全部在本地完成,一个字节都不会离开设备。只有主动点击 Analyze 时,才会把事件时间线、屏幕截图和语音文字发到 GitHub 云端。代码里还有 common/sensitive.ts 在发送前做本地敏感信息检测。

两种产物,三个平台

生成的东西分两种:

  • SKILL:SKILL.md 过程文件,Agent 按需运行,适合"需要时才执行"的任务。
  • AUTOMATION:同一套流程挂在定时器或触发器上,比如每天检查 CI 状态。

这两种产物直接对接微软三个 Agent 平台:

  1. Microsoft Scout:放 ~/.copilot/skills/ 自动发现。
  2. Copilot Cowork:丢进 OneDrive 的 /Documents/Cowork/skills/,会话自动加载。
  3. Copilot Studio:导入工作区,走企业自动化路子。

安装与使用

分发方式偏源码发布:先下固定版本 Node.js,在本地构建,不往全局装任何东西。

macOS / Ubuntu:

commit=""
curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | \
  SKILL_RECORDER_COMMIT="$commit" bash

Windows PowerShell:

$commit=""
$env:SKILL_RECORDER_COMMIT=$commit
irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex

macOS 为主要平台,Windows 11 x64/ARM64 都支持,Ubuntu 部分支持。Analyze 需要 GitHub Copilot 权限(学生、教师、开源维护者免费)。

分析结果页,每步可点击编辑

评价

仓库有专门的 evals 目录,自带评估套件(npm run eval 测描述准确度,npm run eval:builder 测泛化能力)。提交记录也很实在,有人在修安装速度、改录制条宽度这种边角问题,正经当产品在做。

最有价值的设计是「分析之后可以人工编辑」——从一次示范里反推意图本来就容易走偏,它没把自己包装成全自动黑盒,而是把审阅环节摆在流程中间。宏记录的是动作,它想记的是意图。

最适合每周或每月重复的流程、跨多个软件的活、复杂到讲不清但演示一遍就懂的事。可以拿它当"流程考古工具":录一遍让 AI 把步骤拆出来,再看哪些该保留、哪些可以删掉。

Github:https://github.com/microsoft/skill-recorder

声明:本站原创文章文字版权归本站所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表本站立场,图文版权归原作者所有。如有侵权,请联系我们删除。
未经允许不得转载:微软开源 skill-recorder:录屏生成 Agent Skill,告别手写 SKILL.md
#微软 #开源工具 #Agent #Copilot #自动化 
收藏 1
Jev Visual:前 OpenAI 员工开源决策模型的视觉版,Mac 本地运行多模态判断
Concat 开源本地视频编辑器:21 天下载破万,AI 剪辑不依赖云端
推荐阅读
  • Agentic:首个开源MCP商业化平台,让AI工具实现按量计费
  • CodeGraph开源:语义代码知识图谱让AI编程省35%成本,减少59%Token消耗
  • Vercel开源skills CLI:像npm一样一条命令安装AI技能
  • vue-fastapi 开源项目:基于 FastAPI + Vue3 的前后端分离后台管理系统模板
  • 抖音对标账号采集 + 多平台自动发布:开源短视频运营中台工具推荐
评论 (0)
请登录后发表评论
分类精选
WeKnora:终于等到了腾讯ima的开源知识库框架,用 API 轻松打造本地智能文档检索
13243 1年前
OpenSpec:比 Cursor Plan 更聪明?试试这款让 AI 编码更靠谱的规范驱动工具
11176 1年前
CapCut API:一个剪映API开源项目,让AI自动剪辑视频
11105 10月前
AIRI:你的开源AI女友,让你随时拥有属于自己的 AI VTuber
10035 1年前
Antigravity-Manager:这个开源神器让你白嫖ClaudeOpus 4.5,Gemini 3!还能接Claude Code等任意平台
9759 10月前
就要创作:从提示词到创作团队,开源 AI 网文写作平台
9382 1年前
CompressO:开源免费的视频压缩神器,让你的硬盘瞬间轻松 10 倍
9264 1年前
awesome-openclaw-skills:700+ Skills 一条命令装配完成,如何让本地 AI Agent 真正落地可用
8635 9月前
AiNiee:开源AI翻译工具,完美解决游戏、小说、字幕、文档的批量翻译
8624 1年前
Claude Code 生成专业图表的 15 个 Skills:覆盖 7 种渲染引擎的完整指南
8618 6月前

文章目录

关于苏米客
分类排行
1 global-law:用 Git 版本管理全球法律,精确到字的变更追溯
2 Claude Code + 6 个开源 Skill:用代码生成视频,告别 AI 视频抽卡时代
3 9 个开源视频动画项目:Agent 驱动的代码绘图、手绘视频与卡通短片制作
4 Codex 用量条:让侧边栏直观显示剩余额度的开源插件
5 android-ad-cleaner:AI 整顿完电视后,现在轮到手机了,ADB 自动关广告
6 Vercel Labs 开源 agent-desktop:基于无障碍访问树的桌面 AI Agent 操作工具
7 DeepSeek 开源 Super-agent 系统:AI 自主管理多任务,跨平台持续在线工作
8 Looseleaf 手绘风格 UI 库开源:123 个组件、61 个 Blocks,兼容 shadcn/ui,MIT 协议免费用
9 OXR 1.3B 开源文档解析模型:三榜第一、可插拔布局分析、RSI 自改进,自带免费 API
10 开源姿势参考库:288 组人体姿势 × 1407 套服装 × 1499 张 AI 人像,支持三语搜索
苏米客
登录 注册
显示
没有账号? · 立即注册
显示
已有账号? · 直接登录
登录代表你已同意 用户协议 和 隐私政策
©2015-2024 苏米客XMSUMI 版权所有 · WWW.XMSUMI.COM 闽ICP备14005900号-6 网站地图 百度地图
拉美跨境导航 微信文章助手 程序库 免费影视APP 免费字体下载 产品经理导航 爱克硕儿 产品经理AI资讯 Axure元件库下载 申请友联