录一遍操作就生成Skill：微软skill-recorder用语义重建替代坐标回放

写过Agent Skill的人应该都知道，写一份SKILL.md要从头到尾描述一个操作流程，记住每个步骤和每个工具，还要把边界条件、输入参数写清楚，非常折磨人。

skill-recorder 是微软开源的一个桌面工具，在GitHub上有2072个Star。

它用来把操作录下来，自动生成AI能执行的Skill文档。

实际使用体验

比如要在OA系统中填写一张报销单。装完skill-recorder后，按住Ctrl+Shift+R开始录制屏幕，然后按照正常程序操作：打开OA页面、填写金额、上传发票、点击提交。它会悄悄记录下完成任务的全过程。

录制结束后点击Analyze，GitHub Copilot开始工作。它不会分析点击了哪个像素点，而是关心你做了哪些事情——打开报销页面、填入金额、上传发票、最后点击提交。然后自动生成一个SKILL.md，这份文档既能让人看懂，也能让AI直接执行。

下次处理报销流程时，只要把SKILL.md交给Agent，它就可以按照步骤自动完成整个过程，不需要写复杂的提示词，也不需要学习RPA脚本。这个Skill放入团队仓库后，其他同事也可以直接调用。

技术原理

01 后台录制，记录的不是视频

Skill Recorder捕获的是操作信号，不是屏幕上的像素。窗口切换、浏览器URL、剪贴板内容、可选的语音旁白等都保存在本地。屏幕视频只起辅助定位作用，不占主要信号，录制一小时也不会填满硬盘。旁白不是必须的，开启麦克风后Whisper会把声音转换成文字，支持99种语言。录制时有一个浮动小窗口一直置顶显示状态，静音、切麦克风、结束录制都很方便。

02 Copilot分析，重建操作流程

录制过程中所有数据保存在本地，不会上传。只有点击Analyze时，才会把事件时间线、抽帧截图和旁白文字上传到GitHub云。Copilot把这些信号串联起来，重构出"总的意图+有条理的步骤"。它知道你在"填制销单"，而不是你"点击了第三个按钮"——这是基于语义的执行方式，不是简单的坐标回放。录制一次就可以复用到N个相同结构的任务中，遇到类似报销流程Agent不需要重新学习。这也是它和传统RPA最大的区别：RPA录制的是固定路径，一个流程只能跑一个页面，按钮位置稍变就失效。

03 输出SKILL.md，人可以看，AI也可以跑

生成的SKILL.md本质上是Markdown+YAML frontmatter，不是伪代码也不是特定DSL。执行时会先调用原生工具，比如gh CLI、web_fetch、git等，不会死记硬背页面上按钮的位置。界面改版了也无妨，流程逻辑没有变化，SKILL.md依然可以使用。官方原话很直白：prefer the agent's native tools over replaying UI clicks。

04 一次录制，所有Agent可复用

生成的SKILL.md不仅限于Copilot使用，Microsoft Scout、Copilot Cowork、Copilot Studio都可以直接调用，Claude Code、Codex、Cursor等第三方Agent只要支持SKILL.md格式也可以运行。还加入了敏感信息检测，发送之前用本地运行的OCR扫描并自动屏蔽密码和Token，录制时不小心露出的内容会在发送前被遮住。

安装方式

Skill Recorder是source-only发布，一行命令就能装好。

Windows PowerShell：

$commit="7b0efa9534d59efb4e488a9fe855862ecba45844"; $env:SKILL_RECORDER_COMMIT=$commit; irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex

macOS、Ubuntu：

commit="7b0efa9534d59efb4e488a9fe855862ecba45844"; curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" bash

不需要管理员权限，也不需要全局安装Node.js，但需要订阅Copilot。安装好后按Ctrl+Shift+R开始录制，录完分析一下就会得到一份SKILL.md文件。

注意事项

• Analyze阶段必须走云端，离线分析还不支持，官方反复提醒别录密码、Token、API Key
• 终端命令录制还没有做，已在计划中
• 只支持macOS、Windows 11和Ubuntu，其他Linux发行版目前没有覆盖

小结

每次写SKILL.md都要重新梳理流程、定义工具、补充边界条件并反复调整。Skill Recorder解决的就是这个过程——像平时一样操作一次，它自动整理步骤并生成可以直接使用的SKILL.md，不需要编写代码，也不需要手动整理流程。

开源地址：https://github.com/microsoft/skill-recorder