pythonic生物人

录一次操作,就能让AI替你干同样的活?微软开源Skill自修炼工具

每天上班都在重复性的填表单、录数据、导报表?

这些重复性的工作不仅消磨热情,还特别容易出错。想让AI Agent帮忙吧,手写Skill步骤又让人头大,提示词调来调去就是不对。

微软最近开源了一款名为Skill Recorder的桌面端神器,直接把这件事变成了“做一遍就行”。不用写代码,不用死磕提示词,像平时一样把活干一遍,AI就能学会你的操作,以后同类工作全交给它自动处理!

它到底是什么?

Skill Recorder是一款由微软开源的Electron桌面应用。它的核心逻辑非常优雅:把你“在屏幕上做一遍”的过程,自动变成AI Agent可以反复执行的技能包(SKILL.md)。

它不是传统的录屏回放工具,也不是死板的RPA脚本。你演示一次,它利用GitHub Copilot CLI将操作重构成“一个总体意图 + 一串有序步骤”,最终生成标准化的技能文件。这个文件可以被Claude Code、Copilot、Cursor、OpenClaw等30多个主流Agent平台原生加载执行。


核心亮点,为什么值得试?

  • 零门槛“演示即编程”

不需要学RPA,不需要懂编程,更不需要研究提示词工程。只要你会用电脑,按下快捷键把任务做一遍,剩下的交给AI。录一次提交表单,它能教会Agent提交所有同类表单。

  • 学的是“意图”,不是死板的点击坐标

传统自动化工具一旦界面改版就会崩溃,因为它记录的是像素坐标。Skill Recorder生成的步骤优先调用Agent的原生工具(如gh CLI、web_fetch等),而不是机械回放你的鼠标点击。这种语义级的提取让它对UI变化天然鲁棒。

ImageImage

  • 数据主权清晰,隐私有保障

这点必须给微软点赞:

1️⃣ 全程本地处理:录制、存储、画面抽帧、语音转写全部在本地完成。

2️⃣ 云端仅用于分析:只有当你主动点击“Analyze(分析)”时,事件时间线和截图才会发给GitHub Copilot云端处理。

3️⃣ 敏感信息检测:内置敏感信息扫描,能识别截帧中的密码、Token等,提醒你远离泄密风险。

  • 产出物是纯Markdown,可Git版本化管理

生成的SKILL.md是纯文本+YAML格式,可以提交到Git仓库做版本管理,用VS Code就能修改,支持PR流程团队评审。彻底告别传统RPA工具的私有二进制文件。


四步走完工作流

整个使用流程非常丝滑,只需四步:

1️⃣ Record(录制)按下全局快捷键(⌘⇧R / Ctrl+Shift+R)开始录制,正常完成你的工作任务。它会静默捕获窗口切换、浏览器URL、剪贴板预览等。

2️⃣ Control(控制)录制期间有个常驻顶部的悬浮条,可以随时静音、切换麦克风,录砸了也能一键丢弃。

3️⃣ Analyze(分析)点击“Analyze”,GitHub Copilot会把操作重构成清晰的意图和步骤列表。你可以逐条审查修改,直到满意为止。

4️⃣ Create(创建)一键生成两种产物:可复用的Skill(供Agent按需调用),或带定时/触发器的Automation(定时自动跑)。

💡贴心功能:支持开启麦克风进行语音旁白解说,使用Whisper模型在本地离线转录,支持99种语言,首次使用仅需下载约252MB的模型。


适合谁用?

✅ 非技术业务人员(运营/客服/销售):每天重复填系统、导数据,没有编程背景但有强烈的自动化需求。

✅ 开发/运维工程师:把复杂的部署、故障恢复流程固化成Skill,让值班机器人自动执行。

✅ 团队管理者:老员工录一遍操作,新人直接让AI照着干,完美传承业务经验。


安装与注意事项

Skill Recorder以源码发布形式分发,一条命令即可下载固定的Node.js运行时并在本地构建,不会全局安装任何东西。

开源地址:https://github.com/microsoft/skill-recorder

环境要求:

  • 系统:macOS(主要目标平台,体验最佳)、Windows 11(x64 和 ARM64)、Ubuntu
  • 账号:具有Copilot访问权限的GitHub账户(分析步骤需调用Copilot)
  • 运行权限:需要授予屏幕录制、辅助功能等系统权限

⚠️ 避坑提醒:千万不要在录制过程中输入、粘贴或口述密码、API密钥、Token等机密信息!虽然工具有检测提醒,但安全第一。


写在最后

过去,自动化工具始终逃不开“门槛高、维护难”的怪圈。Skill Recorder用“演示一次”的极低门槛和“标准化产出物”的极低维护成本,把这条曲线彻底拍平了。

人是最好的演示者,AI是最好的复用者。把重复劳动交给机器,把创造力留给自己,这才是AI Agent时代正确的打开方式。


欢迎点赞、转发、在看,让更多被重复工作困扰的朋友看到!