ReaderMX.
字节跳动技术团队

让远程电脑成为你的AI助手 - Computer Use Agent 实践

字弹性计算团队约 4 分钟

在人机交互的技术演进中，如何突破传统 API 调用的桎梏，实现更自然、高效的计算机任务执行？Computer Use Agent 给出了答案。只需简单指令，它就能帮你完成视频剪辑、PPT制作、自媒体运营等任务，就像雇佣了一位24小时在线的数字员工。

这款基于字节跳动自研 Doubao-1.5-thinking-vision-pro /Doubao-1.5-UI-TARS  模型的 AI 产品，依托 AI 云原生 AgentKit 套件，以强化学习融合视觉能力与高级推理，无需特定 API 即可直连图形用户界面（GUI）。从视频剪辑到 PPT 制作，从自媒体运营到复杂桌面操作，它凭借智能感知、自主推理的行动式 AI 架构，将用户指令转化为精准的自动化任务执行，正引领从 “对话式 AI” 到 “行动式 AI” 的技术变革。

  • 感知：CUA 截取计算机屏幕图像，旨在对数字环境中的内容进行情境化处理。这些视觉输入成为决策的依据。

  • 推理：CUA 借助思维链推理对其观察结果进行评估，并跟踪中间步骤的进展。通过分析过往和当前的屏幕截图，该系统能够动态适应新的挑战和不可预见的变化。

  • 行动：CUA 利用虚拟鼠标和键盘执行键入、点击和滚动等操作

同时 Computer Use 已经在社区内部开源，仓库详情：https://github.com/volcengine/ai-app-lab/tree/main/demohouse/computer_use

让 Agent 像人一样操作电脑

Computer Use Agent 通过三大核心技术实现自动化操作：

Image

系统架构

Image

从“感知”到“推理” 再到“执行”

在 Computer Use Agent 完成任务的完整链路中，感知层通过实时截图获取环境状态，推理层基于多模态输入生成决策，执行层则通过原子化操作实现动作反馈。这一流程依赖于以下核心组件的协同运作：

Image
Image

组件调用时序图

用户发起任务后，Planner 通过周期性截图获取沙箱状态实现与 WebUI 交互，并结合历史消息调用模型进行推理；模型返回下一步动作及总结，经 MCP Server调用 Tool Server 在沙箱中执行动作，直至模型返回完成标志 [Finished] 终止流程。整个过程通过“感知-推理-执行”循环实现自主任务处理。

技术底座的四大核心能力

  1. 强大的自研模型：字节跳动自主研发的 Doubao-1.5-thinking-vision-pro 核心模型，通过自然语言处理与计算机视觉技术的深度融合，实现对用户指令的多维度语义解析，精准捕捉业务需求背后的场景意图，为复杂任务执行提供底层智能支撑。

  2. 多种操作系统支持：提供 Windows 与 Linux 双系统支持，Windows具有无可比拟的传统软件生态，Linux更加轻量与灵活，可以满足企业级计算环境的多元化需求。。

  3. 极致拉起速度：依托字节跳动分布式架构的底层技术积累，通过资源池化管理、热迁移变配等核心能力，实现云主机实例的秒级启动响应。动态负载均衡机制可根据业务流量实时调整资源分配，构建从资源申请到服务就绪的极致弹性链路，显著提升用户操作的实时性体验。

  4. 灵活服务组合：采用高内聚低耦合的微服务架构设计，支持火山 computer-use 方案的全栈式部署与组件化调用，对于大型互联网客户，支持按需编排Agent Planner、MCP Server、Sandbox Manager等服务，对于小型客户，提供全栈式的一体化的解决方案。

场景实战演示

场景1：智能订机票

  • 用户指令：“订北京→法兰克福6月3日航班，乘机人张三”

  • AI操作：自动打开航司官网→输入地点日期→智能选择经济舱→跳过广告弹窗→完成乘机人认证

        系统提示词确保关键步骤零失误

场景2：文件信息整理

  • 用户指令：“把照片按拍摄国家分类”

  • AI操作：识别埃菲尔铁塔→创建“法国”文件夹→移动相关图片  

        支持100+国家地标图片识别

场景3：全球发票处理

  • 用户指令：“识别小票消费地，换算人民币记入Excel”

  • AI操作：调用汇率API→自动填充“地点/金额/汇率”三栏→生成财务报表 

场景4：海外酒店预订

  • 用户指令：“订法兰克福五星酒店，需健身房+浴缸”

  • AI操作：筛选携程酒店→识别浴室图片→完成支付  

场景5：电商购物

  • 用户指令：“打开值得买，帮我买一部小米15丁香紫”

  • AI操作：打开电商网站→选择指定手机商品→完成支付

    支持 Human-in-loop，CUA 自动判断在需要人操作时主动将控制权移交用户，请求用户接管

场景6：购买车票

  • 用户指令：“在浏览器上搜索12306,帮我订一张明天北京到上海的高铁票。”

  • AI操作：打开12306→搜索车票→选择车次→提交订单→完成支付  

场景7：软件下载

  • 用户指令：“请帮我下载一个汽水音乐客户端，并且安装到主机上。”

  • AI操作：搜索客户端→点击下载→点击安装→完成安装  

场景8：玩网页游戏

  • 用户指令：“你来玩一局愤怒的小鸟。”

  • AI操作：进入游戏网站→打开游戏→攻克第一关→攻克第二关→...

开启智能体验

在线尝鲜

  • AI 体验中心入口：https://exp.volcengine.com/ai-cloud-native-agentkit

  • FaaS 应用中心：https://console.volcengine.com/vefaas/region:vefaas+cn-beijing/market/computer

  • 方舟应用中心：https://console.volcengine.com/ark/region:ark+cn-beijing/application/detail?id=bot-20250304115020-abcde-procode-preset&prev=application

一键部署：租户专属版部署https://console.volcengine.com/vefaas/region:vefaas+cn-beijing/application/create?templateId=680b0a890e881f000862d9f0

开发者资源：https://github.com/volcengine/ai-app-lab/tree/main/demohouse/computer_use

KEEP THE THREAD GOING

更多来源文章