让AI自己用电脑！Cua：后台操作鼠标键盘，Mac/Windows/Linux全支持

你的AI编程助手可以像真人一样点击、打字、截图了不抢鼠标、不夺焦点后台静默运行Mac、Windows、Linux一套代码全搞定️ 先看痛点AI“能动嘴”但“动不了手”现在的AI编程助手Claude Code、Cursor、Codex很聪明能写代码、能读文档、能回答问题。但它们有一个共同的“残疾”没法真正操作电脑。你想让AI帮你打开浏览器登录某个后台点几个按钮导出数据打开设计软件调整几个参数导出图片打开系统设置改几个配置项在多个应用之间切换、复制粘贴、填写表单现在的AI做不到。不是它“不想”是它“没有手”。核心矛盾AI有“大脑”推理能力但没有“手”操作电脑的能力。你想让AI帮你做“需要动手”的重复性工作但现有的AI只能聊天和写代码。✅ Cua 的解法Cua 是一套让AI能够“使用电脑”的工具包。一句话给AI装上一双“虚拟手”AI可以在后台操作鼠标、键盘、截图、运行命令、甚至操作手机模拟器# 一行代码AI就能控制一台“虚拟电脑”fromcuaimportSandboxasyncwithSandbox.ephemeral(Image.linux())assb:awaitsb.mouse.click(100,200)# 点击坐标awaitsb.keyboard.type(Hello from AI)# 打字screenshotawaitsb.screenshot()# 截图resultawaitsb.shell.run(ls -la)# 执行命令你可以让AI自己打开浏览器 → 登录 → 点按钮 → 下载报表打开设置 → 改配置 → 保存在多个窗口间复制粘贴 → 整理数据全程后台运行不干扰你正在做的事情。 它解决了什么1. 传统自动化 vs Cua传统自动化脚本如PyAutoGUICua AI灵活性脚本写死页面一变就崩AI动态理解界面自适应维护成本每个操作都要手写代码AI自己“看屏幕”决定点哪里跨平台每个系统重写一套一套API跑Mac/Windows/Linux后台运行难通常要抢鼠标✅ 原生支持后台适用范围固定流程任意任务AI自动推理2. AI“有手” vs “没手”场景没有Cua有Cua“帮我导出上个月的销售报表”AI告诉你“步骤是1.打开后台2.点报表…”AI自己打开、自己点、自己导出“把这个设计图导出成PNG”告诉你“按CtrlShiftE…”自己打开软件、自己操作菜单、自己保存“每天凌晨备份这个文件夹”教你写cron脚本自己设定时任务、自己执行 四个核心组件1. Cua Drivers —— 后台操作电脑最实用让AI在后台驱动你的Mac或Windows电脑。不抢鼠标、不夺焦点你可以一边看网页AI在后台帮你点另一个软件同一个CLI和MCP服务器同时支持Mac和WindowsLinux支持预发布阶段安装Mac/Linux/bin/bash-c$(curl-fsSLhttps://raw.githubusercontent.com/trycua/cua/main/libs/cua-driver/scripts/install.sh)安装Windows PowerShellirmhttps://raw.githubusercontent.com/trycua/cua/main/libs/cua-driver/scripts/install.ps1|iex接入Claude Code作为MCP服务器claude mcpadd--transportstdio cua-driver -- cua-driver mcp装完后你的Claude Code就能控制电脑了。MCP模型上下文协议一种让AI工具之间互相通信的标准。你可以理解为“AI之间的USB接口”——插上就能用。2. Cua Sandbox —— 虚拟电脑沙箱不想让AI操作你的真机给它一台“虚拟电脑”。支持Linux容器、Linux虚拟机、macOS、Windows、Android云端运行cua.ai提供或本地运行QEMU一套API所有操作系统通用fromcuaimportSandbox,Image# 启动一个Linux虚拟机AI在里面干活asyncwithSandbox.ephemeral(Image.linux())assb:awaitsb.mouse.click(100,200)awaitsb.keyboard.type(Hello)适用场景测试不可信的AI行为坏了就销毁不影响真机批量并行运行多个AI任务每个任务一个独立沙箱需要特定操作系统环境比如测试Windows下的软件沙箱Sandbox一个隔离的运行环境里面的操作不会影响到外面的真实电脑。就像“在玻璃盒子里做实验”弄坏了关掉盒子就行。3. Cua Bench —— 测试AI的“动手能力”想评估哪个AI模型操作电脑最厉害Cua Bench提供标准化测试OSWorld在真实操作系统里完成任务的基准测试ScreenSpot屏幕理解能力测试Windows ArenaWindows环境专用测试支持自定义任务# 运行基准测试cb run dataset datasets/cua-bench-basic--agentcua-agent --max-parallel4基准测试Benchmark就像“考试”——给AI一套标准题看它能得多少分。分数高的说明“动手能力”强。4. Lume —— 苹果芯片上的macOS虚拟机专门给Apple SiliconM1-M4芯片用的虚拟机管理工具。基于苹果官方的Virtualization.Framework接近原生的性能一键创建、运行macOS/Linux虚拟机# 安装Lume/bin/bash-c$(curl-fsSLhttps://raw.githubusercontent.com/trycua/cua/main/libs/lume/scripts/install.sh)# 下载并启动一个macOS虚拟机lume run macos-sequoia-vanilla:latest适用场景在Mac上测试Mac软件但不想污染主系统CI/CD流水线里跑macOS环境开发需要多版本macOS测试的应用 谁最适合用人群为什么适合AI编程助手用户Claude Code/Cursor/Codex让你的AI不仅能写代码还能操作电脑——开浏览器、点按钮、填表单自动化测试工程师AI可以“看着屏幕”做端到端测试比传统脚本更智能、更抗界面变化运维/SREAI可以登录服务器、执行命令、检查日志、处理告警全程自动RPA机器人流程自动化从业者传统RPA脚本写死流程AI版RPA能自己“看”屏幕做决策AI研究员/开发者需要测试和训练“计算机使用Agent”的能力喜欢折腾的开发者给Claude Code装上“手”看它能帮你做什么神奇的事一个典型的“省时间”场景问题你每天要登录公司后台点“报表”→“导出”→“上个月”→“CSV格式”然后下载文件重命名放到共享文件夹。现在你把Claude Code调出来说“帮我把上个月的用户活跃度报表导出来放到团队共享盘里”Cua做了什么AI打开浏览器登录后台你可能要提前给它cookie或账号依次点击报表→导出→选择时间范围下载文件重命名移动到共享文件夹全程你在喝咖啡。 安全与隐私后台运行不抢控制权Cua Drivers在后台操作时不会抢走你的鼠标和键盘焦点。你可以一边写代码一边让AI在后台帮你点另一个软件。沙箱隔离用Cua SandboxAI的活动完全隔离在虚拟机/容器里。它破坏不了你的主系统。数据不出本地所有操作可以完全在本地运行用QEMU或Lume不需要把任何数据传到云端。 快速上手让Claude Code获得“动手能力”5分钟# 1. 安装Cua Driver/bin/bash-c$(curl-fsSLhttps://raw.githubusercontent.com/trycua/cua/main/libs/cua-driver/scripts/install.sh)# 2. 接入Claude Code作为MCP服务器claude mcpadd--transportstdio cua-driver -- cua-driver mcp# 3. 重启Claude Code然后对它说# “帮我打开浏览器访问 google.com搜索‘天气’”用Python直接调用pipinstallcuafromcuaimportSandbox,ImageasyncwithSandbox.ephemeral(Image.linux())assb:# AI点击坐标(100,200)awaitsb.mouse.click(100,200)# 打字awaitsb.keyboard.type(Hello from Cua!)# 截图imgawaitsb.screenshot()# 执行命令resultawaitsb.shell.run(ls -la)print(result.output) 支持矩阵环境Linux容器Linux虚拟机macOSWindowsAndroid云端cua.ai✅✅✅✅✅本地QEMU✅✅✅✅✅LumeApple Silicon✅✅✅❌❌Cua Drivers真机后台✅✅❌✅ 总结层次核心内容解决了什么AI能“说话”但不能“动手”的矛盾。Cua给AI装上了鼠标、键盘和屏幕核心组件①Cua Drivers后台操作真机②Cua Sandbox虚拟沙箱③Cua Bench能力测试④LumeMac虚拟机怎么用Claude Code用户装Driver加MCP说人话Python开发者pip install cua谁适合AI编程助手用户、自动化测试、运维、RPA从业者、AI研究员 立即开始# 最快体验给Claude Code装“手”/bin/bash-c$(curl-fsSLhttps://raw.githubusercontent.com/trycua/cua/main/libs/cua-driver/scripts/install.sh)claude mcpadd--transportstdio cua-driver -- cua-driver mcp# Python开发者pipinstallcua官网cua.ai文档cua.ai/docsDiscorddiscord.gg/mVnXXpdE85GitHubgithub.com/trycua/cua许可证MIT让AI不再只是“动嘴”让它真正“动手”。