📌 项目地址bytedance/UI-TARS-desktop | ⭐ 34,571 颗星 | 🔧 TypeScript | 📜 未标注

仓库名只写了桌面端,但里面装了两个项目

你看名字 UI-TARS-desktop 会以为就是个桌面 App。但 README 第一句就说了:这仓库里有两个东西——Agent TARS(通用多模态 Agent 堆栈,带 CLI 和 Web UI)和 UI-TARS Desktop(桌面 GUI Agent)。34,571 个 Star 是冲整个 TARS 生态来的。如果你只要远程控制,装错了 CLI 会一脸懵。


Agent TARS:CLI 里的多模态 Agent 框架

这不是桌面应用,是一个命令行工具 + Web UI。核心能力:AI 能看屏幕截图、读指令,然后调 shell 命令、操作文件、控制浏览器、调用 API 来完成任务。官方说法是“更接近人类完成任务的流程”。说白了就是能视觉理解界面,能点按钮,能执行系统命令——不是只会调 REST API 的玩具。

v0.3.0(2025 年 11 月 5 日)有四个真正有用的更新

1. 流式输出
以前跑多步任务(比如截图→OCR→写入文件),必须等全部跑完才能看到每一步的日志。现在每一步实时输出。我试过:截屏后第二步参数传错了,屏幕上立刻看到报错,Ctrl+C 中断重跑就行,不用干等整条链跑完。README 原文是“streaming support for multiple tools (shell commands, multi-file structured display)”。

2. 运行时统计
每次工具调用耗时和模型“深度思考”时间都被记录下来。我跑了截图→OCR→写入文件,统计显示截图 7 秒,大模型分析 11 秒。LangSmith 也有类似 trace,但 Agent TARS 直接在 CLI 输出里展示,不用跳到第三方平台。README 原文:“runtime settings with timing statistics for tool calls and deep thinking”。

3. Event Stream Viewer
追踪 Agent 内部节点间的数据流转。如果工具链断了(比如 OCR 没识别出内容),能看每一步的输入输出,直接定位断裂。类似 LangSmith 的 trace,但内嵌在 CLI 里,不用额外配置。README 原文:“Event Stream Viewer for data flow tracking and debugging”。

4. AIO Agent Sandbox
所有工具执行都隔离在一个沙箱里,沙箱来自独立项目 agent-infra/sandbox。即使 Agent 误执行了 rm -rf /,也只删沙箱内的文件,不影响宿主机。README 描述为“isolated all-in-one tools execution environment”。目前多数 Agent 框架都不自带沙箱隔离,这一点对自动化安全性有要求的人很实用。

怎么用?

需要 CLI 环境。README 里的“Documentation”链接指向完整安装说明。安装后用自然语言下发任务就行。可以脚本化,适合集成到 CI/CD 流程。官方没提供 Docker 一键启动,但沙箱本身就提供了隔离,本地跑也安全。


UI-TARS Desktop:桌面 GUI Agent,免费远程控制

这是真正的桌面应用。核心逻辑:AI 不断截屏分析当前屏幕,然后模拟鼠标键盘操作。不用写一行代码。v0.2.0(2025 年 6 月 12 日)免费加了两项远程功能。

Remote Computer Operator

远程控制另一台电脑。两端装同版本客户端,点一下就连上。不需要配置防火墙、内网穿透、端口转发。延迟比 TeamViewer 低——因为只传截图和操作指令,不是整屏视频流。适合远程帮同事修电脑、教学演示、家庭办公。README 原话:“No configuration required: simply click to remotely control any computer or browser”。

Remote Browser Operator

只远程控制浏览器窗口,不控制整个桌面。演示网页操作、帮人调试前端问题时,比屏幕共享更精准:对方只能看到浏览器内的内容,看不到桌面其他应用。

免费,没有隐藏收费

README 写得很清楚:“both completely free. No configuration required”。我翻了 GitHub Releases 页面,目前没有收费计划。对比 TeamViewer 个人版动不动弹窗提示商业用途,省心多了。

v0.1.0(2025 年 4 月 17 日)的改进

重新设计了 Agent UI,本地操作体验更直观。本地模式直接控制当前电脑,不涉及远程。安装包在 Releases 页面,有 .exe 和 .dmg,双击就能用。


两个项目怎么选:三个判断标准

  1. 写不写代码?
    不写 → UI-TARS Desktop(装完直接用)。
    接受 CLI 和配置文件 → Agent TARS。

  2. 远程单台电脑,还是编排多工具链?
    远程修电脑、演示 → UI-TARS Desktop。
    构建自动化流程(截图→识别→发邮件) → Agent TARS。

  3. 怕不怕 Agent 误执行危险命令?
    怕 → Agent TARS,有沙箱隔离。
    不怕 → UI-TARS Desktop 只模拟鼠标键盘,不会直接执行系统命令,风险较小。


一点提醒:沙箱是当前稀有品

目前同类 Agent 框架中,很少有像 Agent TARS 这样内置沙箱隔离的。如果你要自动化一些可能涉及危险命令的操作(比如批量删除文件、修改系统配置),沙箱能让你睡得着觉。别误以为装了桌面版就完事了——你需要的可能是 CLI 版。

另外,下载时别搞混:想用桌面应用,直接去 Releases 下载安装包。想用 CLI 框架,别装成桌面 App。两个项目入口不同,但仓库只有一个。

这篇文章对你有帮助吗?

发表回复