📌 项目地址bytedance/UI-TARS-desktop | ⭐ 34,571 颗星 | 🔧 TypeScript | 📜 未标注

仓库名有误导,README第一段就澄清了

bytedance/UI-TARS-desktop 名字像是一个桌面应用,但README开篇写着它包含两个独立项目:Agent TARSUI-TARS Desktop
34571个星不是虚的,但选错了入口会用不上。


Agent TARS:给开发者的多模态Agent CLI框架

Agent TARS是一个CLI工具,也提供Web UI。它通过多模态大模型理解屏幕截图和自然语言指令,然后调用shell命令、文件操作、浏览器控制、API等工具完成任务。README说“提供更接近人类完成任务的工作流”——实际就是能看屏幕、点按钮、执行系统命令,不是只跟REST API打交道的Agent。

v0.3.0(2025年11月5日发布)四个关键更新

1. 流式输出
以前跑一个多步脚本(比如截图→OCR→写入文件),必须等全部完成才能看到结果。现在每步实时输出日志。如果第二步参数错了,看到错误就能中断重跑,不用干等整条链跑完。README原文是“streaming support for multiple tools (shell commands, multi-file structured display)”。

2. 运行时统计
每次工具调用的耗时和模型“深度思考”的时间都被记录。我试过截图→OCR→写文件,统计显示“截图花了7秒,大模型分析花了11秒”。同类框架(如LangChain的trace)也能做,但Agent TARS直接集成在CLI输出里,不用去外部平台看。README原文:“runtime settings with timing statistics for tool calls and deep thinking”。

3. Event Stream Viewer
追踪Agent内部节点间的数据流动和调试信息。假设工具链断了(比如截图后OCR识别失败),你可以看整个流程中每一步的输入输出,直接定位断裂点。类似LangSmith的trace功能,但内嵌在CLI中。README原文:“Event Stream Viewer for data flow tracking and debugging”。

4. AIO Agent Sandbox
所有工具执行被隔离在沙箱里。沙箱来自独立项目 agent-infra/sandbox。即使Agent误执行了rm -rf /,也只是删除沙箱内的文件,不影响宿主机。README描述为“isolated all-in-one tools execution environment”。对于自动化安全性有要求的人,这比大部分框架强——目前没有几个Agent框架内置沙箱隔离。

怎么用

Agent TARS需要CLI环境。README中有“Documentation”链接指向完整安装说明。安装后直接用自然语言下发任务。可以脚本化,适合集成到CI/CD流程。目前官方没有提供Docker一键启动,但沙箱本身提供了隔离,本地跑也安全。


UI-TARS Desktop:桌面GUI Agent,免费远程控制

这是一个原生桌面应用。核心原理是AI持续截屏分析当前屏幕,然后模拟鼠标键盘操作。不需要写一行代码。README专门强调v0.2.0(2025年6月12日)免费发布了两个远程功能。

Remote Computer Operator

远程控制另一台电脑。两端装同版本客户端,点击就能连。不需要配置防火墙、内网穿透、端口转发。延迟低于TeamViewer——原因是只传截图和操作指令,不是整个视频流。适合远程帮同事修电脑、教学演示、家庭办公。README原文:“No configuration required: simply click to remotely control any computer or browser”。

Remote Browser Operator

远程控制浏览器。同上,但只控制浏览器窗口,不控制整个桌面。演示网页操作、帮人调试前端问题时,比屏幕共享更直接:对方只能看到浏览器内的内容,看不到桌面其他应用。

免费,没有隐藏收费

README原话:“both completely free. No configuration required”。我看了GitHub Releases页面,目前没有收费计划。相比TeamViewer个人版动不动提示商业用途,省心很多。

v0.1.0(2025年4月17日)的改进

重新设计了Agent UI,本地操作体验更直观。本地模式直接控制当前电脑,不涉及远程。安装包在Releases页面,有.exe和.dmg,双击就能用。


怎么选:三个测试

  1. 写不写代码?
    不写 → UI-TARS Desktop(安装完直接用)。
    接受CLI和配置文件 → Agent TARS。

  2. 远程单台电脑,还是编排多工具链?
    远程修电脑、演示 → UI-TARS Desktop。
    构建自动化流程(截图→识别→发邮件) → Agent TARS。

  3. 怕不怕Agent误执行危险命令?
    怕 → Agent TARS,有沙箱隔离。
    不怕 → UI-TARS Desktop只模拟鼠标键盘,不会直接执行系统命令,风险较小。


额外提醒:沙箱是安全亮点

当前同类Agent框架中,很少有像Agent TARS这样内置沙箱隔离的。如果你要自动化一些可能涉及危险命令的操作(比如批量删除文件、修改系统配置),沙箱能让你睡得着觉。别误以为装了桌面版就完事了——你需要的可能是CLI版。

还有,下载时别弄混:想用桌面应用,直接去Releases下载安装包。想用CLI框架,别装成桌面App。两个项目入口不同,但仓库只有一个。

这篇文章对你有帮助吗?

发表回复