字节Seed开源UI-TARS-1.5：基于视觉语言模型构建的多模态智能体
IT之家 4 月 18 日消息，IT之家从豆包大模型团队获悉，UI-TARS-1.5 昨日正式发布并开源。这是一款基于视觉-语言模型构建的开源多模态智能体，能够在虚拟世界中高效执行各类任务。
有关的链接如下：
GitHub：https://github.com/bytedance/UI-TARSWebsite：https://seed-tars.com/Arxiv：https://arxiv.org/abs/2501.12326
UI-TARS-1.5 基于字节此前提出的原生智能体方案 UI-TARS，通过强化学习进一步增强了模型的高阶推理能力，使模型能够在“行动”前先进行“思考”。
该版本的模型中，团队还展示了一个新的愿景：以游戏为载体来增强基础模型的推理能力。与数学、编程等领域相比，游戏更多依赖直观的、常识性的推理，并较少依赖专业知识，因此，游戏通常是评估和提升未来模型通用能力的理想测试场景。
据介绍，UI-TARS 是一个原生 GUI 智能体，具备真实操作电脑和手机系统的能力，同时，还可操控浏览器、完成复杂交互任务。UI-TARS-1.5 能够实现精准 GUI 操作，基于团队在四个维度的技术探索：
视觉感知增强：依托大规模界面截图数据，模型可理解元素的语义与上下文，形成精准描述。System 2 推理机制：在动作前生成“思维（thought）”，支持复杂任务的多步规划与决策。统一动作建模：构建跨平台标准动作空间，通过真实轨迹学习提升动作可控性与执行精度。可自我演化的训练范式：通过自动化的交互轨迹采集与反思式训练，模型持续从错误中改进，适应复杂环境变化。
来源：飞象网
相关推荐
-
字节AI换血背后：守擂的曾妍，与开荒的周畅
近日，字节Seed核心负责人周畅离职创业，方向是Physical AI（物理AI），并已获得头部美元基金支持。 此前，周畅在字节Seed团队负责视觉生成和多模态等业务，向Seed负责人吴永辉汇报。据了解，今年下半年，周畅在字节内部的管理范围已有所收缩，如今，其原先的工作更多由1997年出生的曾妍接手。 曾妍是典型…
-
腾讯混元发布 Hy4，首次进入最强开源模型梯队
混元发布最新一代大语言模型 Hy4。随着模型能力的再次全面跃升，Hy 首次跻身最强开源模型之列。Hy4 将于近期开源模型权重，发布模型系统卡片，并积极推进更负责任的开源，重点关注网络和生物安全等风险。 相比于 Hy4 preview，Hy4 在预训练和后训练上显著扩展了数据和…
-
Pika 基于 MiniMax H3 开源 H3 Flex，六步实现音视频联合生成
一周之内，MiniMax H3 接连迎来两项海外重磅开源成果。 继英伟达与 MIT团队基于H3公开 Open-H3-Regenerate-2K 视频增强项目权重后，Pika 最新发布 MiniMax H3 衍生模型 Pika H3 Flex…
-
从道歉到开源，智谱这三天经历了什么？
智谱旗下AI编程工具ZCode在近期引发诸多数据争议。今天，智谱正式宣布将ZCode开源，并公布了第三方安全审计结果，确认云端“零数据”状态、同时最新版本已切断本地仓库快照生成与上传链路。 三天内从道歉到开源，智谱立正挨打的态度值得肯定。但这期间发酵的几场风波，的确给智谱和其他同行都上了一课。 事情起因发生在9月18号...
-
不靠生成画面预测未来，千里智驾开源 WA-JEPA 双榜跑出最佳成绩
9月18日消息（报道：李楠）近日，千里智驾联合电子科技大学、东南大学、北京邮电大学、天津大学发布并开源世界—动作模型WA-JEPA，为自动驾驶模型如何理解场景、预测未来并生成驾驶动作，探索了一条新的技术路径。 当前，部分自动驾驶世界模型通过生成未来视频来学习环境变化。这类方法能够呈现直观的未来画面，但也需要投入大...
-
腾讯混元 Hy4 preview发布，稳居开源模型第一梯队
8 月 28 日，腾讯混元发布并开源新一代大语言模型 Hy4 preview ，总参数 770B、激活参数 49B，上下文长度突破 1M，在代码、办公、科学等真实生产力任务上展现出卓越能力。 Hy4 preview 在模型尺寸、上下文长度、数据规模上都进行了显著的扩展，预训练和后训练的共同进步带来了智能水平的又一次巨大...
-
字节推统一办公品牌“豆包工作”，TRAE、扣子并入豆包
8月24日消息，据媒体报道，字节跳动对旗下办公AI产品完成一轮团队整合：TRAE、扣子（Coze）团队将整体并入豆包体系，豆包最快将于本周内推出独立AI办公产品“豆包工作”，作为字节面向AI办公场景的统一品牌。 调整后，TRAE Work、扣子将与豆包在工作场景的产品能力进行整合；TRAE IDE及CLI将作为豆...
-
火山引擎上线Seedance 2.5 API：原生支持30秒视频直出，向产业生产力工具演进
8月7日消息，字节跳动火山引擎今日正式上线Seedance 2.5 API服务。该模型原生支持30秒视频直出，支持单次输入最多50个多模态素材（30张图片、10段视频、10段音频）作为参考，并具备精准的时间戳编辑能力，已在LibTV、奇想AI、TapNow等平台同步上线。 相较于2.0版本，Seedance 2....
-
MiniMax H3开源：AI视频生成进入“拼生态”新阶段
7月31日，MiniMax发布新一代全模态生成模型H3；8月3日，模型权重正式开源。 MiniMax H3采用通用多模态架构，支持文本、图像、视频和音频的统一理解与生成，可输出最高2K分辨率、最长15秒、带原生立体声音频的视频内容。 而这可能标志着开源正从语言模型领域蔓延至多模态生成领域，AI视频生成赛道的竞争规则，也...
-
字节跳动Seedance 2.5正式发布：单次生成30秒视频
7月31日消息，字节跳动今日正式发布新一代视频生成模型Seedance 2.5。该模型延续了Seedance 2.0统一的多模态音视频联合生成架构，在生成时长、多模态理解、编辑精度等核心维度实现全面升级，目前已陆续上线即梦AI、豆包专业版等平台，API服务也将于近期接入火山引擎。 据官方介绍，Seedance 2...
