Fara1.5 – 微软开源的轻量级计算机使用智能体模型集合

AI模型2天前更新 老高
19 0

Fara1.5 是一款由微软研究院于 2026 年 7 月发布的浏览器计算机使用智能体模型集合,基于 Qwen3.5 构建,主要用于在网页上代替人完成比较商品、填写表单与预订行程这类多步任务,支持截图与对话历史输入及请求澄清后再行动的机制,适用于重复性后台操作、跨站比价与表单录入等场景。

基础信息内容
产品定位面向浏览器的计算机使用智能体(CUA)模型集合
出品方微软研究院 AI Frontiers
发布时间2026 年 5 月 21 日(研究成果公布)
开源协议MIT
模型档位4B / 9B / 27B
基础模型与训练Qwen3.5,基于 FaraGen1.5 数据监督微调
输入形式浏览器截图与对话历史,不依赖 DOM 或可访问性树
交互方式观察—思考—行动循环,支持鼠标键盘、网页搜索及上下文管理
评测成绩Online-Mind2Web 300 任务:4B 57.3%、9B 63.4%、27B 72.3%
模型发布与权重开放2026 年 7 月 22 日
Fara1.5 官方研究页截图

Fara1.5 的核心能力

Fara1.5 走的是「小模型 + 纯视觉」路线:不读网页源码,只看看屏幕截图,靠一个观察—思考—行动的循环往下点。三档参数对应三种部署预算,以下四点是把这条路走通的关键设计。

纯像素输入,不依赖页面结构

模型不依赖 DOM 或可访问性树,每一步输入浏览器截图与完整对话历史,并参考最近三张截图;输出也不限于鼠标键盘动作,还包括网页搜索与上下文管理。这种方式能减少网页结构变化对自动化流程的影响,但仍需识别页面布局与控件位置,遇到弹窗、页面重排或加载异常时也可能定位错误。每步都要传图,推理成本通常高于纯文本方案。

小参数也能跑出可用成功率

在 300 个任务、136 个热门站点的 Online-Mind2Web 上,官方三次独立运行均值为 4B 57.3%、9B 63.4%、27B 72.3%;Fara-7B 为 34.1%。27B 高于微软列出的 Gemini 2.5 Computer Use、OpenAI Operator 与 Yutori Navigator n1 对照值,但这些值非同口径复跑,只说明该基准表现。 浏览器侧执行层可对照站内 Obscura。

该问的时候会问

官方说明模型被训练成在信息不全或动作不可逆时主动请求澄清与审批,而不是自己替用户决定。这属于模型训练与执行环境共同实现的安全机制,官方仍将其定位为研究预览,不能保证完全避免误操作;支付、提交、发送等关键节点应保留人工审批。

补上了登录后与不可逆任务的训练缺口

只用公开网站轨迹训练,会漏掉需要登录的页面和发邮件这类不可逆操作。微软通过 FaraGen1.5 数据生成体系引入六个模拟真实网站的合成环境,由 Solver 生成轨迹、Verifier 校验正确性与用户交互表现,让模型在受限场景下学到可用的操作流程。这不意味着它能绕过真实网站的登录权限或安全限制。

Fara1.5 与同类网页智能体的对比

下表从形态、输入形式、部署门槛与任务成功率等维度,把三款网页自动化产品放在一起对照。

对比维度Fara1.5Page AgentEgo Lite
形态模型权重,需自建执行层网页内嵌智能体库完整浏览器产品
出品方微软研究院阿里Citro Labs
输入形式浏览器截图与对话历史页面结构加指令页面与浏览器状态
部署门槛自备算力与浏览器驱动嵌入自有网页装客户端即用
开源情况MIT,权重公开开源以产品形态提供
任务成功率27B 版 72.3%(Online-Mind2Web)以官方说明为准以官方说明为准
典型用途自建浏览器代理、批量表单任务网页内嵌助手个人网页自动化
  • 表格内数据来源:Fara1.5 取微软研究院官方研究页与仓库说明;Page Agent 取阿里官方发布说明,Ego Lite 取产品官方页面;未公开的项标注「以官方说明为准」,不作推测。
  • 产品对比简述:Fara1.5 在形态上是模型权重、部署门槛最高但可自建;Page Agent 侧重把智能体嵌进网页;Ego Lite 以成为完整浏览器产品的运行方式见长。三者在开源情况与任务成功率口径上不可直接比较。

另一条路线是让模型直接接管手机界面,站内的 MemGUI-Agent 把这类能力放在了移动端场景里。

Fara1.5 的应用场景与适用人群

需要人反复在网页上点、又不好写接口的流程,适合交给这类纯视觉智能体;已经提供开放 API 的系统,直接调接口更快也更稳:

  • 跨站比价与选品:同时打开多个商城,按条件筛出候选再汇总。
  • 表单批量录入:把线下表格里的信息逐条填进没有接口的后台。
  • 行程与票务预订:按约束逐页操作,遇到不可逆步骤先请求确认。
  • 回归测试:把重复的点击路径交给模型跑,人工只看失败用例。

适用人群:适合有模型部署能力、需要把网页操作自动化的工程团队,也适合想在自己产品里塞一个「会点网页」的能力的产品方;只想省掉几次手工点击的个人用户,现成的浏览器自动化插件更省事。桌面端的同类思路可对照站内 EchoBird。

Fara1.5 的使用方法

三条路径按投入由浅入深:拉权重先把模型自己运行起来、接浏览器执行层做闭环、或者封装成内部接口服务供多任务调用。

权重与仓库:先把模型运行起来

  1. 在 microsoft/fara 仓库按说明装依赖,确认 Python 与推理框架版本匹配。
  2. 从 Hugging Face 取所需档位的权重:显存有限先用 4B,追求成功率用 27B。
  3. 先用一张静态截图做单步预测,确认输出的动作格式能被执行层解析。

网页执行层:接浏览器做观察与动作

  1. 用 Playwright 或同类工具打开目标页面并定时截图,把截图喂给模型。
  2. 解析模型输出的鼠标与键盘动作并执行,再截下一帧,形成观察—思考—行动循环。
  3. 在提交、支付、发送这类不可逆动作前插入人工确认,避免误操作。

接口服务:包成 HTTP 接口供内部调用

  1. 把推理服务包成 HTTP 接口,按任务 ID 管理会话与截图流。
  2. 为每个任务设置步数上限与超时,防止陷入死循环。
  3. 记录完整轨迹,便于复盘失败案例并调整提示与动作确认策略。

两点要留意:纯视觉方案每步都要传图,长任务成本通常随截图数量、上下文长度与推理步数增加;27B 档对显存要求不低,官方未给出统一显存要求。若主要考虑部署成本,可先从 4B 或 9B 版本测试,更重视复杂任务成功率再考虑 27B,实际选择仍需结合显存、推理速度与任务复杂度评估。

Fara1.5 的项目地址

  • 官方研究页:https://www.microsoft.com/en-us/research/articles/fara1-5-computer-use-agent/
  • GitHub 仓库:https://github.com/microsoft/fara
  • Hugging Face 权重:https://huggingface.co/collections/microsoft/fara15

Fara1.5 的价格与开源情况

权重以 MIT 许可在 Hugging Face 公开,下载、商用与二次分发都不需要向微软付费;代码仓库同为 MIT。这一档的成本全部落在自己的算力与工程投入上。

官方没有为 Fara1.5 单独发布按量计费的托管价格,文中不写虚构单价。若走公有云托管推理,账单取决于所选实例与调用量;若走自建 GPU,4B 与 27B 的差别主要体现在显存占用与单位任务耗时上。

换算成任务成本更直观:任务复杂度不同,执行步数也不同,每步一次推理。把单步耗时、截图数量与并发量纳入估算,才是这条路线真正的账单。同类开源智能体的部署成本可以按同一口径自行折算。

Fara1.5 的常见问题

和 Fara-7B 是什么关系

Fara1.5 是微软研究院推出的新一代计算机使用智能体模型系列,在 Fara-7B 的研究基础上升级,但并非直接基于 Fara-7B 继续训练。它以 Qwen3.5 为基础模型,通过 FaraGen1.5 数据生成体系构建训练数据并做监督微调。官方测试中,9B 版在 Online-Mind2Web 上达到 63.4%,相比 Fara-7B 的 34.1% 接近翻倍。

为什么只吃截图

不解析 DOM 或可访问性树,换来的是不依赖页面结构与特定前端框架;代价是每步都要传图、推理成本更高。它仍需识别布局与控件位置,弹窗、遮挡与分辨率变化都可能造成定位错误,因此更适合后台批量任务而非高频交互。

27B 需要多大显存

官方未在公开材料中给出具体显存要求,需按所选推理框架与量化方案实测;权重以 MIT 开放,可自行量化后再评估。文中不给未核验的显存数字。

能商用吗

可以。模型权重与 GitHub 仓库均标注 MIT,商用与二次分发无需额外授权,保留许可证与版权声明即可;上游基础模型等组件仍以各自许可为准。

会不会乱点导致误操作

官方说明模型在信息不足或动作不可逆时会请求澄清与审批。但工程上仍建议在提交、支付、发送这类动作前插入人工确认,不要完全依赖模型自控。

© 版权声明

相关文章