这项由好意思国伊利诺伊大学厄巴纳-香槟分校（UIUC）与微软磋议院扶助开展的磋议，于2026年6月发布在预印本平台arXiv上，论文编号为arXiv:2606.02031。有益思意思深化了解的读者不错通过该编号查询完整论文。

**一场对于"会用浏览器的AI"的竞赛**

每天，人人特等十亿东谈主大开浏览器，在网页上搜索商品、填写表单、比价购物、查阅信息。这些操作对东谈主类来说满有掌握，但对AI来说，却是一座难以翻越的山。网页是动态的、零星的、充满弹窗和考据码的，况且每隔一段时间就会改版——这对需要"看懂网页、点对地方、完成任务"的AI智能体来说，简直是恶梦般的锻练场。

现在最利弊的网页AI智能体，基本齐掌抓在OpenAI、Google这么的科技巨头手中，属于不合外公开锻练细节的"黑箱系统"。开源社区固然也在竭力，但渊博依赖一种叫作念"监督学习"的方式——也即是先集聚无数东谈主类操作网页的示范摄像，再让AI效法。这种方式有个致命短板：摄像拍摄既不菲又费时，况且录制完成的一刻起就出手"逾期"，根底跟不上互联网日眉月异的变化节律。

恰是在这么的布景下，UIUC与微软的磋议团队决定匠心独具。他们的中枢想路是：与其让AI死记硬背东谈主类的操作示范，不如让AI顺利在真实网站上"我方去试"，从告捷和失败中学习。这个场合被称为"在线强化学习"，对于视觉化的网页智能体来说，它此前简直如故一派空缺地带。

磋议团队将这套完整的锻练框架定名为OpenWebRL，并在此基础上锻练出了一个4B参数畛域的模子OpenWebRL-4B。这个模子仅凭400条开动示范轨迹和2200个在线锻练任务，就在三个顶级网页智能体测评基准上刷新了开源最高分，部分打算以致超越了OpenAI和Google的买卖系统。

**一、为什么"我方去试"比"死记硬背"更难？**

在矜重先容这套方法之前，有必要先蚁合为什么让AI在真实网页上"边干边学"是一件极其坚苦的事。

一个东谈主学骑自行车，会从颠仆中体验到均衡的病笃性，并不才次退换姿势。这个反馈是即时的、了了的。但让AI在网页上学习完成任务，濒临的反馈环境要复杂得多。网页是活的——今天还能正常显现的按钮，未来可能被移走；今天能跑通的登录历程，未来可能多了沿路考据码；某些网站会把时常的自动化操作识别为"机器东谈主"并顺利封闭拜谒。这些齐是"环境噪声"，很容易让AI误认为是我方作念错了，从而学偏。

更难的问题在于：网页任务的"告捷与否"通常要比及扫数这个词任务完成后才能判断。你无法在AI点击第三个按钮的时候告诉它"这一步作念得对"，只可在它最终回应出"这款鞋的最廉价是299元"之后，才能评判扫数这个词过程对不合。这种"过后才知谈收尾"的反馈机制，对锻练算法的联想提倡了很高的要求。

与此同期，视觉信息的处理代价极高。每一步操作，AI齐要"看"一张网页截图——这张截图可能包含数百个元素，残害无数计较资源。若是每一步历史截图齐保留在AI的"顾忌"中，一个30步的任务轨迹以致会超出大多数模子的凹凸文承载上限。

磋议团队在论文中系统性地梳理了这些挑战，并为每一个挑战联想了具体的约束决议，这些决议共同组成了OpenWebRL框架的中枢。

**二、搭建一个"真实网页锻练场"**

OpenWebRL的第一块基石，是一套能在真实网站上踏实运行的浏览器环境基础设施。

不错把这套系统蚁合为给AI搭建了一个"沙盒游乐场"——每个锻练任务齐在寥落的杜撰浏览器窗口中运行，互不过问，就像每位学员齐有我方专属的锻练跑谈，不会因为别东谈主的乌有影响我方。这套基础设施基于Playwright和Chromium构建，运行在Kubernetes容器化环境中，支撑上百个浏览器实例同期并走运作。

但真实网页的穷困在于，即便环境搭好了，多样有时随时会发生：某个网站加载太慢、某次集聚苦求超时、某页面一刹弹出考据码、某个按钮因为反自动化机制而拒却被点击。磋议团队为此联想了完善的"容错机制"——系统会自动分辨"是AI作念错了"如故"是网站出问题了"，并将失败原因详备纪录下来，以便后续分析。对于那些反复出现集聚故障的网站，系统还会自动将其列入黑名单，幸免锻练资源浪费在根底无法拜谒的地址上。

**三、让AI"看见"我方的每一步操作收尾**

仅靠截图，AI很难知谈我方的操作是否真的顺利了。点了一个按钮之后，页面可能看起来没什么变化，但实质上可能如故偷偷导航到新页面、约略填写进去的内容根底没被罗致。

OpenWebRL约束这个问题的方式，是给每一次操作齐附上一条"翰墨反馈"，止境于给AI配备了一个及时助理，在它每次操作后耳语教导："刚才你点的阿谁按钮告捷了，页面跳转到了xxx"，约略"你输入的翰墨和实质罗致的内容不一致，耀眼看"。这条翰墨反馈是通过分析操作前后的网页DOM树（网页结构树）变化来生成的，内容精真金不怕火但信息密度高。

这条反馈的病笃性在后续实验中得到了明确考据——去掉这个翰墨反馈，AI在多个基准测试上的告捷率会下落5到8个百分点。尤其是在需要多步操作的长程任务中，少了这个反馈，AI就像在黯澹中摸索，很容易在一个如故失败的操作上反复纠缠，约略没坚贞到某个要津相貌如故出错。

**四、给AI的"操作器具箱"和"多任务并行"技艺**

OpenWebRL为AI配备了一套由13个基础操作器具组成的器具箱，涵盖鼠标点击（单击、双击、右键）、键盘输入、页面飘浮、网址跳转、前进后退、标签页约束，以及最病笃的"完成并敷陈"操作——这是AI告诉系统"任务作念已矣，我的谜底是xxx"的独一方式。

更敬爱的是，AI每次不需要只调用一个器具。磋议团队允许AI在一次"想考-行径"周期中一语气调用多个器具。比如，AI不错在一次输出中同期完成"点击搜索框、输入要津词、按回车"这三个一语气动作，而不需要阅历三次"截图→想考→操作→恭候截图"的完整轮回。这个联想大大提高了锻练效力，小九体育在线直播官网减少了不必要的模子与环境之间的往来交互。

**五、约束"顾忌过载"的贤慧妙招**

一个30步的网页操作任务，若是把每一步的截图齐保留在AI的顾忌中，数据量之大足以撑爆大多数模子的凹凸文甘休。磋议团队的约束决议既精真金不怕火又高效：只保留最近一张截图，但完整保留历史翰墨信息。

风趣风趣其实很朴素：东谈主在作念复杂任务时，不需要同期盯着之前每一步的操作界面，只需要记着之前作念了什么、收尾若何，以及面前屏幕上看到的内容就够了。AI亦然如斯。历史截图被丢弃，但每一步的操作纪录、环境反馈和AI我方的"想考过程"齐完整保留，算作翰墨姿色的"处事顾忌"。

实验收尾标明，只保留最近一张截图（K=1）与保留最近两张比较，成果简直莫得各别，但计较资本却显赫箝制——保留两张截图会让锻练时长从约240 GPU小时加多到400 GPU小时。这个发现告诉咱们，在多模态智能体的长程任务中，讲话顾忌的价值通常比视觉历史更为要津。

**六、"家教"先打好基础，再罢休自学**

OpenWebRL的锻练分为两个阶段，这两个阶段的联想想路，很像东谈主类学习新妙技的经典旅途：先随着竭诚学基本功，再寥落上场实战升迁。

第一阶段是"监督微调"，也即是让AI先效法妙手操作。磋议团队使用Qwen3-VL-235B（一个领有2350亿参数的超大模子，不错蚁合为行业顶尖水平的"竭诚"）来完成一批网页任务，筛选出告捷的轨迹，然后从中用心挑选412条最具代表性的轨迹，让4B的小模子来效法学习。

之是以只选412条而不是用几十万条，是有三想此后行的情理的。磋议团队发现，若是喂太多示范数据，小模子会把竭诚的操作作风学得过于幼稚，反而在后续的实战锻练中穷乏"可塑性"，难以被进一步骤整优化。就像一个从小被逼着葫芦依样的学生，反而不如阿谁只学了基本原则、但保留了自主探索技艺的学生跳跃更快。

实验中，磋议团队对比了四种不同的开动化方式：实足不作念监督锻练、少许锻练1轮、适量锻练3轮，以及无数数据锻练3轮。收尾发现，适量的监督预热（412条数据、3轮锻练）带来的后续强化学习成果最佳，而无数数据预热反而会牵累最终表现。这个论断有病笃的实际指令道理：开动化的观点是"让AI能出手探索"，而不是"把AI调教成一个竣工的效法者"。

**七、"在试错中成长"的强化学习核默算法**

第二阶段是OpenWebRL真是的中枢：让4B模子在真实网站上我方作念任务，字据最终的告捷或失败来更新我方的"决策计策"。

这套锻练算法的名字叫作念MM-GRPO（多模态多轮群体相对计策优化），AG国际登录网址但不必被这个名字吓到。它的基本逻辑其实相配直观化。

每次锻练，系统会给AI归并个任务，让它寥落尝试5次（一组），生成5条不同的操作轨迹。有些轨迹告捷完成了任务，有些失败了。系统随后计较这5次尝试的平均告捷率，然后告诉AI：比平均水平高的那些轨迹，应该更多去效法；比平均水平低的那些轨迹，应该幸免旧调重弹。这种"组内相对比较"的方式，让系统不需要一个外部的"竣工尺度谜底"，只需要我方里面的成败对比就能不息跳跃。

有一个细节相配值得暖热：若是某个任务的5次尝试收尾实足相似（比如全部告捷或全部失败），这组数据会被顺利丢弃，不参与锻练更新。风趣风趣很简便——全部告捷意味着这个任务太简便，AI如故掌抓了；全部失败意味着这个任务面前太难，暂时无法从中学到灵验信号。只消那些"有时告捷、有时失败"的任务，才能提供最有价值的学习素材。这止境于为AI自动构建了一个难度适中的动态课程。

锻练给与了"两阶段飘浮步长"的计策：先用最多15步的短程任务锻练90轮，让模子在较短的任务中开采基础探索技艺，再切换到最多30步的长程任务再锻练50轮，让模子学会应答真是的长程打算挑战。实验标明，这种由短到长的课程式锻练，比一出手就顺利上30步任务的成果要好得多，尤其在WebVoyager这个需要较多相貌的基准上，差距高达7.4个百分点。

**八、谁来当"评判官"？从不菲到平价的进化**

网页任务完成之后，如何判断AI的谜底是否正确？这是扫数这个词系统中最难尺度化的一环。

一些任务不错用次序判断，比如"找到这款手机的最廉价钱"，只消查对数字就行。但许多任务的评判需要蚁合语义，比如"找到一家评分最高且离我最近的五星级牙医"，谜底可能因网页情状不同而有合理各别，不是简便对比字符串就能判断对错的。

磋议团队的默许决议是用GPT-4.1算作"评判官"，但这会产生显赫的用度：一次完整的锻练实验需要调用约4.32万次GPT-4.1评判API，总用度约545.5好意思元。对于许多学术磋议组来说，这是不小的处事。

为了约束这个问题，磋议团队特意从1.25万条带有GPT-4.1评判标签的真实轨迹数据中，蒸馏锻练出了一个8B畛域的开源评判模子OpenWebRL-Judge-8B。实考据明，这个评判模子与GPT-4.1的判断吻合度高达89.8%，抽象F1分数达到92.1%，超越了WebJudge-7B、Qwen3-VL-32B以致GPT-4o等竞争者。用这个腹地评判模子替换GPT-4.1之后，最终模子的性能简直莫得吃亏，平均告捷率从68.4%仅微降到68.3%——简直不错忽略不计。

磋议团队还对比了顺利用Qwen3-VL-8B（未经特意锻练的通用模子）算作评判官的成果，收尾令东谈主警惕：锻练奖励分数看起来越来越高，但实质测试告捷率却在不息下滑——这是典型的"奖励专揽"气候，AI学会了如何让评判官酣畅，而不是真是完成任务。这进一步阐明，特意锻练的评判模子对于扫数这个词锻练系统的踏实性至关病笃。

**九、得益单：小模子击败大系统**

OpenWebRL的最终得益止境亮眼。磋议团队在三个顶级网页智能体基准上进行了全面评测。

WebVoyager是一个遮掩15个主流网站的抽象型基准，共595个任务；Online-Mind2Web则包含136个网站的300个长程任务，难度更高；DeepShop专注于电商购物场景，要求AI在多重不停下完成商品搜索与采纳，共150个任务。

OpenWebRL-4B在这三个基准上分别取得了74.1%、67.0%和64.0%的告捷率，平均告捷率68.4%，成为同等畛域开源模子中的最高水平。横向对比来看，它不仅大幅超越了FARA-7B（后者在Online-Mind2Web和DeepShop上分别只消34.1%和26.2%）、MolmoWeb-8B（35.3%和42.3%），以致超越了领有2350亿参数的Qwen3-VL-235B-A22B。更值得暖热的是，OpenWebRL-4B在Online-Mind2Web和DeepShop两个基准上还压过了买卖系统OpenAI CUA（58.3%和24.7%）和GPT-5的SoM版块（57.7%和49.1%）。

彭胀到8B参数畛域的OpenWebRL-8B表现愈加稳妥，平均告捷率达到68.7%，与买卖系统Gemini CUA（57.3%和62.0%）在两个基准上的对比中展现出较着上风。

这些得益的取得，仅使用了412条开动示范轨迹和2200个强化学习锻练任务，而竞争敌手如MolmoWeb则使用了卓绝27.85万条数据——出入了整整两个数目级。这标明，高质地的在线交互锻练所带来的升迁，实足不错弥补开动数据量上的宏大差距。

**十、AI在锻练中到底学会了什么？**

磋议团队莫得闲隙于发布得益单，而是进一步分析了锻练过程中AI行径的变化，试图蚁合强化学习究竟更动了什么。

一个敬爱的发现是：随着锻练的鼓吹，AI每一步的输出如实变长了，但总体任务完成所需的相貌数却在减少——平均步数从第0轮的14步下落到了第80轮的8.9步，扫数这个词轨迹的总长度也相应裁减。这阐明AI并不是在无效地"啰嗦"，而是在更少的相貌内作念更充分的想考。

磋议团队对AI的想考内容进行了深化分析，界说了四种常见的"想维模式"：历史总结（回归之前作念过什么、去过哪些页面、什么方法失败了）、不容会诊（发现考据码、页面封闭等防止）、重试打算（制定新的替代计策）和条目考据（逐个核查任务要求是否闲隙）。

锻练前后，这四种模式的出现频率齐有显赫升迁：历史总结的出现率从14.5%升迁到21.4%，不容会诊从14.2%升迁到23.7%。况且，出现这些想维模式的相貌，其反应长度增长更为显赫，从平均332 token加多到542 token（历史总结），从273加多到440（不容会诊）；比较之下，不包含这些模式的浮浅相貌，长度增长相配有限（从282加多到325）。

开云2026世界杯赛程分析官网

这阐明AI学会了"有采纳地深度想考"：在要津决策节点上插足更多通晓资源，而不是均匀地在每一步上平摊想考量。这种行径模式与东谈主类众人的通晓方式高度吻合——碰到卡点时深度分析，熟悉操作时快速实施。

**归根结底，这套方法更动了什么？**

说到底，OpenWebRL阐明了一件在AI磋议领域颇具争议的事：对于网页智能体这类需要在复杂、动态环境中作念长程决策的任务，"让AI在真实寰宇里边作念边学"不仅是可行的，况且比"堆砌无数东谈主类示范数据"要高效得多。

这对浮浅用户意味着，改日咱们可能会看到更多能真是蚁合网页、完成复杂在线任务的AI助手，而这些AI不再需要依赖科技巨头掌抓的海量特特等据，而是不错通过通达的框架和有限的开动锻练，在公开的互联网上不息自我升迁。

从磋议自己的局限性来看，有51%的失败案例源于网页自己的拜谒问题——考据码封闭、集聚结合失败、反自动化机制等——这些齐不是模子技艺的问题，而是通达互联网上AI智能体必须面对的基础设施挑战。另外27%的失败来自模子在长程多不停任务中的打算和追踪技艺不及，13%来自视觉定位的精度问题。这些场合，也恰是接下来磋议竭力的重点所在。

磋议团队已布告将公开采布锻练数据、模子权重和完整代码，让学术界和寥落磋议者齐能在此基础上连续探索。对视觉AI、智能体技能或强化学习感意思意思的读者，不错通过arXiv编号2606.02031找到这篇完整论文，约略拜谒样式主页openwebrl.github.io获取更多资源。

---

Q&A

Q1：OpenWebRL-4B为什么只用400条锻练数据就能击败用了27万条数据的模子？

A：这主要归功于在线强化学习的锻练方式。OpenWebRL-4B不是靠死记硬背东谈主类示范来学习，而是在真实网站上我方出手作念任务，从告捷和失败的收尾中总结阐明注解。400条数据仅仅用于"打基础"的开动监督锻练，真是让模子突飞大进的是后续2200个任务的在线实战老到。简便说，质地高的真实交互阐明注解，比数目大的静态示范数据更有学习价值。

Q2：OpenWebRL-Judge-8B评判模子和蔼利用GPT-4.1有什么区别？

A：两者的评判准确率相配接近，但资本各别宏大。用GPT-4.1作评判官，一次完整锻练需要破耗约545好意思元的API用度；而OpenWebRL-Judge-8B是一个不错腹地运行的开源模子，锻练完成后不需要特别付费。更病笃的是，实考据明用GPT-4.1锻练出来的模子和用OpenWebRL-Judge-8B锻练出来的模子，最终测评得益简直实足换取，平均告捷率仅差0.1个百分点。

Q3：OpenWebRL锻练框架为什么要把历史截图丢弃，只保留翰墨纪录？

A：因为截图的信息量极大ag官方网站登录入口，保存扫数历史截图会超出模子的处理上限。实验发现，保留最近两张截图和只保留一张比较，成果简直莫得各别，但计较资本从240 GPU小时加多到400 GPU小时。AI真是需要的"历史顾忌"，其实通过保存每步的翰墨反馈和AI我方的推理纪录就如故弥散，这些翰墨信息比历史截图更紧凑、更高效地传递了要津信息。