程序员只写代码的时代结束了!OpenAI工程负责人:开发者要重新定义什么叫“任务完成”
Ari Weinstein: 软件原本是为人设计的。
Ari Weinstein:现在的Agent已经很会自己排错。
Ari Weinstein:Agent写完代码以后,开发者反而成了它的测试人员。
最近Latent Space采访了OpenAI电脑操作 Agent产品与工程负责人Ari Weinstein。
他在访谈中谈到,一个原本需要自己操作2小时的任务,Computer Use用了约15分钟;Agent还能测试自己刚刚写出的软件,把编码与验收连接起来。
备注:Ari Weinstein是OpenAI电脑操作Agent产品与工程负责人,负责Computer Use等让AI直接操作浏览器和桌面软件的产品与技术工作。
过去,一项开发任务常在PR合并时结束。代码能运行、测试变绿,程序员就可以把修改交付。
Agent写完功能,还要自己打开软件,像用户一样点击页面、填写表单、检查结果。按钮没有反应,它会查找原因;页面出现报错,它会返回代码继续修改。
当Agent开始亲手使用软件,开发团队需要处理的,也从“它能不能把代码写出来”,延伸到了“它能不能安全地把整件事做完”。
OpenAI在DevDay展示了Dots。它会给Agent分配一台云端Linux虚拟电脑,里面有浏览器,也可以运行完整的桌面应用。
Ari Weinstein:“Same software.” Ari Weinstein:Agent可以直接使用人类正在使用的软件。
以前,模型遇到没有 API的软件,只能告诉用户下一步该点哪里。 现在开发者通过Agents API调用Computer Use,得到的是一个能够在真实界面中动手的执行环境。
Ari举了自己的订餐经历。他使用的配餐服务允许精确选择鸡肉和米饭的重量。手动安排一周的餐食,需要在很多页面和选项之间反复操作,他自己花了约2小时。Computer Use完成同一串操作,只用了约15分钟。
它说明了Computer Use和普通聊天 机器人 的差别: 模型给完建议没有停下,而是在界面里把建议变成了结果。
对开发者来说,调用模型也不再只意味着 “拿到一段文本”。任务可能持续几分钟甚至更久,中间还会经过登录、弹窗、加载、重试和人工确认。应用需要保存进度、展示当前状态,并允许用户在关键步骤接管。
Ari认为,Computer Use目前很实用的场景,就是让Agent测试它刚刚写出来的软件。
Coding Agent交出修改后,开发者过去要启动项目,打开页面,按着流程点一遍,再把按钮失效、表单报错和界面错位反馈给它。代码虽然是Agent写的,人却接过了最琐碎的验收工作。
Ari Weinstein:“Like QA.” Ari Weinstein:开发者就像在给Agent做测试。
Agent可以在页面里输入数据,查看界面变化,读取报错,再返回代码修改。过去分开的“写功能”和“点开检查”,开始变成同一个行动循环。
这并不代表开发者可以把验收全部丢给模型。页面能点通,只能证明最表层的流程没有卡住。订单系统还要检查重复提交会不会产生两张订单,支付失败后是否能安全重试,旧版本数据能不能继续读取,灰度发布后能不能随时回退。
Agent可以承担大量机械检查,团队仍然需要定义什么叫完成。验收条件写得越模糊,Agent就越容易把“页面有反应”当成“任务已经成功”。
早期的 Computer Use很慢。模型截一张图,寻找按钮,向下滚动,再截一张图。一个长页面会被拆成很多次观察和猜测。
Ari Weinstein:“Screenshots, accessibility, Playwright.” Ari Weinstein:它可以结合截图、无障碍信息和Playwright完成操作。
其中的 App Shot看起来像一张截图,传给模型的内容却不只有像素。 原始文字、页面结构、链接去向和界面元素的含义,也会一起成为上下文。
日历里显示不全的标题、藏在按钮背后的跳转地址、输入框对应的标签,人眼从一张截图里未必能看全, Agent却可以从无障碍树和页面结构里读取。
一个只靠红色和绿色表示失败或成功的状态,人看着已经费劲, Agent也很难稳定判断。按钮名称、表单标签、错误信息、加载状态和完成信号越清楚,Agent越少需要靠截图猜测。
过去无障碍语义主要服务人类用户。 Computer Use进入软件以后,它也开始成为一种机器可读的界面协议。前端做得是否规范,会直接影响Agent能不能操作。
企业里有大量软件从未给 Agent准备接口。采购后台、客服系统、财务平台和只有网页界面的第三方工具,不会因为一个自动化需求就重新开放API。
Computer Use给了这些系统另一条入口。Agent可以像员工一样登录,在已有界面中搜索、填写和提交,不必等待每一家软件供应商重新开发接口。
这对遗留系统尤其重要。开发团队不必先重写整套后台,便可以验证一段工作流是否值得自动化。运营人员每天从邮件里读取订单,再录入内部系统;财务人员登录多个网站下载对账单;测试人员按固定步骤回归网页,这些任务都可能先用界面操作接起来。
API仍然不会消失。频繁、高风险、要求强一致的任务,API更容易限定参数、验证返回值和处理重试。Computer Use更适合补上没有接口的空缺,或者从用户视角做端到端测试。
一套稳妥的 Agent系统,往往会同时保留两条路:能走稳定API的地方继续走API,只有界面可用的地方再让Computer Use接手。
Ari回忆,一年前的模型已经可以开始执行任务,问题通常出在中途。页面结构发生变化、登录状态失效,或者一次点击没有得到预期结果,Agent很容易停在那里。
自我排错比一次成功更接近真实工程。网络会超时,页面会改版,弹窗会挡住按钮,第三方服务也会临时不可用。 Agent若没有恢复循环,只能在演示里跑一条准备好的路线。
团队也不能只告诉它 “失败了再试”。重复点击会不会创建两张订单,超时后是否应该沿用原会话,每次工具调用有没有日志,连续失败几次必须交回给人,这些规则都要由开发者提前写进流程。
Ari Weinstein:“The average human.” Ari Weinstein:在不少任务上,Computer Use的速度已经接近或超过普通用户。
Ari Weinstein:“Expert computer users.” Ari Weinstein:下一步要追赶的是熟练使用软件的专业用户。
这是 Ari在访谈中的判断,并不是覆盖所有软件、所有任务的公开基准。专业用户会使用快捷键、批量操作和领域工具,Agent要追上的也不只是点击速度,而是这套经验。
当 Agent只生成文字时,错误通常停在聊天框里。Computer Use能够点击购买、修改配置和提交表单以后,一次判断错误可能直接改变真实系统。
Ari Weinstein:“User's consent.” Ari Weinstein:执行付款等重要操作前,需要取得用户同意。
权限之外,还要有停止条件。 价格超过预算、页面出现陌生收款方、连续多次操作失败, Agent不应该继续尝试,而应该中止任务并把当前状态交给人。
能操作软件让 Agent更有用,也让开发者第一次需要把“它什么时候不该继续”写进产品逻辑。
Computer Use不会让开发者明天就停止写代码。它改变的是一张工单怎样才算结束。
过去,任务常在 PR合并时完成。Agent开始操作软件以后,工单还要写明测试账号、允许访问的页面、成功信号、异常处理、人工确认点和可以检查的业务结果。
比如 “修复退款失败”不能只以代码通过测试为终点。Agent还要在测试环境创建订单、发起退款、核对状态是否同步到支付平台,并确认重复执行不会再次扣款。任何一步出了问题,都要留下日志和回滚路径。
开发者因此会多出一类工作:把原来存在脑子里的经验,变成 Agent能读懂、系统能检查的规则。
代码依然重要。只是当实现速度越来越快,界面语义、权限、可观测性、验收条件和事故恢复,也一起进入了软件工程。
YouTube评论区里,一位开发者把自我排错看作这次访谈最重要的进展。他认为 ,可靠Agent依赖的是失败后的恢复循环,并不要求第一次就全部做对。
另一条评论盯上了 “AI云”。 当Agent的记忆、计算和状态都由一家厂商托管,开发者需要提前考虑数据能不能导出,工作流能不能迁移,退出这套平台时还能带走什么。
两条评论关注的其实是同一件事: Agent能独立走多远,取决于失败后能否恢复,也取决于开发者是否仍然掌握控制权。
Coding Agent过去更像一名坐在编辑器里的开发者。它读仓库、改文件、跑测试,然后把Diff交给人。
Computer Use开始把它从编辑器里放出来。它会进入软件、观察结果、遇到错误再返回修复。界面成了Agent接口,测试成了行动循环,权限和日志则决定它能走多远。
下一阶段的软件工程,难点不只在于让模型生成更多代码。开发团队还要把成功、失败、权限和回滚写清楚,让 Agent在可控的范围里把整件事做完。
VIP课程推荐
APP专享直播
热门推荐
24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)
股市直播
01 / 美国大兵冲绳杀人,美国人都没想到,有这么多日本人替杀人犯喊冤
02 / “乌克兰该换总统了”!美俄达成能源合作,特朗普:泽连斯基阻碍俄乌达成和平协议
03 / 安全成本上升!中国刚果(金)大使馆再发紧急通报:措辞罕见严厉
05 / 沙特首都机场遭袭致12人死亡309人伤,现场画面曝光!沙特称胡塞武装犯下战争罪,将“坚决回击”
07 / 17亿只是冰山一角:郑家纯家族把内地两座地标摆上货架,一位新加坡“收租人”一周内两度接盘
09 / 宝钢股份2026年11月份电镀锡(铬)品种国内期货销售价格调整的公告
10 / 行业利润大概率创20年新低!留给水泥行业的时间不多了
03 / 一公司领导给刚毕业女下属发淫秽照,媒体:不存在“没碰你就不算”模糊地带
04 / 微软首席执行官Nadella呼吁针对先进人工智能建立“紧急制动”机制
06 / 俄罗斯根据特朗普与普京的协议 部分解除柴油出口禁令
07 / 立讯精密遭美国337调查,涉及数据中心电源模块 公司:相关产品处于客户验证阶段
09 / 将积极应诉!立讯精密回应美国337调查:涉案产品尚处客户验证阶段
01 / 最高年化22%?多家香港银行推出限时高息定存 业内提醒:不建议内地投资者专门换汇套利
02 / 儿子在ICU“救命钱”却在银行取不出 法院“明伤不鉴定”速判,解了燃眉之急
04 / 多家银行美元存款利率重回4%,储户在心动、算账更精细
06 / 浦发银行深圳分行突破4000亿元,女行长袁蕊很能干
09 / 西北最大城商行迎来新任行长!李嘉辉获批任长安银行行长
7X24小时
用户7763476192 : 再玩下去6000亿都守不住了,没人玩了
新浪简介 | 广告服务 | About Sina 联系我们 | 招聘信息 | 通行证注册 产品答疑 | 网站律师 | SINA English