文章
AI代理技术可行性已破,但可靠性才是下半场的决胜关卡
本文探讨计算机使用AI代理的发展现状与生产部署情况。基准测试显示OSWorld-Verified得分从2025年初的42%提升至2026年的85%,已超越人类水平约72%。生产部署主要集中于标准化后端工作流程,如记录更新、门户数据处理、工单处理等。CPG数据平台每月运行1500-2000万次自动交互,全球系统集成商每日处理1500-2100个IT工单。核心挑战在于:输出难以交叉验证(如合同条款提取错误)、任务完成时缺乏成功验证信号、代理偏离脚本时脆弱。行业趋势显示执行层正在商品化,模型本身不再是决定因素,持久优势转向工作流上下文、流程知识、验证机制和故障处理设计。市场仍处于解决低垂果实的阶段,从“代理能否使用计算机“转向”代理能否可靠完成工作”。
核心要点
- OSWorld-Verified基准测试:最佳模型从2025年初42%提升至2026年85%,超越人类基线72%
- Claude Fable 5在OSWorld上以85%得分领先,数据来源为llm-stats.com排行榜(2026年6月)
- 生产部署集中于标准化、可重复的后端工作:记录更新、门户数据迁移、工单处理、系统间数据移动
- CPG数据平台案例:每月1500-2000万次自动门户交互,代理作为爬虫的自我修复后备方案
- 全球系统集成商案例:27个活跃工作流程,每日处理1500-2100个IT工单,目标再部署低利润托管服务合同20-25%的人力
关键判断
- OSWorld基准测试显示最佳AI代理得分从42%提升至85%,超越人类基线72%,技术可行性已解决。
- 生产部署规模已达日均数百万次交互,集中在标准化后端工作流程,验证了技术落地能力。
- 行业核心挑战从技术实现转向可靠性保障,包括输出验证、任务完成信号和异常处理。
- 市场趋势显示模型性能差距缩小,持久竞争优势转向工作流设计、流程知识和验证机制。
- 行业焦点从“代理能否使用计算机“转向“代理能否可靠完成工作”,进入可靠性竞争阶段。
未来推演
判断:未来 3-9 个月,Agent 产品会更快从能力展示转向审批明确、可回滚、可观测的执行流程。
时间跨度:未来 3-9 个月
为什么是现在:文章对价值判断已经不再停留在对话体验,而是落在流程接入、执行闭环和控制能力上。
重点信号:产品是否增加审批节点、案例是否从演示转向生产流程、用户是否更重视可观测性
置信度:高