新一代AI基准测试转向衡量智能体的现实任

作者：小小 · 2026-06-13 14:14:39

一项名为“OSWorld”的全新AI基准测试正在改变业界评估模型能力的方式。与侧重静态问答的传统测试不同，该基准直接让AI智能体操作真实的Ubuntu、Windows和macOS虚拟机，要求它们完成修改系统设置、处理办公文档等数百项日常计算任务。研究人员发现，即使是最先进的GPT-4等大模型，在完整任务上的成功率也仅为12.24%，而人类准确率则超过72%。这一巨大差距表明，当前AI在理解复杂界面、多步骤规划和错误纠正方面仍面临严峻挑战。 OSWorld的推出引发了广泛讨论。支持者认为，基于真实操作系统的交互式评估能更准确地反映AI的实用价值，避免传统基准因数据污染而导致的分数虚高。但部分专家也指出，这类测试成本高昂、执行时间长，且难以全面覆盖不同用户的使用习惯。行业观察人士表示，随着AI发展重心从聊天机器人转向能够自主执行任务的智能体，评测方法也必须同步进化。未来，衡量AI能力的关键或许不再是它能回答多少问题，而是它能帮你完成多少实际工作。