Hugging Face 开源了专用于评估 GUI 智能体的综合测试套件 ScreenSuite。
什么是 GUI Agent？简单说，就是“能像人一样操作屏幕”的 AI！它能识别界面内容、点击按钮、输入文字、滚动页面……实现真实的“虚拟助手”体验。
现在，Hugging Face 推出了全新的开源工具 ScreenSuite，帮助开发者和研究者评估这类视觉语言模型的实际操作能力！
ScreenSuite 能做什么？
它整合了 13 个评测集，覆盖：
- 屏幕感知与 UI 定位
- 单步操作指令执行
- 多步骤任务规划与完成
ScreenSuite 已在多个主流 VLM 上完成评测，包括：
- Qwen2.5-VL 系列（3B~72B）
- UI-TARS、Holo1 等优秀开源模型
- GPT-4o 等闭源模型
ScreenSuite 支持 Ubuntu、Android、Windows 多平台评测，结合虚拟机环境还原真实交互场景，适用于科研评估与模型迭代。与其他评测不同的是，ScreenSuite 完全基于视觉输入，不依赖 DOM 或辅助树，更贴近人类的使用方式，挑战也更真实。
