手机助手GUI智能体测评8月榜单发布!AgentCLUE-Mobile

大模型与端侧AI融合持续推动手机助手Agent进化。AgentCLUE-Mobile测评8月榜单发布,测评在统一的ADB手机交互与纯视觉输入环境下,沿用标准化任务集与"模型初审+人工终审"的评分体系。
并新增"步数冗余系数"效率指标——用于衡量Agent完成任务过程中实际操作步数相较合理执行路径的冗余程度。本次测评对任务集进行了调整:取消了通知栏跨应用任务维度。
手机助手GUI智能体测评方案文章详见:
SuperCLUE,公众号:CLUE中文语言理解测评基准手机助手GUI智能体测评方案发布!AgentCLUE-Mobile
本次测评涵盖6款手机助手GUI智能体产品,测评对象聚焦于有智能体架构与配套模型的产品。详细报告如下。
# 榜单概览




1.基准场景
AgentCLUE-Mobile手机助手Agent测评场景基准在统一的ADB手机交互环境与纯视觉输入条件下,从复杂意图拆解与动态规划、多模态GUI感知与理解、跨应用全链路执行三大维度,横向度量不同Agent在意图解析、视觉感知、长链路执行及异常恢复等维度的决策质量。详细场景设计如下:

其任务涉及覆盖了用户日常手机操作的高频场景,从第三方 App 的内容消费、社交互动到系统底层的硬件连接与设置,构成了手机助手 Agent 能力的完整评测版图。任务涉及到的应用如下:

2.题目分布
AgentCLUE-Mobile 评测基准设计标准化题目,覆盖三大一级维度与三种难度层级。难度呈“倒金字塔”结构,困难题目占比最高,简单与中等次之,以高难度任务为主,旨在拉开能力差距、暴露长链路执行中的状态丢失与异常恢复短板。维度上,“复杂意图拆解与动态规划”占比最高,涵盖显式/隐式指令、多意图并行与条件分支;“多模态GUI感知与理解”次之,覆盖文本语义、图标定位、控件状态与空间关系;“跨应用全链路执行”则聚焦数据迁移、长链路任务场景。全面评估 Agent 的认知决策、视觉感知与执行闭环能力。其题目详细分布情况如下:

# 手机智能体与手机的交互方式
被评手机智能体采用"感知-决策-执行"闭环架构。用户以自然语言下发任务后,智能体基于当前屏幕截图进行视觉理解与任务规划,生成结构化动作指令(如应用启动、坐标点击、文本输入等);该指令经 ADB 传输至手机端执行,执行后的新截图回传智能体,形成"观察-决策-执行"的循环迭代,直至任务完成。整个链路中,ADB 承担统一执行接口,截图承担纯视觉感知输入,智能体则负责认知决策与动态规划。被评手机智能体设计如下所示:

# 评测流程介绍
本次评测采用 "视觉状态对比 + 单步模型初审 + 人工终审修正" 的人机协同裁判机制,由裁判模型逐帧判定每步动作有效性,再经人工结合全量截图与执行轨迹综合复核、修正存疑步骤,最终输出经人工校验的任务完成度得分。
评测需前置准备三类数据:

坐标标注处理(预处理):
1.判断该步是否涉及坐标操作(如 click、long_press、swipe 等)
有坐标:在该步截图(step_i.png)上标注坐标点,输出为 step_i_marked.png
无坐标(如全局操作 press_home、input_text 等):直接复制原图并重命名为 step_i_marked.png
2.所有 marked 图片统一归档,作为后续裁判模型的视觉输入。
裁判模型逐步评分(第一层:单步评判)
按步骤顺序循环迭代,由裁判模型对每一步进行独立打分:
输入内容:
普通步(i < n-1):题目 + step_i_marked.png(操作前标注图)+ step_(i+1).png(操作后状态图)+ 前 i 步历史评分结果
最后一步(i = n-1):题目 + step_n-1_marked.png(最后操作前标注图)+ true.png(最终标准状态图)+ 前 n-1 步历史评分结果
评分标准:
裁判模型基于视觉状态变化判断该步是否有效推进任务且执行正确,给出二元评分:
1 分:该步有效,操作正确,状态向目标推进
0 分:该步无效、错误或偏离目标
人工复核(人工终审)
全部步骤模型初审完成后,启动人工复核分支,对模型评分进行终审校验:
复核动作:
审阅全部步骤的裁判模型得分
结合截图与轨迹综合判断:人工对比每步操作前后的截图变化,参考执行轨迹中的动作类型、坐标、输入文本、思考过程、执行反馈
对存疑步骤进行人工修正:针对模型可能误判的步骤(如无效操作被判有效、有效操作因微小状态变化被漏判等)进行人工干预
输出评测报告
以经人工复核确认/修正后的最终得分为准,汇总计算并生成结构化报告:
1. 汇总得分计算
汇总得分计算
2. 评测报告内容
每步裁判原始得分:模型初审的 0/1 评分记录
人工复核与修正记录:列出被人工干预的步骤、修正原因及修正后得分
最终总分:经人工终审确认后的任务完成度得分
最终得分
每个手机智能体产品的最终得分为:总分计算
总分=Σ(每个题目得分) / 总题数 × 100%
总分计算
其流程展示如下:

1.总成绩格局:榜首领跑、腰部胶着、榜尾分化

第一梯队(>90分):首次参评的蓝心小V以92.11分登顶,端到端完成率高达96.6%,在全部维度上均保持领先,展现出商业可用水平的端到端能力。
第二梯队(70-80分):Open-AutoGLM(76.75)、Mobile-Agent-3.5(73.45)、MAI-UI(72.89)形成胶着的中游集团,三者分差不足4分。
第三梯队(<60分):GELab-Zero(59.72)与UI-TARS(32.98)仍处于追赶阶段,UI-TARS与榜首差距接近60分,纯视觉驱动小模型在复杂手机交互场景下的能力瓶颈依然明显。
2.难度维度表现分化:仅蓝心小V实现全难度稳定输出

蓝心小V三档难度得分均在90分以上(简单90.44/中等96.04/困难91.06),是唯一三档全部超过90分的产品,且中等任务得分高于简单任务,各难度间波动较小。
其余产品的难度曲线形态不一:Open-AutoGLM与Mobile-Agent-3.5的困难任务得分(78.23/73.62)均高于中等任务(72.43/63.03),其中Mobile-Agent-3.5中等与困难的分差达10.6分。这一"难度逆序"说明,中等任务中的多意图并行与隐式判断对规划稳定性的挑战,更甚于步骤更长但目标明确的长链路困难任务。MAI-UI与GELab-Zero呈标准递减曲线;UI-TARS三档难度均在36分以下。
3.完成率与步数:各产品效率策略差异明显
蓝心小V:完成率96.6%,平均每题13.67步,完成率最高且步数较少,单步决策质量较高,冗余与回退操作少。
第二梯队:完成率63%-67%,步数差异较大,Mobile-Agent-3.5平均每题12.66步,为六款中最少,策略上偏效率优先;MAI-UI平均每题17.00步,为该梯队中最多,步数投入与完成率提升未成正比。
第三梯队:GELab-Zero(39.1%/16.38步)与UI-TARS(19.5%/21.39步)完成率较低且步数偏多,其中UI-TARS平均21.39步对应19.5%的完成率,步数增加未能转化为任务成功,无效操作占比偏高。
4.步数冗余系数:低冗余不等于高完成,需结合多指标解读

步数冗余系数的计算公式为:步数冗余系数计算
步数冗余系数=任务总步数 / 人工最优总步数
步数冗余系数计算
本期新增的步数冗余系数(步数冗余系数=任务总步数/人工最优总步数)从过程效率视角评估各智能体,数值越接近1,执行路径越贴近人工最优:
Mobile-Agent-3.5(六款中最低)路径最贴近人工最优,平均每题仅比最优路径多走约39%的步数,与其全场最少的平均每题12.66步一致。但其66.7%的完成率在第二梯队中并不突出,低冗余并未完全转化为任务成功。
蓝心小V在保持96.6%最高完成率的同时,冗余系数仅1.50,执行路径较为贴近人工最优。
Open-AutoGLM(1.52)冗余系数与蓝心小V接近,完成率63.2%。
GELab-Zero、MAI-UI、UI-TARS:UI-TARS冗余系数最高,平均每走2.35步才相当于人工最优路径的1步,与其19.5%的完成率相对应。
5.维度得分分布:各产品能力长短板分化明显
热力图以颜色深浅展示6款智能体在7个维度上的得分分布(深绿=高分,浅红=低分):
蓝心小V:所有维度得分均高于89分,是唯一在简单、中等、困难、意图拆解、GUI感知、跨应用执行六个维度上全部突破89分的产品;其最低维度为跨应用全链路执行(89.12),各维度得分较为均衡。
第二梯队:三款产品各有短板维度。Open-AutoGLM意图拆解(84.28)较高,但GUI感知(69.20)相对偏低;Mobile-Agent-3.5跨应用执行(81.45)为该梯队最高,但意图拆解(68.78)相对偏低;MAI-UI意图拆解(76.72)高于跨应用执行(68.94),呈"认知强、执行弱"的分布特征。三者与蓝心小V的分差主要来自各自的短板维度。
第三梯队:GELab-Zero各维度均低于65分,其中跨应用执行47.28;UI-TARS除GUI感知(48.28)外,其余维度均低于36分。
同一产品各维度得分的均匀度与完成率高度相关——端到端成功率往往受能力矩阵中最弱维度的制约,跨应用执行等短板的得分水平直接影响最终结果。
# 对比示例展示
【任务类型】:多模态GUI感知与理解-控件状态判别
在抖音的李子柒首页置顶视频播放界面,判断点赞按钮是否已点亮,如果未点亮则点亮它。
本题最终完成参考图true.png为:

{ "task": "在抖音的李子柒首页置顶视频播放界面,判断点赞按钮是否已点亮,如果未点亮则点亮它。", "total_steps": 8, "steps": [ { "step": 1, "action": "Step 1 [launchapp] 启动抖音" }, { "step": 2, "action": "Step 2 [click] 点击右上角搜索图标。" }, { "step": 3, "action": "Step 3 [input] 在搜索框输入“李子柒”。" }, { "step": 4, "action": "Step 4 [click] 点击右上角搜索按钮。" }, { "step": 5, "action": "Step 5 [click] 点击李子柒用户名进入主页。" }, { "step": 6, "action": "Step 6 [click] 点击第一个置顶视频进入播放页。" }, { "step": 7, "action": "Step 7 [click] 点击右侧白色心形点赞按钮。" }, { "step": 8, "action": "Step 8 [finish] 任务完成,已成功点亮点赞按钮。\n[任务总结] 已成功进入李子柒抖音首页的置顶视频播放界面,发现点赞按钮未点亮,已将其点亮为红色,任务完成。" } ]}
执行过程视频为,模型点击位置已在视频中标注:
对蓝心小V的评测为:
"step_scores": [ { "step_index": 1, "score": 1, "reason": "该步骤动作为启动抖音。从 before 截图可以看到系统处于助手界面并准备执行 launchapp 操作,after 截图显示已成功进入抖音 App 的首页(推荐频道)。该操作落点准确(顶部横幅指示明确),页面跳转符合预期,且启动目标应用是完成后续任务指令(在抖音内操作)的必要前提,属于有效推进步骤,故判定为 1 分。", "action_type": "launchapp", "action_desc": "启动抖音", "init_score": 1, "init_reason": "该步骤动作为启动抖音。从 before 截图可以看到系统处于助手界面并准备执行 launchapp 操作,after 截图显示已成功进入抖音 App 的首页(推荐频道)。该操作落点准确(顶部横幅指示明确),页面跳转符合预期,且启动目标应用是完成后续任务指令(在抖音内操作)的必要前提,属于有效推进步骤,故判定为 1 分。", "reflected": true, "raw_output": "```json\n{\n \"score\": 1,\n \"reason\": \"该步骤动作为启动抖音。从 before 截图可以看到系统处于助手界面并准备执行 launchapp 操作,after 截图显示已成功进入抖音 App 的首页(推荐频道)。该操作落点准确(顶部横幅指示明确),页面跳转符合预期,且启动目标应用是完成后续任务指令(在抖音内操作)的必要前提,属于有效推进步骤,故判定为 1 分。\"\n}\n```" }, { "step_index": 2, "score": 1, "reason": "在 before 截图中,操作标记(圈✕)准确地落在了页面右上角的搜索图标上。对比 after 截图,可以看到页面已成功从首页跳转到了搜索界面,出现了搜索输入框、历史记录以及抖音热榜等内容。这一步是搜索并进入“李子柒”主页的必要前提,操作准确且有效推进了任务目标。", "action_type": "click", "action_desc": "点击右上角搜索图标。", "init_score": 1, "init_reason": "在 before 截图中,操作标记(圈✕)准确地落在了页面右上角的搜索图标上。对比 after 截图,可以看到页面已成功从首页跳转到了搜索界面,出现了搜索输入框、历史记录以及抖音热榜等内容。这一步是搜索并进入“李子柒”主页的必要前提,操作准确且有效推进了任务目标。", "reflected": true, "raw_output": "```json\n{\n \"score\": 1,\n \"reason\": \"在 before 截图中,操作标记(圈✕)准确地落在了页面右上角的搜索图标上。对比 after 截图,可以看到页面已成功从首页跳转到了搜索界面,出现了搜索输入框、历史记录以及抖音热榜等内容。这一步是搜索并进入“李子柒”主页的必要前提,操作准确且有效推进了任务目标。\"\n}\n```" }, { "step_index": 3, "score": 1, "reason": "在 Step 3 的 before 截图中,搜索框内原本存在冗余文字,标注通过红框选中了目标关键词“李子柒”,并准备进行输入操作。对比 after 截图,可以看到搜索框内容已成功更新为“李子柒”,且下方出现了相关的搜索建议列表(如李子柒螺蛳粉、李子柒回归等)。这一步准确完成了关键词输入,为后续搜索李子柒主页奠定了基础,属于任务流程中的必要且有效步骤。", "action_type": "input", "action_desc": "在搜索框输入“李子柒”。", "init_score": 1, "init_reason": "在 Step 3 的 before 截图中,搜索框内原本存在冗余文字,标注通过红框选中了目标关键词“李子柒”,并准备进行输入操作。对比 after 截图,可以看到搜索框内容已成功更新为“李子柒”,且下方出现了相关的搜索建议列表(如李子柒螺蛳粉、李子柒回归等)。这一步准确完成了关键词输入,为后续搜索李子柒主页奠定了基础,属于任务流程中的必要且有效步骤。", "reflected": true, "raw_output": "```json\n{\n \"score\": 1,\n \"reason\": \"在 Step 3 的 before 截图中,搜索框内原本存在冗余文字,标注通过红框选中了目标关键词“李子柒”,并准备进行输入操作。对比 after 截图,可以看到搜索框内容已成功更新为“李子柒”,且下方出现了相关的搜索建议列表(如李子柒螺蛳粉、李子柒回归等)。这一步准确完成了关键词输入,为后续搜索李子柒主页奠定了基础,属于任务流程中的必要且有效步骤。\"\n}\n```" }, { "step_index": 4, "score": 1, "reason": "在 Step 4 的 before 截图中,操作标记(圈✕)准确地落在了搜索框右侧的“搜索”按钮上。对比 after 截图,页面成功从搜索建议列表跳转到了搜索结果展示页,出现了“用户”、“视频”等分类标签,并展示了李子柒的官方账号信息。该操作落点精准,页面跳转符合预期,是寻找目标账号的必要步骤,判定为有效推进。", "action_type": "click", "action_desc": "点击右上角搜索按钮。", "init_score": 1, "init_reason": "在 Step 4 的 before 截图中,操作标记(圈✕)准确地落在了搜索框右侧的“搜索”按钮上。对比 after 截图,页面成功从搜索建议列表跳转到了搜索结果展示页,出现了“用户”、“视频”等分类标签,并展示了李子柒的官方账号信息。该操作落点精准,页面跳转符合预期,是寻找目标账号的必要步骤,判定为有效推进。", "reflected": true, "raw_output": "```json\n{\n \"score\": 1,\n \"reason\": \"在 Step 4 的 before 截图中,操作标记(圈✕)准确地落在了搜索框右侧的“搜索”按钮上。对比 after 截图,页面成功从搜索建议列表跳转到了搜索结果展示页,出现了“用户”、“视频”等分类标签,并展示了李子柒的官方账号信息。该操作落点精准,页面跳转符合预期,是寻找目标账号的必要步骤,判定为有效推进。\"\n}\n```" }, { "step_index": 5, "score": 1, "reason": "在 before 截图中,操作标记(圈✕)准确地落在了搜索结果中“李子柒”的用户名称上。对比 after 截图,页面成功从搜索结果页跳转到了李子柒的个人主页,显示了其获赞数、粉丝数以及作品列表。这一步是进入主页以寻找置顶视频的关键步骤,操作准确且有效推进了任务。", "action_type": "click", "action_desc": "点击李子柒用户名进入主页。", "init_score": 1, "init_reason": "在 before 截图中,操作标记(圈✕)准确地落在了搜索结果中“李子柒”的用户名称上。对比 after 截图,页面成功从搜索结果页跳转到了李子柒的个人主页,显示了其获赞数、粉丝数以及作品列表。这一步是进入主页以寻找置顶视频的关键步骤,操作准确且有效推进了任务。", "reflected": true, "raw_output": "```json\n{\n \"score\": 1,\n \"reason\": \"在 before 截图中,操作标记(圈✕)准确地落在了搜索结果中“李子柒”的用户名称上。对比 after 截图,页面成功从搜索结果页跳转到了李子柒的个人主页,显示了其获赞数、粉丝数以及作品列表。这一步是进入主页以寻找置顶视频的关键步骤,操作准确且有效推进了任务。\"\n}\n```" }, { "step_index": 6, "score": 1, "reason": "在 before 截图中,操作标记(圈✕)准确地落在了李子柒个人主页作品列表中的第一个置顶视频上。对比 after 截图,页面成功从个人主页跳转到了视频全屏播放界面,视频内容与点击的缩略图一致。该操作是进入视频播放页以执行后续点赞动作的必要步骤,落点准确且页面跳转符合预期,属于有效推进。", "action_type": "click", "action_desc": "点击第一个置顶视频进入播放页。", "init_score": 1, "init_reason": "在 before 截图中,操作标记(圈✕)准确地落在了李子柒个人主页作品列表中的第一个置顶视频上。对比 after 截图,页面成功从个人主页跳转到了视频全屏播放界面,视频内容与点击的缩略图一致。该操作是进入视频播放页以执行后续点赞动作的必要步骤,落点准确且页面跳转符合预期,属于有效推进。", "reflected": true, "raw_output": "```json\n{\n \"score\": 1,\n \"reason\": \"在 before 截图中,操作标记(圈✕)准确地落在了李子柒个人主页作品列表中的第一个置顶视频上。对比 after 截图,页面成功从个人主页跳转到了视频全屏播放界面,视频内容与点击的缩略图一致。该操作是进入视频播放页以执行后续点赞动作的必要步骤,落点准确且页面跳转符合预期,属于有效推进。\"\n}\n```" }, { "step_index": 7, "score": 1, "reason": "在 Step 7 的 before 截图中,操作标记(圈✕)精准地落在了视频播放界面右侧的白色心形点赞按钮上。对比 Step 8(任务完成)的截图,可以看到该心形按钮已由白色变为红色,表明点赞操作已成功执行。该步骤落点准确,视觉变化符合预期,且直接达成了任务指令中‘点亮点赞按钮’的目标,是有效的推进步骤。", "action_type": "click", "action_desc": "点击右侧白色心形点赞按钮。", "init_score": 1, "init_reason": "在 Step 7 的 before 截图中,操作标记(圈✕)精准地落在了视频播放界面右侧的白色心形点赞按钮上。对比 Step 8(任务完成)的截图,可以看到该心形按钮已由白色变为红色,表明点赞操作已成功执行。该步骤落点准确,视觉变化符合预期,且直接达成了任务指令中‘点亮点赞按钮’的目标,是有效的推进步骤。", "reflected": true, "raw_output": "```json\n{\n \"score\": 1,\n \"reason\": \"在 Step 7 的 before 截图中,操作标记(圈✕)精准地落在了视频播放界面右侧的白色心形点赞按钮上。对比 Step 8(任务完成)的截图,可以看到该心形按钮已由白色变为红色,表明点赞操作已成功执行。该步骤落点准确,视觉变化符合预期,且直接达成了任务指令中‘点亮点赞按钮’的目标,是有效的推进步骤。\"\n}\n```" }, { "step_index": 8, "score": 1, "reason": "在 Step 8 中,模型执行了 [finish] 动作。通过观察最终截图,可以看到当前处于李子柒的视频播放界面,且右侧的点赞按钮(心形图标)已变为红色,这表明点赞操作已成功执行。截图状态完全符合任务指令‘点亮李子柒首页置顶视频的点赞按钮’的要求。任务已圆满完成,因此判定为 1 分。", "action_type": "finish", "action_desc": "任务完成,已成功点亮点赞按钮。\n[任务总结] 已成功进入李子柒抖音首页的置顶视频播放界面,发现点赞按钮未点亮,已将其点亮为红色,任务完成。", "init_score": 1, "init_reason": "在 Step 8 中,模型执行了 [finish] 动作。通过观察最终截图,可以看到当前处于李子柒的视频播放界面,且右侧的点赞按钮(心形图标)已变为红色,这表明点赞操作已成功执行。截图状态完全符合任务指令‘点亮李子柒首页置顶视频的点赞按钮’的要求。任务已圆满完成,因此判定为 1 分。", "reflected": true, "raw_output": "```json\n{\n \"score\": 1,\n \"reason\": \"在 Step 8 中,模型执行了 [finish] 动作。通过观察最终截图,可以看到当前处于李子柒的视频播放界面,且右侧的点赞按钮(心形图标)已变为红色,这表明点赞操作已成功执行。截图状态完全符合任务指令‘点亮李子柒首页置顶视频的点赞按钮’的要求。任务已圆满完成,因此判定为 1 分。\"\n}\n```" } ]}
评测说明:所有步骤准确无误,且无多余步骤,因此为满分100分。
【Mobile-Agent-3.5 回复】:
执行轨迹为:
"steps": [ { "step": 1, "action": "awake", "plan": "", "thought": "打开抖音App", "coordinate": null, "coordinate_original": null, "coordinate2": null, "coordinate2_original": null, "text": "抖音", "button": "", "direction": "", "status": "", "screenshot_after": "images/screenshot_step_1.png", "prompt_tokens": 0, "completion_tokens": 0, "total_tokens": 0 }, { "step": 2, "action": "click", "plan": "", "thought": "点击屏幕右上角的搜索图标(放大镜)。", "coordinate": [ 1110, 203 ], "coordinate_original": [ 0.925, 0.076 ], "coordinate2": null, "coordinate2_original": null, "text": "", "button": "", "direction": "", "status": "", "screenshot_after": "images/screenshot_step_2.png", "prompt_tokens": 0, "completion_tokens": 0, "total_tokens": 0 }, { "step": 3, "action": "type", "plan": "", "thought": "在搜索栏中输入“李子柒”以搜索李子柒的主页。", "coordinate": null, "coordinate_original": null, "coordinate2": null, "coordinate2_original": null, "text": "李子柒", "button": "", "direction": "", "status": "", "screenshot_after": "images/screenshot_step_3.png", "prompt_tokens": 0, "completion_tokens": 0, "total_tokens": 0 }, { "step": 4, "action": "click", "plan": "", "thought": "点击屏幕右上角的“搜索”按钮。", "coordinate": [ 1084, 203 ], "coordinate_original": [ 0.904, 0.076 ], "coordinate2": null, "coordinate2_original": null, "text": "", "button": "", "direction": "", "status": "", "screenshot_after": "images/screenshot_step_4.png", "prompt_tokens": 0, "completion_tokens": 0, "total_tokens": 0 }, { "step": 5, "action": "click", "plan": "", "thought": "点击用户资料部分中李子柒的头像图片,进入她的主页。", "coordinate": [ 172, 742 ], "coordinate_original": [ 0.144, 0.278 ], "coordinate2": null, "coordinate2_original": null, "text": "", "button": "", "direction": "", "status": "", "screenshot_after": "images/screenshot_step_5.png", "prompt_tokens": 0, "completion_tokens": 0, "total_tokens": 0 }, { "step": 6, "action": "click", "plan": "", "thought": "点击李子柒主页顶部的资料区域,调整页面位置以便查找置顶视频。", "coordinate": [ 537, 502 ], "coordinate_original": [ 0.448, 0.188 ], "coordinate2": null, "coordinate2_original": null, "text": "", "button": "", "direction": "", "status": "", "screenshot_after": "images/screenshot_step_6.png", "prompt_tokens": 0, "completion_tokens": 0, "total_tokens": 0 }, { "step": 7, "action": "click", "plan": "", "thought": "点击屏幕顶部中央的“设置备注”选项,以访问李子柒个人资料的更多设置。", "coordinate": [ 546, 518 ], "coordinate_original": [ 0.455, 0.194 ], "coordinate2": null, "coordinate2_original": null, "text": "", "button": "", "direction": "", "status": "", "screenshot_after": "images/screenshot_step_7.png", "prompt_tokens": 0, "completion_tokens": 0, "total_tokens": 0 }, { "step": 8, "action": "click", "plan": "", "thought": "点击视频网格左上角区域的第一个视频缩略图,该视频显示“1163.4万”个喜欢。", "coordinate": [ 207, 1955 ], "coordinate_original": [ 0.173, 0.732 ], "coordinate2": null, "coordinate2_original": null, "text": "", "button": "", "direction": "", "status": "", "screenshot_after": "images/screenshot_step_8.png", "prompt_tokens": 0, "completion_tokens": 0, "total_tokens": 0 }, { "step": 9, "action": "click", "plan": "", "thought": "点击屏幕右侧的心形/点赞按钮,该按钮当前显示“1163.4万”个点赞数,并且处于未点亮状态。", "coordinate": [ 1110, 1319 ], "coordinate_original": [ 0.925, 0.494 ], "coordinate2": null, "coordinate2_original": null, "text": "", "button": "", "direction": "", "status": "", "screenshot_after": "images/screenshot_step_9.png", "prompt_tokens": 0, "completion_tokens": 0, "total_tokens": 0 }, { "step": 10, "action": "complete", "plan": "", "thought": "任务已终止,因为成功完成了点亮李子柒首页置顶视频点赞按钮的目标。", "coordinate": null, "coordinate_original": null, "coordinate2": null, "coordinate2_original": null, "text": "我已进入抖音李子柒首页置顶视频播放界面,当前视频为2024年11月13日发布的《如愿》相关作品,画面中可见竹篱笆庭院、人物背影与白色花朵前景,右下角显示点赞数1163.4万、评论53.8万、收藏56.3万、分享166.3万。\n\n关于点赞按钮状态:屏幕右侧有一个红色实心爱心图标(即点赞按钮),其颜色为鲜红色,且无“未点亮”灰色状态,表明该视频已被我成功点赞。进一步确认:该按钮处于“已点亮”状态,符合任务要求——即“判断是否已点亮,若未点亮则点亮它”,而本例中无需额外操作,因点赞已完成。\n\n补充说明:当前视频为置顶内容(因是首页首屏展示的置顶视频,且下方有“全屏观看”按钮提示),点赞数高达1163.4万也佐证了其高人气,符合李子柒标志性田园风格内容特征。任务目标已达成。", "button": "", "direction": "", "status": "", "screenshot_after": "images/screenshot_step_10.png", "prompt_tokens": 0, "completion_tokens": 0, "total_tokens": 0 } ]
执行过程视频为,模型点击位置已在视频中标注:
对 Mobile-Agent-3.5 评测为:
"step_scores": [ { "step_index": 1, "score": 1, "reason": "(1) 标注位置分析:对于 open 动作,其目标是启动应用,before 截图显示为手机主界面;(2) 像素变化描述:对比 before 和 after 截图,可以看到系统从桌面成功跳转到了抖音 App 的视频流界面,页面内容发生了完全替换;(3) 任务相关性:该任务要求在抖音内操作,因此打开抖音 App 是完成任务的第一个必要步骤,直接向目标推进;(4) 冗余性分析:这是执行后续搜索或进入特定用户主页的基础,属于合理且必要的路径;(5) 最终给分结论:操作执行成功且符合逻辑,判定为 1 分。", "action_type": "open", "raw_output": "```json\n{\n \"score\": 1,\n \"reason\": \"(1) 标注位置分析:对于 open 动作,其目标是启动应用,before 截图显示为手机主界面;(2) 像素变化描述:对比 before 和 after 截图,可以看到系统从桌面成功跳转到了抖音 App 的视频流界面,页面内容发生了完全替换;(3) 任务相关性:该任务要求在抖音内操作,因此打开抖音 App 是完成任务的第一个必要步骤,直接向目标推进;(4) 冗余性分析:这是执行后续搜索或进入特定用户主页的基础,属于合理且必要的路径;(5) 最终给分结论:操作执行成功且符合逻辑,判定为 1 分。\"\n}\n```" }, { "step_index": 2, "score": 1, "reason": " (1) 标注位置分析:在 before 截图上,红点圆心准确落在了右上角的搜索图标(放大镜)上。(2) 像素变化描述:对比 before 和 after 截图,页面从视频播放流成功跳转到了搜索主界面,出现了搜索框、历史记录、猜你想搜以及抖音热榜等元素,且底部显示了键盘状态,证明点击操作已生效。(3) 任务相关性:任务目标是前往李子柒的首页,通过搜索功能查找特定博主是达成目标的标准路径。(4) 冗余性:该步骤是寻找目标账号的必要环节,非冗余操作。(5) 最终给分结论:操作准确且有效推进了任务,给 1 分。", "action_type": "click", "raw_output": "```json\n{\n \"score\": 1,\n \"reason\": \" (1) 标注位置分析:在 before 截图上,红点圆心准确落在了右上角的搜索图标(放大镜)上。(2) 像素变化描述:对比 before 和 after 截图,页面从视频播放流成功跳转到了搜索主界面,出现了搜索框、历史记录、猜你想搜以及抖音热榜等元素,且底部显示了键盘状态,证明点击操作已生效。(3) 任务相关性:任务目标是前往李子柒的首页,通过搜索功能查找特定博主是达成目标的标准路径。(4) 冗余性:该步骤是寻找目标账号的必要环节,非冗余操作。(5) 最终给分结论:操作准确且有效推进了任务,给 1 分。\"\n}\n```" }, { "step_index": 3, "score": 1, "reason": "(1) 标注位置分析:type 动作在截图上无标注,符合规范;(2) 像素变化描述:对比 before 和 after 截图,搜索框内的文本内容从“问道青城山”成功变更为“李子柒”,且下方实时出现了与“李子柒”相关的搜索建议下拉列表;(3) 任务相关性:输入目标博主姓名是寻找其主页的必经步骤,直接服务于任务目标;(4) 冗余性:该操作是搜索流程中的核心环节,无冗余;(5) 最终给分结论:动作执行准确,页面状态发生了符合预期的实质性推进,判定为 1 分。", "action_type": "type", "raw_output": "```json\n{\n \"score\": 1,\n \"reason\": \"(1) 标注位置分析:type 动作在截图上无标注,符合规范;(2) 像素变化描述:对比 before 和 after 截图,搜索框内的文本内容从“问道青城山”成功变更为“李子柒”,且下方实时出现了与“李子柒”相关的搜索建议下拉列表;(3) 任务相关性:输入目标博主姓名是寻找其主页的必经步骤,直接服务于任务目标;(4) 冗余性:该操作是搜索流程中的核心环节,无冗余;(5) 最终给分结论:动作执行准确,页面状态发生了符合预期的实质性推进,判定为 1 分。\"\n}\n```" }, { "step_index": 4, "score": 1, "reason": "(1) 标注位置分析:在 before 截图上,红点圆心准确落在了右上角的“搜索”按钮上。(2) 像素变化描述:对比 before 和 after 截图,页面从搜索建议列表成功跳转到了“李子柒”的搜索结果页面,展示了用户账号、粉丝数及相关视频内容。(3) 该变化与任务目标高度相关,是找到并进入李子柒主页的必要前置步骤。(4) 该步骤逻辑正确,非冗余操作。(5) 综上所述,该步骤有效推进了任务,给 1 分。", "action_type": "click", "raw_output": "```json\n{\n \"score\": 1,\n \"reason\": \"(1) 标注位置分析:在 before 截图上,红点圆心准确落在了右上角的“搜索”按钮上。(2) 像素变化描述:对比 before 和 after 截图,页面从搜索建议列表成功跳转到了“李子柒”的搜索结果页面,展示了用户账号、粉丝数及相关视频内容。(3) 该变化与任务目标高度相关,是找到并进入李子柒主页的必要前置步骤。(4) 该步骤逻辑正确,非冗余操作。(5) 综上所述,该步骤有效推进了任务,给 1 分。\"\n}\n```" }, { "step_index": 5, "score": 0, "reason": "(1) 标注位置分析:在 before 截图上,红点圆心落在搜索结果中“李子柒”的头像上,而不是下方已经展示的目标视频入口。(2) 像素变化描述:点击后页面由搜索结果页进入李子柒个人主页;虽然页面跳转成功,但仍未进入置顶视频播放界面,也未对点赞按钮状态进行判断。(3) 任务相关性:当前搜索结果中已展示点赞数为1163.4万的目标视频,本步没有直接选择该视频,而是进入用户主页,未直接完成当前应执行的视频选择。(4) 冗余性:该操作增加了一次额外导航,并为后续误点昵称埋下了干扰,属于偏离高效任务路径的步骤。(5) 最终给分结论:本步未直接推进到目标视频播放及控件状态判别,按新标注判定为 0 分。", "action_type": "click", "raw_output": "```json\n{\n \"score\": 1,\n \"reason\": \"(1) 标注位置分析:在 before 截图上,红点圆心准确落在了搜索结果中“李子柒”用户的头像上,这是进入其个人主页的正确操作点。(2) 像素变化描述:对比 before 和 after 截图,页面从搜索结果列表成功跳转到了李子柒的个人主页,展示了其作品列表和个人信息。(3) 任务相关性:任务目标是点赞其置顶视频,进入个人主页是找到置顶视频的必经步骤,该变化与任务目标高度相关。(4) 冗余性:该步骤是完成任务逻辑中的关键环节,非冗余操作。(5) 最终给分结论:该步骤操作准确且有效推进了任务,判定为 1 分。\"\n}\n```" }, { "step_index": 6, "score": 0, "reason": "(1) 标注位置分析:在 before 截图上,红点圆心落在主页顶部的昵称“李子柒”区域,并未落在下方作品列表中的置顶视频缩略图上。(2) 像素变化描述:点击后页面没有滚动或进入视频,而是弹出了包含“复制名字”和“设置备注”的菜单,遮挡了部分主页内容。(3) 任务相关性:任务要求进入置顶视频播放界面并判断点赞按钮状态,昵称菜单与视频选择及点赞状态均无关。(4) 冗余性:该点击未推进任务,反而引入了需要额外关闭的干扰弹窗,属于误操作。(5) 最终给分结论:操作偏离目标且没有产生有效进展,判定为 0 分。", "action_type": "click", "raw_output": "```json\n{\n \"score\": 0,\n \"reason\": \"(1) 标注位置分析:在 before 截图上,红点圆心落在用户昵称“李子柒”的文字区域;(2) 像素变化描述:对比 before 和 after 截图,页面弹出了一个包含“复制名字”和“设置备注”的功能菜单;(3) 任务相关性:任务目标是进入置顶视频播放界面并点赞,点击昵称弹出菜单的操作与寻找或播放视频完全无关;(4) 冗余性:该步骤不仅没有推进任务,反而产生了一个需要关闭的干扰弹窗,属于误操作或冗余步骤;(5) 最终结论:该动作未向目标推进,判定为 0 分。\"\n}\n```" }, { "step_index": 7, "score": 1, "reason": "(1) 标注位置分析:在 before 截图上,红点圆心位于弹出菜单外、昵称附近的空白区域,并未落在“复制名字”或“设置备注”选项上。(2) 像素变化描述:点击后弹出菜单被关闭,页面恢复为完整的李子柒个人主页,作品列表重新处于可操作状态。(3) 任务相关性:关闭无关菜单消除了上一错误步骤造成的遮挡,使智能体能够继续选择置顶视频,实际结果使任务重新回到正确路径。(4) 冗余性:虽然这是对前一步误操作的补救,但在当前页面状态下属于恢复正常操作环境所必需的纠错动作。(5) 最终给分结论:本步成功清除干扰并恢复了后续任务所需的主页状态,按新标注判定为 1 分。", "action_type": "click", "raw_output": "```json\n{\n \"score\": 0,\n \"reason\": \"(1) 标注位置分析:在 before 截图上,红点圆心落在弹出菜单中的“复制名字”选项上,而非模型思考过程中提到的“设置备注”。(2) 像素变化描述:对比 before 和 after 截图,弹出菜单消失,页面回到了个人主页视图。(3) 任务目标相关性:任务的核心目标是进入置顶视频并点赞。点击“复制名字”是与任务目标完全无关的操作。(4) 冗余性:该步骤是前一步错误操作(点击昵称导致弹出菜单)的延续,属于在错误路径上的进一步探索,没有对完成任务产生任何实质性的正面推进。(5) 最终结论:该操作偏离任务目标,属于无效步骤,判定为 0 分。\"\n}\n```" }, { "step_index": 8, "score": 1, "reason": "(1) 标注位置分析:在 before 截图(李子柒个人主页)中,红色空心圆环的圆心准确落在了“作品”列表的第一项视频缩略图上。该视频左下角显示有“1163.4万”点赞量,通常为置顶或最新视频。\n(2) 像素变化描述:对比 before 和 after 截图,页面从个人主页成功跳转到了该视频的全屏播放界面,视频内容与缩略图一致。\n(3) 任务相关性:任务要求在置顶视频播放界面判断并点亮赞。点击进入视频播放页是执行该任务的必要前提步骤。\n(4) 冗余性分析:该步骤是进入目标操作环境的必经之路,非冗余操作。\n(5) 结论:操作准确且有效推进了任务,给 1 分。", "action_type": "click", "raw_output": "```json\n{\n \"score\": 1,\n \"reason\": \"(1) 标注位置分析:在 before 截图(李子柒个人主页)中,红色空心圆环的圆心准确落在了“作品”列表的第一项视频缩略图上。该视频左下角显示有“1163.4万”点赞量,通常为置顶或最新视频。\\n(2) 像素变化描述:对比 before 和 after 截图,页面从个人主页成功跳转到了该视频的全屏播放界面,视频内容与缩略图一致。\\n(3) 任务相关性:任务要求在置顶视频播放界面判断并点亮赞。点击进入视频播放页是执行该任务的必要前提步骤。\\n(4) 冗余性分析:该步骤是进入目标操作环境的必经之路,非冗余操作。\\n(5) 结论:操作准确且有效推进了任务,给 1 分。\"\n}\n```" }, { "step_index": 9, "score": 1, "reason": "(1) 标注位置分析:在 before 截图上,红色空心圆环的圆心准确落在了视频右侧的点赞(心形)图标上,该图标当时处于未点亮的白色状态。(2) 像素变化描述:对比 before 和 after 截图,点赞图标已成功变为红色实心状态,且页面左下角新增了“共61.7万人推荐”的交互提示,证明点赞动作已生效。(3) 任务相关性:此操作直接达成了任务目标,即点亮点赞按钮。(4) 冗余性:该步骤是完成任务的核心必要步骤,非冗余。(5) 最终给分结论:操作准确且有效推进任务,给 1 分。", "action_type": "click", "raw_output": "```json\n{\n \"score\": 1,\n \"reason\": \"(1) 标注位置分析:在 before 截图上,红色空心圆环的圆心准确落在了视频右侧的点赞(心形)图标上,该图标当时处于未点亮的白色状态。(2) 像素变化描述:对比 before 和 after 截图,点赞图标已成功变为红色实心状态,且页面左下角新增了“共61.7万人推荐”的交互提示,证明点赞动作已生效。(3) 任务相关性:此操作直接达成了任务目标,即点亮点赞按钮。(4) 冗余性:该步骤是完成任务的核心必要步骤,非冗余。(5) 最终给分结论:操作准确且有效推进任务,给 1 分。\"\n}\n```" }, { "step_index": 10, "score": 1, "reason": "(1) 标注位置分析:answer 动作作为任务结束的标志,在截图中无标注位置,符合规范;(2) 像素变化描述:由于这是最后一步 answer 动作,没有 after 截图。观察 before 截图,视频右侧的点赞图标(心形)呈现红色点亮状态,且用户名为“@李子柒”,视频点赞数为 1163.4万,确认是目标视频;(3) 任务目标相关性:任务要求点亮李子柒首页置顶视频的点赞按钮,截图显示该状态已达成;(4) 冗余性分析:在确认任务目标完成后及时终止并给出答案是合理且必要的;(5) 最终给分结论:模型准确判断了任务完成状态并结束任务,判定为 1 分。", "action_type": "answer", "raw_output": "```json\n{\n \"score\": 1,\n \"reason\": \"(1) 标注位置分析:answer 动作作为任务结束的标志,在截图中无标注位置,符合规范;(2) 像素变化描述:由于这是最后一步 answer 动作,没有 after 截图。观察 before 截图,视频右侧的点赞图标(心形)呈现红色点亮状态,且用户名为“@李子柒”,视频点赞数为 1163.4万,确认是目标视频;(3) 任务目标相关性:任务要求点亮李子柒首页置顶视频的点赞按钮,截图显示该状态已达成;(4) 冗余性分析:在确认任务目标完成后及时终止并给出答案是合理且必要的;(5) 最终给分结论:模型准确判断了任务完成状态并结束任务,判定为 1 分。\"\n}\n```" } ]
评价说明:
最终成功进入李子柒首页置顶视频的播放界面,准确识别点赞按钮原本未点亮并完成点亮操作,任务结果正确;整体操作路径基本合理,能够完成打开抖音、搜索账号、进入主页、选择置顶视频及点赞等关键步骤,但中途存在点击头像产生额外导航、误点昵称弹出无关菜单的问题,随后通过关闭弹窗恢复了正确操作路径。综合来看,10 个步骤中有 8 步有效,得分 80 分,表现良好,但在目标控件定位和操作效率方面仍有提升空间。
https://github.com/alenyagger/Open-AutoGLM
2.Mobile-Agent-3.5:
https://github.com/X-PLUG/MobileAgent
3.GELab-Zero:
https://github.com/stepfun-ai/gelab-zero
4.UI-TARS:
https://github.com/bytedance/UI-TARS
5.MAI-UI:
https://github.com/Tongyi-MAI/MAI-UI
# 加入社群

