智能体终端任务测评基准方案发布!SuperCLUE-Terminal

# 测评背景
SuperCLUE-Terminal 是面向 AI Agent 终端操作能力的中文化实战测评方案。以 Terminal-Bench-2.0 的任务组织方式为参考框架,由多位国内资深代码专家结合本土开发实践设计新题。考察模型在智能体驱动下的中文理解、长程执行与端到端交付能力,精准量化复杂工程场景中的规划、执行与排障表现,为产业选型提供决策依据。

评测流程设计

# 基准特点
SuperCLUE-Terminal 相比传统问答、代码补全或单轮脚本生成评测,更强调 Agent 在真实终端环境中的完整任务完成能力,具有以下特点:
真实终端交互:模型需要在 Linux 沙箱中自主执行命令、查看文件、修改代码、运行测试并处理报错,评测对象是完整执行过程后的最终状态。
端到端可验证:每道题都通过 pytest 或等价脚本验证输出文件、程序行为、服务状态或计算结果,避免只评价回答文本是否合理。
可复现与可审计:任务结构、运行环境、测试脚本和参考答案标准化,支持结果复核和错误案例追踪。
基准创新点为:
真实业务语境建模:任务围绕软件研发、数据处理、运维排障、合规审计、业务报表等真实工作流设计,要求模型理解需求背景、输入约束和交付标准,而不是只完成孤立命令或片段化代码。
工程任务高区分度:题目覆盖调试、依赖处理、数据清洗、系统配置、项目重构、性能优化等多维度复杂场景,其中部分任务采用1–2小时与4–5小时双梯度时长设计,能够有效检验并拉开不同Agent在长程规划、执行稳定性及问题排查能力上的表现差距。
中文本地化鲁棒性:构建分层对抗性评测,表层覆盖编码(含GBK/GB2312)、格式转换、排序及表头识别;深层考察中文报错日志理解、技术文档/注释语义解析、以及分词、情感分析等NLP任务的输出稳定性。
多维结果拆解:除总通过率外,还按任务类型、能力标签、业务场景、失败原因、推理耗时和超时率、token 消耗、平均步骤数、成本等指标分析模型表现,便于定位具体短板。
# 基准介绍
(一)评测基准场景划分
首批SuperCLUE-Terminal为100 道任务,按任务目标和能力侧重点分为三类:

注:最终的测评体系以正式测评结果为准。
1. 综合场景任务
覆盖软件工程、系统管理、安全合规、数据处理、科学计算、机器学习、文件格式转换等综合终端工作流,强调模型在多类工具和工程语境中的综合执行能力。
2. 中文适配类任务
聚焦中文用户环境中的真实材料和本地化问题,包括中文路径、中文文件名、中文表头、中文业务文本、中英混合文档、本地化日期、货币、编码和标点等。考察模型的中文语义理解、编码兼容、字段识别、本地化格式处理等。
3. 长程类任务
模拟需要持续推进的项目级工作流,如跨文件重构、依赖迁移、CI 修复、服务稳定性修复、性能优化和回归测试补齐。考察模型的长程规划、持续调试、错误恢复、上下文保持、交付闭环的能力。
(二)评测方式

流程如上图所示,评测按以下流程执行:
读取任务配置:解析
task.yaml,获取中文任务指令、任务分类、标签、超时时间、测试解析器和运行参数。创建评测试验记录:为当前模型、任务和采样轮次创建独立评测试验记录,绑定任务 ID、模型 ID、运行参数、随机种子、日志路径和产物目录。
构建隔离环境:根据
Dockerfile和docker-compose.yaml构建并启动任务容器,将任务初始文件放入/app等工作目录,确保不同任务和不同模型运行之间互不污染。安装并启动智能体:通过模型适配器将智能体安装或配置到任务容器中,例如 Claude Code、Codex CLI 或其他 Agent 运行时。智能体在同一任务容器内通过受控终端会话接收中文任务说明并执行操作。
注入任务指令:Agent 只接收任务说明和可访问的初始环境,不会接触参考答案、隐藏测试或评测标签中的答案信息。
Agent 自主执行:Agent 框架在任务容器内形成观察-动作循环,通过终端会话查看文件、执行命令、编辑代码、安装必要依赖、启动服务、处理报错并反复验证。系统记录命令、终端输出、耗时和退出状态,便于后续审计。
冻结提交状态:Agent 结束或达到最大执行时间后,评测系统固定当前文件系统和服务状态,进入测试阶段。
挂载或注入测试:将
tests/、run-tests.sh等评测文件挂载或复制到测试环境,避免 Agent 在执行阶段提前读取测试实现。执行自动化验证:运行
run-tests.sh,由 pytest 或等价脚本检查输出文件、程序接口、服务状态、数据统计结果、边界条件和格式约束。判定任务结果:所有测试通过则记为通过;测试失败、运行异常、输出不符合约束或超时均记为未通过,并保留日志用于失败类型分析。
(三)总分计算方式
每题只有通过或未通过两种状态。pytest 全部通过才为通过记为1分;pytest出现有部分测试失败为未通过记为0分。
总分的计算
总分=通过任务数 / 总任务数*100%
# 示例展示
【类别】:数据科学
【标签】:主成分分析,因子分析,数据清洗
【输入指令内容】:
你的任务:清洗中文红酒质量数据,并在清洗后的数据上完成主成分分析和因子分析。 输入文件: - `/app/data/红酒质量数据.csv` 这是一个 UTF-8 CSV,包含中文表头: `固定酸度,挥发性酸度,柠檬酸,残糖,氯化物,游离二氧化硫,总二氧化硫,密度,pH值,硫酸盐,酒精度,质量评分` ## 清洗规则 你必须逐行检查数据。数据中有缺失值、范围异常值、逻辑异常值,以及“缺失值 + 异常值”同时存在的混合异常行。你需要结合字段业务含义、红酒理化指标的合理取值范围、数据整体分布和字段之间的约束关系,自行识别并剔除异常行;不要插补、不要截尾、不要 winsorize、不要用均值替换。 异常分类用于报告: - `missing_only`: 有缺失/非数值,但没有范围异常和逻辑异常。 - `range_only`: 有范围异常,但没有缺失/非数值和逻辑异常。 - `logic_only`: 有逻辑异常,但没有缺失/非数值。逻辑异常分类优先于范围异常分类。 - `mixed`: 同一行同时有缺失/非数值和范围异常或逻辑异常。 ## 分析规则 清洗完成后,只使用前 11 个理化指标做 PCA 和因子分析: `固定酸度,挥发性酸度,柠檬酸,残糖,氯化物,游离二氧化硫,总二氧化硫,密度,pH值,硫酸盐,酒精度` `质量评分` 只参与清洗合法性检查,不进入 PCA 或因子分析。 PCA 必须按以下方式计算: - 对 11 个理化指标使用样本标准差标准化,即标准差使用 `ddof=1`。 - 基于标准化后的相关矩阵做特征分解。 - 特征值按降序排列。 - 每个主成分做符号归一化:该主成分中绝对值最大的载荷必须为正。 - 按累计解释方差选择主成分个数:选择能够使累计解释方差达到或超过 80% 的最少主成分个数。 因子分析必须按以下方式计算: - 使用主成分法提取因子,不旋转。 - 因子数与 PCA 选出的主成分个数一致。 - 因子载荷 = 对应特征向量 × sqrt(对应特征值)。 - 使用与 PCA 相同的排序和符号归一化。 ## 输出文件 你必须创建 `/app/output`,并生成以下 UTF-8 文件: 1. `/app/output/cleaning_report.json` JSON 对象,至少包含: - `total_rows` - `clean_rows` - `removed_rows` - `missing_only` - `range_only` - `logic_only` - `mixed` - `analysis_features` 2. `/app/output/cleaned_redwine.csv` 清洗后的完整数据,保留原始 12 列中文表头,按原始行顺序输出。 3. `/app/output/pca_summary.csv` 表头严格为: `component,eigenvalue,explained_variance_ratio,cumulative_variance_ratio` 输出被选中的全部主成分,且最后一个主成分的累计解释方差必须达到或超过 80%。 4. `/app/output/pca_loadings.csv` 表头第一列严格为 `feature`,后续列为选中的主成分:`PC1,PC2,...`。 按 11 个理化指标的原始列顺序输出。 5. `/app/output/factor_loadings.csv` 表头第一列严格为 `feature`,中间列为选中的因子:`Factor1,Factor2,...`,最后一列严格为 `communality`。 按 11 个理化指标的原始列顺序输出。 所有数值分析结果保留 6 位小数。结果必须可重复运行。
【DeepSeek-V4-Pro(max)在claude code中执行过程如视频所示】:
模型和智能体在容器内执行完毕后,会自动启动评测流程,进行评分。
【DeepSeek-V4-Pro(max)最终的回复内容为】:
所有 5 个输出文件均已生成到 `/app/output/`。以下是已完成工作的摘要:---## 清洗结果| 指标 | 数值 ||---|---|| 总行数 | 2,149 || 清洗后行数 | 1,596 || 移除行数 | 553 || 仅缺失值 | 115 || 仅范围异常 | 230 || 仅逻辑异常 | 103 || 混合异常 | 105 |检测并移除的异常包括:- **系统性数据损坏模式**:`固定酸度=0.2` 且 `pH=12.00`、`游离二氧化硫=800` 且 `总二氧化硫=100`、`硫酸盐=8.00`、酒精度为 50/60、密度为 3/2.5/-1。- **范围异常**:酒精度 = -5 或 0.5,pH = -3 或 10,柠檬酸 = 3,残糖 = -30 或 80+,氯化物 = -0.1 或 2.5+,硫酸盐 = 8+。- **逻辑异常**:`游离二氧化硫 > 总二氧化硫`,即游离 SO₂ 超过总 SO₂。- **缺失值**:所有列中的空值或非数值单元格。- **混合异常**:同时包含缺失值和范围异常或逻辑异常的行。---## PCA 结果(6 个主成分,累计方差解释率 85.35%)| 主成分 | 特征值 | 方差解释率 | 累计方差解释率 ||---|---|---|---|| PC1 | 3.070 | 27.91% | 27.91% || PC2 | 1.928 | 17.53% | 45.44% || PC3 | 1.559 | 14.17% | 59.61% || PC4 | 1.195 | 10.86% | 70.47% || PC5 | 0.962 | 8.75% | 79.22% || PC6 | 0.674 | 6.13% | **85.35%** |**PC1** 主要由 `固定酸度`(+)、`柠檬酸`(+)、`密度`(+)和 `pH值`(−)主导,可解释为“酸度-密度”轴。**PC2** 在 `游离二氧化硫`(+)、`总二氧化硫`(+)和 `酒精度`(−)上的载荷较高,可解释为“二氧化硫-酒精度”轴。---## 输出文件| 文件 | 说明 ||---|---|| `/app/output/cleaning_report.json` | JSON 格式的清洗统计信息 || `/app/output/cleaned_redwine.csv` | 包含原始 12 列表头的 1,596 行清洗后数据 || `/app/output/pca_summary.csv` | 6 个主成分的特征值和方差解释率 || `/app/output/pca_loadings.csv` | 11×6 的主成分载荷矩阵,已进行符号标准化 || `/app/output/factor_loadings.csv` | 11×6 的因子载荷矩阵,包含共同度 |所有数值均四舍五入到小数点后 6 位。分析采用样本标准差标准化(`ddof=1`)、相关矩阵特征分解,以及未旋转的主成分因子提取方法。
【对其的评测结果为】:
"parser_results": { "test_required_output_files_exist_and_are_utf8": "passed", # 文件存在且编码正确 "test_outputs_do_not_leak_benchmark_files_or_placeholders": "passed", # 检查是否泄露测试模板文件,通过代表没有泄露。 "test_cleaning_report_counts_and_features": "failed", # 清洗报告中的计数和特征数量是否正确。 "test_cleaned_csv_shape_order_and_values_are_clean": "failed", # 清洗后的CSV形状、顺序和数值是否正确。 "test_pca_summary_values": "failed", # PCA摘要表中的数值是否正确 "test_pca_loadings_headers_order_and_selected_values": "failed", # PCA载荷矩阵的列名、顺序和数值是否正确。 "test_factor_loadings_headers_order_and_selected_values": "failed" # 因子载荷矩阵的列名、顺序和数值是否正确。}
评测结果显示,标准答案中清洗后的有效数据应为1599行,而DeepSeek-V4-Pro(max)实际输出为1596行,存在3行数据的误删。由于数据清洗环节未能通过验证,后续PCA及因子分析均基于错误数据集进行计算,导致相应评估指标全部失效。根据评测规则,本题最终得分为0分。
# 参与测评
参测流程
1.邮件申请
2.意向沟通
3.参测确认与协议流程
4.提供API接口或大模型
5.获得测评报告
邮件标题:智能体终端任务测评SuperCLUE-Terminal申请,发送到contact@superclue.ai请使用单位邮箱,邮件内容包括:单位信息、大模型简介、联系人和所属部门、联系方式
联系我们

