美团LongCat团队正式开源VitaBench 2.0

近日，美团LongCat团队正式开源VitaBench 2.0，这是继2025年10月推出VitaBench 1.0之后，团队在大模型智能体评测领域的又一重磅成果。作为全球首个聚焦真实生活场景、面向长期动态用户建模的智能体评测基准，它打破了传统评测体系的“短视”局限，为行业系统性评估大语言模型在长期、真实、动态的用户互动中展现出的个性化与主动性能力，提供了全新的标准化基础设施。

早在VitaBench 1.0发布时，美团LongCat团队就瞄准了当时行业评测体系与真实落地场景脱节的核心痛点。彼时多数智能体评测基准仅聚焦单次工具调用准确率、单轮对话效果等孤立能力维度，完全忽略了真实生活服务场景中工具间的复杂依赖关系、多源信息融合需求，以及用户需求的动态变化特性。1.0版本以外卖点餐、餐厅就餐、旅游出行三大国民级高频生活场景为载体，搭建了包含66个可执行工具的交互式评测环境，首次从深度推理、工具使用、动态交互三大维度对智能体任务进行量化


拆解


。最终评测结果显示，即便是当时行业内最先进的大语言模型，在复杂跨场景任务中的平均成功率也不足30%，这一数据直接戳破了“大模型智能体已能完全适配真实生活服务”的行业幻觉，也让VitaBench迅速成为Qwen3.5、Seed2.0等头部大模型的官方指定评测基准，在全球范围内获得广泛应用。

如果说1.0版本解决了“真实场景单次复杂任务怎么评”的行业难题，那么VitaBench 2.0则进一步攻克了“长期动态用户互动怎么测”的核心挑战。过往绝大多数智能体评测都停留在短周期交互的框架内，把用户画像当成固定不变的静态


标签


，完全无法


模拟


现实中用户偏好随时间、场景、人生阶段持续演化的复杂过程。比如一个用户去年减脂期完全拒绝高糖食物，今年备孕阶段却会主动搜索高叶酸的特色餐厅，这类动态变化恰恰是真实生活中最常见、也最考验智能体服务能力的场景，却始终没有对应的标准化评测方案。

为了还原最贴近现实的长期交互环境，VitaBench 2.0搭建了一套规模庞大的动态


仿真


生态：基准内包含56名拥有完整生活轨迹的拟真用户，覆盖不同年龄、职业、消费习惯的真实人群特征，配套设计了819个贯穿用户全生命周期的复杂任务，嵌入了超过2000种动态偏好设定，平均每位用户的偏好会发生48次以上的自然演化，所有用户的平均交互时间跨度达到1580天，完整模拟了用户近5年的生活需求变化轨迹。同时它还保留了1.0版本的66个可执行工具矩阵，让智能体在超长周期的交互过程中，必须自主完成工具调用、信息整合、需求预判的全流程操作。

更具行业突破性的是，VitaBench 2.0首次创新性地设置了“双记忆模式对决”评测机制，能够在统一环境下公平对比Agen


ti


c Memory（智能体主动维护用户档案）与RAG Memory（检索历史交互片段）这两种当前行业主流的记忆方案的实际表现，还专门设计了大量信息不足的主动性任务，不再允许智能体在信息模糊时盲目决策，倒逼


AI


主动向用户澄清需求、预判潜在诉求，真正考验智能体从“被动应答”向“主动服务”进化的能力。

目前VitaBench 2.0的完整代码、数据集与技术论文已经在GitHub、HuggingFace等平台全面开源，美团LongCat团队希望通过完全开放的生态，集结全球学术界与产业界的研发力量，共同破解长期动态用户建模的技术难题，推动大模型智能体从“能用”向“真正懂用户”的阶段跨越，为生活服务领域的AI落地打下更坚实的评测基础。