Franka Research 3 机械臂在人机交互数据集构建中的应用研究

发布时间：2026-07-09来源：BFT机器人

BFT机器人专注机器人系统集成与开发，提供协作机器人、智能夹爪、3D视觉等专业技术支持，可根据需求定制智能制造及教育机器人解决方案，帮助客户高效搭建个性化系统。

关注即可免费领取机器人系统开发技术指南与选型资料。

Franka Research 3是面向机器人学习、人机协作领域的七轴力控科研机械臂，常以双臂组合形式搭建实验平台，适配各类共享空间人机交互采集任务。

在HABIT（Human-Aware Behavior and Interaction Training）数据集中，研究团队选用两台Franka Research 3（FR3）机械臂作为核心执行平台，并配以Robotiq平行夹爪，完成实验测试。

BFT为用户提供高效的解决方案

如有产品购买需求请联系：18551727852

PART.01

FR3双臂系统支持HABIT人机交互数据采集

HABIT数据集聚焦有人共存场景下机器人行为训练，整套数据采集流程均依托FR3双臂遥操作系统完成，累计产出10563段交互片段、164小时操作数据。

VR遥操作控制链路操作人员借助Meta Quest 3手柄远程控制FR3双臂，动作指令同步记录关节空间、笛卡尔空间、夹爪状态三类动作数据。

采集遵循响应式交互准则：操作员仅在观测到对方动作后再执行对应操作，避免提前预判动作，保证FR3记录的轨迹全部由人类视觉信号触发，提升数据可学习性。

图 2：任务工作流及其子任务序列的典型示例。每一行左侧展示工作流结构，右侧呈现对应执行阶段下机器人视角与人类视角画面。

PART.02

三类人机交互任务落地

协作型：人机共同完成单一目标，如餐盘递送、货架除尘，FR3 需要同步配合人类抬举、传递物品，记录时空协同动作；
并行工作型：人机独立处理各自任务、共享工作台，如垃圾分类、纸盒打包，FR3 训练主动避让、主动回缩等安全行为；
指令引导型：人类通过手势指引FR3完成放置动作，如甜甜圈摆放、食品收纳，FR3 学习视觉手势解码。

数据多样性优化设计采集过程中通过调整人类服饰、物体摆放顺序、操作人员身形，降低FR3训练模型过拟合风险；针对引导类任务，人为设置不同手势等待时长，迫使FR3专注识别手势视觉信号，而非单纯依赖文本指令。

PART.03

基于FR3平台开展模型对照实验

研究选取π₀.5、GR00T N1.6 两种主流视觉语言动作模型，以 FR3 双臂操作任务为基准，设置两组对照数据集完成验证。

对照组实验设计

基准组（无人类场景）：仅操控FR3机械臂独立完成相同任务，工作台无人类参与；实验组（HABIT数据集）：FR3与人类同步交互。两组保持FR3硬件、训练步数、批次大小完全统一，仅改变是否存在人类交互信号。

实验评估指标

依托 FR3 执行效果从三个维度评判策略优劣：物体操作完成度、任务时序流程合规性、人机无碰撞安全指标。统计碰撞、时序错乱、手势识别失败三类典型错误，对比两组数据训练后的故障发生率。

实验结论

使用HABIT人机交互数据微调后的模型，在FR3执行并行、协作任务时成功率明显提升。无人类数据训练的策略易出现碰撞、动作时序错位；而基于FR3采集的人机同步数据，可让模型自主生成避让、动作同步、手势跟随等适配人类环境的行为。同时，以HABIT预训练后的模型，在全新FR3人机任务上微调效率更高，仅需少量样本即可达到理想效果。