品玩8月13日讯,据 aichatdaily 报道,Google DeepMind于今日正式发布手语转文字翻译模型SL2T,该模型已内置于Pixel 11的Gboard和Live Transcribe中,标志着手语AI首次进入主流消费级产品。
SL2T可在设备端实时将美国手语(ASL)翻译为英文文本,让听障用户在任何需要打字的场景中直接以手语与手机交互。该模型在FLEURS-ASL基准测试中取得70 BLEURT零样本分数,Google DeepMind表示该成绩显著高于此前已报告的任何结果。
SL2T的训练数据超过10万小时,涵盖50多种手语,其中约四分之一为ASL语料。Google DeepMind表示,跨多种语言、方言和手语熟练度进行联合训练,使该模型在内部实验中表现优于单一语言版本。目前首发支持ASL到英文的翻译,更多语言和设备的适配已在规划中。
在Gboard中,用户可通过手语进行网页搜索、撰写消息或将查询交给Gemini处理;在Live Transcribe中,用户可在对话中以手语回复,替代传统的打字交互。Google DeepMind将这一功能定位为与听障用户长期依赖的语音输入体验实现同等便利。
