赋予大模型真实的声音灵魂!中文原生语音合成测评方案全新升级!SuperCLUE-TTS

体系细化与扩充,完成从发音准确到拟人程度的全链路测评体系; 将人工测评转为自动化测评,引入了更具客观性与可重复性的评价指标,全面衡量中文原生大模型在语音合成领域的综合实力与真实落地表现。
「过往文章介绍」
1.【首期语音合成竞技场榜单】首期语音合成中文竞技场榜单发布:国产模型包揽前三,邀您亲耳评判
2.【首期语音合成测评榜单】中文原生「语音合成」测评基准榜单发布!首期声音复刻榜单同步揭晓,豆包模型双榜夺冠!
二、场景多样性:紧贴真实商业与生活落地需求
摒弃脱离实际的纯文本朗读,三、测评方式转变:从人工盲测迈向自动化量化
将传统高度依赖人工听感的主观测评,
注:最终测评方案以正式发布的测评报告为准。


经过反复的实验探索与严密验证,本次基准全面升级了评估手段,创新性地引入裁判模型——具备强大多模态语音感知能力的前沿大模型,对语音合成大模型的综合性能展开全方位、自动化的深度评估。该评估流程分为以下几个步骤:
1. 测评集构建
2. 评分标准
3. 自动化评价
裁判模型将根据具体的任务类型结合相关标准进行自动化评分。此外,SuperCLUE-TTS将采用多轮测评方案,即针对同一个模型生成的全部创作文章均将采取相同的评价流程进行前后三次测评,并将三次结果的平均值作为每个文章的最终分数参与后续计算与排名。
4. 综合评分与反馈
最终,我们将各一级维度的平均分计算出来,结合各模型在不同场景中的得分,最终分数将反映出该模型在每个场景的综合性能。
在定义的指标体系里,明确每一个评估标准。结合评估流程、评估标准、评分规则,将文本输入、音频文件送入测评系统进行评估,并获得评估结果。
# 示例1
【测评任务】:基础能力—内容准确性
【文本】:这台电脑的CPU性能极强,支持WiFi 6和Bluetooth 5.0。
【参考特征】:CPU应读字母音,WiFi 6 读作“ wai-fai liu ”,Bluetooth 5.0 中 5.0 应读作“ 五点零 ”。
【生成语音】:
您的浏览器不支持 audio 元素。
-----评价开始-----
**初步质量定性 (0-10分档):** 卓越(9-10)
### **基础要求检查:**
**基础要求检查:** 音频底噪干净,未出现任何电音、破音或乱码杂音,完全满足基础可用性门槛。
标准1 <发音准确性> 的评价:
音频在发音准确性上表现优异。中英文发音均准确无误,“CPU”正确读作字母音,“WiFi”和“Bluetooth”等英文词汇发音标准,无中式口音或错读现象,整体咬字清晰。
基于标准1的得分:【9.5】
标准2 <发音完整性> 的评价:
音频完整覆盖了所有输入文本,5秒的音频内无任何漏字、吞音、多字或异常重叠现象,首尾无截断,信息呈现完美。
基于标准2的得分:【10】
标准3 <特殊内容规范性> 的评价:
模型对特殊内容的转写与发音处理非常规范。准确将“WiFi 6”中的数字“6”读作中文“liu”,并将“Bluetooth 5.0”中的“5.0”正确读作“五点零”,完全符合中文语境下的科技词汇播报习惯。
基于标准3的得分:【9.5】
### **综合得分计算:**
计算过程:(9.5 + 10 + 9.5) ÷ 3 = 9.67
**综合得分:【9.67】**
-----评价结束-----
-----评价开始-----
**初步质量定性 (0-10分档):** 卓越(9-10)
### **基础要求检查:**
**基础要求检查:** 音频未出现任何严重的电音、破音或乱码杂音,底噪控制极佳,完全满足基础可用性门槛。
标准1 <发音准确性> 的评价:
<...与第一轮评价类似,此处省略...>
基于标准1的得分:【9】
标准2 <发音完整性> 的评价:
<...与第一轮评价类似,此处省略...>
基于标准2的得分:【10】
标准3 <特殊内容规范性> 的评价:
<...与第一轮评价类似,此处省略...>
基于标准3的得分:【10】
### **综合得分计算:**
计算过程:(9 + 10 + 10) ÷ 3 = 9.67
**综合得分:【9.67】**
-----评价结束-----
-----评价开始-----
**初步质量定性 (0-10分档):** 卓越(9-10)
### **基础要求检查:**
**基础要求检查:** 音频清晰纯净,未出现任何电音、破音、卡顿或乱码杂音,基础可用性极高,完全满足基础门槛。
标准1 <发音准确性> 的评价:
<...与第一轮评价类似,此处省略...>
基于标准1的得分:【9】
标准2 <发音完整性> 的评价:
<...与第一轮评价类似,此处省略...>
基于标准2的得分:【10】
标准3 <特殊内容规范性> 的评价:
<...与第一轮评价类似,此处省略...>
基于标准3的得分:【10】
### **综合得分计算:**
计算过程:(9 + 10 + 10) ÷ 3 = 9.67
**综合得分:【9.67】**
-----评价结束-----
【参考特征】:语调低沉、音量微弱,语速平缓,体现出内心的愧疚、卑微与诚恳感。
您的浏览器不支持 audio 元素。
-----评价开始-----
**初步质量定性 (0-10分档):** 优秀(7-8)
### **基础要求检查:**
**基础要求检查:** 未出现严重电音、破音或乱码杂音,基础发音准确,无错读漏读,音频可用性高,满足基础门槛。
标准1 <情感契合度> 的评价:
合成语音整体呈现出低沉、微弱的语调,与“对不起”所传达的愧疚、道歉语境基本契合。前半句“我真的不是故意的”语速平缓,较好地贴合了人物内心的自责状态,基础情感传达准确,没有出现与语义相悖的欢快或高亢语调。
基于标准1的得分:【8.5】
标准2 <情感表现力> 的评价:
音频在情感的细腻程度和张力上表现尚可,但在后半句“希望能再给我一次机会”时,未能将那种“卑微与诚恳”推向高潮。声音略显平淡,缺乏恳求时应有的情感起伏和饱满度(如气声的运用或语气的微颤),听感上稍显套路化,未能引发听者强烈的共鸣。
基于标准2的得分:【7.5】
标准3 <情感转换平滑度> 的评价:
从前半句的“解释/自责”到后半句的“恳求”,情绪的过渡相对自然,逗号处的停顿节奏把控较好,没有出现生硬的切换或声学上的破音。但在情绪递进的无痕感上,由于后半句情感略显脱节,导致整体连贯性稍打折扣,但整体平滑度依然处于良好水平。
基于标准3的得分:【8.0】
### **综合得分计算:**
计算过程:(8.5 + 7.5 + 8.0) ÷ 3 = 8.00
**综合得分:【8.00】**
-----评价结束-----
-----评价开始-----
**初步质量定性 (0-10分档):** 优秀(7-8)
### **基础要求检查:**
**基础要求检查:** 未出现严重电音、破音或乱码杂音,基础发音准确,无错读漏读,音频可用性高,满足基础门槛。
标准1 <情感契合度> 的评价:
<...与第一轮评价类似,此处省略...>
基于标准1的得分:【8.5】
标准2 <情感表现力> 的评价:
<...与第一轮评价类似,此处省略...>
基于标准2的得分:【7.5】
标准3 <情感转换平滑度> 的评价:
<...与第一轮评价类似,此处省略...>
基于标准3的得分:【8.0】
### **综合得分计算:**
计算过程:(8.5 + 7.5 + 8.0) ÷ 3 = 8.00
**综合得分:【8.00】**
-----评价结束-----
-----评价开始-----
**初步质量定性 (0-10分档):** 优秀(7-8)
### **基础要求检查:**
**基础要求检查:** 未出现严重电音、破音或乱码杂音,基础发音准确,音频可用性良好,满足基础门槛。
标准1 <情感契合度> 的评价:
<...与第一轮评价类似,此处省略...>
基于标准1的得分:【8.5】
标准2 <情感表现力> 的评价:
<...与第一轮评价类似,此处省略...>
基于标准2的得分:【8.0】
标准3 <情感转换平滑度> 的评价:
<...与第一轮评价类似,此处省略...>
基于标准3的得分:【8.5】
### **综合得分计算:**
计算过程:(8.5 + 8.0 + 8.5) ÷ 3 = 8.33
**综合得分:【8.33】**
-----评价结束-----
# 测评邀请
测评流程
1.邮件申请
2.意向沟通
3.参测确认与协议流程
4.提供测评API接口或大模型

