近日，清华大学机械工程系智能与生物机械团队与中科院北京纳米能源与系统研究所团队合作，研发出了一种新颖的唇语解读系统。相关研究成果在线发表在《自然·通讯》期刊上。 该系统包含低成本、自供电的柔性摩擦电传感器和基于原型学习的深度学习模型。传感器将唇部肌肉运动产生的电信号传输到解码系统，翻译成可沟通的语言。该研究测试分析了传感器的机械与电气性能，采集并提取了选定元音、单词、短语、无声语音和发声语音的唇动信号特征。通过比较同步采集的唇动和声音信号，证明了无论是否发声，嘴唇运动信号都具有一致性。进一步分析了语速与唇动模式等不同参数对信号特征的影响规律。提出了一种基于原型学习的空洞循环神经网络模型，用于唇动信号的识别，在20个分类（100样本/类）情况下，测试准确率达到94.5%。
来源：光明日报
