加州大学洛杉矶分校萨穆里分校工程学院的生物工程师提出了一种类似于手套的设备,该设备可以通过智能手机应用程序将美国手语实时转换为英语语音。该系统包括一副带有细长传感器的手套,该传感器贯穿五个手指中每个手指的长度。
手套上的传感器由导电纱线制成,并拾取手部动作和手指位置(代表单个字母,数字,单词和短语)。然后,该设备将手指的运动转换为电信号,然后将 其发送到戴在手腕上的一美元硬币大小的电路板上。电路板将这些信号无线传输到智能手机,然后以每秒大约一个单词的速度将其转换为语音。
此外,该设备还包括粘合传感器,该传感器贴合在测试人员的脸部(眉毛之间和嘴巴的一侧)中,以捕获作为美国手语一部分的面部表情。该设备由重量轻,价格低廉但使用寿命长,可拉伸的聚合物制成。电子传感器也非常灵活且便宜。
可穿戴设备已经在使用美国手语的四个聋人中进行了测试。佩戴者将每个手势重复15次,并且自定义的机器学习算法将这些手势转换为它们表示的字母,数字和单词。该系统可识别660个符号,包括字母的每个字母以及0到9的数字。该设备既不笨重也不令人不适,并且使使用手语的人们无需其他人的帮助即可直接与非签名者进行交流。基于这种技术的商业模型将需要增加词汇量和更快的翻译时间。