利用TI技术突破手语交流障碍

本文作者:德州仪器       点击: 2016-04-01 11:51
前言:
试想一下,如果有这么一个设备,可以通过无线的方式将手语翻译为计算机能够理解的语言。

这正是德克萨斯大学达拉斯分校计算机工程专业的学生Sun Lu一直从事的工作。在过去的一年中,她大部分时间都在德州模拟电路中心的校园实验室中度过。在TI员工和技术的帮助下,这名硕士生最终成功构思出了一个能够识别手势并对常人无法理解的手语进行翻译的设备。
 


这个由TI和美国国家科学基金会赞助的大学研究项目最开始源于种种机缘巧合。

Leo Estevez是达拉斯Kilby实验室的一名无线传感器和控制元件设计人员,最近,他在德克萨斯大学达拉斯分校完成了另外一项与智能读脑帽有关的研究项目。这种智能读脑帽能够通过无线的方式记录大脑的电子信号,从而控制计算机鼠标之类的设备。Leo一直试图将这项研究扩展到其它的领域,而一条偶然来自他堂妹Rocio Estevez的脸书消息彻底激发了他的灵感。

Rocio Estevez是南美一所聋哑学校的老师,她对Leo说:“你研究的东西一直都很有意思,如果你能为我的学生们设计一些东西的话,那就太棒了。”

Leo意识到,用于无线智能读脑帽的器件也同样可以被用来测量肌肉的运动。因此,他与Sun Lu及她的教授Roozbeh Jafari展开合作,将TI的8通道ADS1299生物电势测量模拟前端与一个加速计组合在一起,以实现手语的翻译。

当Sun Lu与Roozbeh一起研究复杂的算法以将肌肉运动和加速计读数翻译为计算机屏幕上的文字时,Leo则尝试着利用最新的TI技术来更新器件的无线组件。Leo找到了他的朋友Thomas Almholt,一名低功率无线领域的应用经理,希望他能够有兴趣帮助完成这个研究项目。而事实上,德克萨斯大学达拉斯分校实验室中的这项重要研究对于Thomas来说具有特别的意义。
 


“我的大女儿Cassandra在2岁时被诊断出患有染色体变异,这个被称为1P36的疾病非常罕见,”Thomas说道,“1P36使一个人的认知和运动技巧出现延迟,这意味着她在与人沟通方面存在困难。”

在很长的一段时间里,Cassandra的母语就是基本手语,这是Cassandra能够与人沟通的唯一方法。直到今天,对于Cassandra来说,手语仍然是与人交谈最简单的方法。

Thomas非常渴望能够进一步推动这项研究,于是他开始利用采用了具有最低功耗的SimpleLink™ Bluetooth® Smart CC2640无线MCU的最新无线器件来支持这个项目。虽然Thomas在帮助用户实现创新时同样充满热情,但是这个特别的项目却意义非凡。

“这项研究相较于目前我所从事的工作有很大的区别。我的工作主要是帮助客户制造电表、煤气表和水表,这是一项有意思而且很重要的工作,同时也有益于社会。不过,新的研究项目更像是一个个性化项目。”Thomas说道。

目前,手语翻译器可以成功的通过无线将40种手势翻译为笔记本电脑上显示的文字。这个手语翻译器荣获了2015年德州仪器(TI)创新挑战赛(TIIC)北美设计竞赛的第二名。尽管通过这个项目获得了不少的认可,Sun Lu和她的合作伙伴Tian Zhongjun以及Erik Jonsson工程与计算机科学学院的Wu Jian表示,他们迫不及待地想要回到实验室,进一步扩展器件的功能和移动性。

Sun Lu说,“我希望能够增加翻译器文字处理的数量,这样它才能真正地帮助聋哑人士与他人进行沟通和交流。同时,我觉得我们还可以开发基于安卓系统的应用,让聋哑人士间可以利用这项技术进行手机通话。”

在TI,Leo和Thomas都相信他们的管理团队能够将这个项目变成现实,同时利用这个机会创造出一项新的技术来改变大约7千万聋哑或听力受损人士的生活。

“这将是一项变革性的研究项目,对于我堂妹班级里那些孩子来说更是如此,”Leo说,“他们总是落后于同龄的孩子,不过这个项目将使他们能够获得同等的机会。”

“这其实也是我加入TI并一直留在这里工作的原因之一。一个公司应该专注于自身及其员工的发展,但是同时也更应该致力于回报社会和改善人类的生活。”Thomas说。