命令|看下巴就够?识别无声语言的项链来了
admin
2023-08-08 06:21:40
0

想象一下,如果你坐在落针可闻的会议室或图书馆,脱口而出「Siri,看看明天的天气」,这或许并不合适。
当一个人说不了话或者必须保持安静,却需要给智能设备指令,这该怎么办?
为此,康奈尔大学的信息科学助理教授 Cheng Zhang 和博士生 Ruidong Zhang,设计了一款叫做 「Speechin」的项链。
命令|看下巴就够?识别无声语言的项链来了
文章插图
▲ 图片来自:Cornell University
它基于下巴运动,捕捉「颈部和面部皮肤变形图像」,从而识别无声语言,目前可以识别英语和中文的简单短语。
命令|看下巴就够?识别无声语言的项链来了
文章插图
【 命令|看下巴就够?识别无声语言的项链来了】SpeeChin 的红外摄像头安装在 3D 打印的「项链盒」上,「项链盒」挂在银链上,摄像头指向佩戴者的下巴。为了提高稳定性,开发人员在两侧设计了「机翼」,并在底部放置了一枚硬币。
除了这些,SpeeChin 还配备有微处理器、电池和蓝牙模块。
命令|看下巴就够?识别无声语言的项链来了
文章插图
▲ 图片来自:Cornell University
利用基于机器学习的算法,该设备能根据佩戴者的下巴运动,确定佩戴者在无声地说出哪些命令,然后将这些命令中继到配对的智能手机,就像另一种沟通方式下的 Siri。
为了避免隐私问题,SpeeChin 只会怼向下巴下方,不会直接指向用户的脸。
在最初的试验中,有 20 名参与者(10 名说英语,10 名普通话),研究人员测量了他们下巴的基线位置,然后使用差分图像训练 SpeeChin 识别简单命令。
10 位英语参与者默默说出 54 条命令,包括数字、交互命令、语音助手命令、标点命令和导航命令,其他 10 位普通话参与者的 44 条命令也是如此。
命令|看下巴就够?识别无声语言的项链来了
文章插图
▲ 动图制作自:YouTube@Cornell University
事实证明,SpeeChin 识别英语和普通话命令的平均准确率分别为 90.5% 和 91.6%。研究人员表示,这款设备有可能学习一个人的无声语音模式。
研究人员还要求 6 名参与者在行走时默默说出 10 个普通话和 10 个英语短语。这项研究的成功率较低,主要是因为参与者的头部以不可预测的方式移动。
为什么要以项链的形式做无声语音识别这件事?一位研究人员阐述了他们的研究目的:
我们认为项链是人们习惯的一种形式,而不是耳挂式设备,后者可能不太舒服;至于无声语音,人们可能会想「我的手机上已经有语音识别设备了」。但是你需要为一些无法发声的人和场合发声。
值得一提的是,SpeeChin 在外观上与 NeckFace 相似。NeckFace 是 Cheng Zhang 和他的 SciFi Lab 团队去年推出的设备,通过使用红外摄像机,在颈部下方捕捉下巴和面部的图像,并生成完整表情的 3D 重建,从而持续跟踪面部表情。
命令|看下巴就够?识别无声语言的项链来了
文章插图
▲ 动图制作自:YouTube@CornellScifiLab
NeckFace 在心理健康领域可能特别有用,因为它可以跟踪人们一天中的情绪。虽然人们并不总是把情绪表现在脸上,但随着时间的推移,面部表情的变化量可能表明情绪波动。
NeckFace 也可以用于其他场景,比如在无法选择前置摄像头时进行虚拟会议、虚拟现实场景中的面部表情检测等等。
如果 SpeeChin 进一步发展,它的使用场景同样会越来越多,包括必须静音的环境、无法识别的嘈杂环境以及缺乏语言能力的人群。

相关内容

热门资讯

s... 本文目录导航: 自己最近在学习经常使用ansys FSI方法求解流固耦合疑问,在一个例子中...
谁... 本文目录导航: 谁会用ANSYS中FLOTRAN?谢谢了! 如何在ANSY...
a... 本文目录导航: ansys是什么 ansys有限元剖析引见 ...
a... 本文目录导航: ansys workbench与ansys哪个好? ans...
有... 本文目录导航: 有限元法有什么特点和优势 有限元法有什么特点和优势 一、有限元法的特...
h... 本文目录导航: hfss15和hfss19有什么区别 设计EMI电源滤波器...
我... 本文目录导航: ansys计算实现后,我观看应变应力结果时,模型没有了,这是为何? ...
自... 本文目录导航: 自己最近在学习经常使用ansys FSI方法求解流固耦合疑问,在一个例子中...
咕... 10月20日,咕咚发布了咕咚GPS运动手表S1,支持50米防水、智能心率检测、双星定位。价格299元...
A... 本文目录导航: ANSYS流固耦合剖析与工程实例的内容简介 ANSYS流固...
华通白银APP涉嫌非法期货骗局...   上海华通白银国际交易中心有限公司旗下的白银现货订购业务,实为虚假期货交易。投资者在该平台根本无法...
A... 本文目录导航: ANSYS哪个版本好用 Ansys软件可以收费试用吗? ...
a... 本文目录导航: ansys有中文版吗 ansys是什么软件 ...
警... 文本“光速变龟速”的窍门就在于宽带机箱。所谓“100M”网络只是“看起来很漂亮”的广告语二级代理差价...
F... 本文目录导航: Ansys Flotran流体及热剖析的内容简介 ansy...
深... 本文由阅文体验设计YUX成员制作。请尊重原创。转载请联系阅文体验设计微信公众号(id:YUX_des...
期... 本文包含在期货俱乐部交易者必要的信息包中。请后台回复【短期】查看短期话题。交易理念所谓交易理念,就是...
罕... 本文目录导航: 罕用的有限元剖析软件有什么? 有限元剖析用什么软件 ...
a... 本文目录导航: ansys流体剖析软件 ANSYS CFX流体剖析及仿真的...
起... 起点老朋友:如今,起点20岁了。你还记得第一次进入网络文学的世界是什么时候吗?那些创造狂野梦想的作家...