命令|看下巴就够?识别无声语言的项链来了
admin
2023-08-08 06:21:40
0

想象一下,如果你坐在落针可闻的会议室或图书馆,脱口而出「Siri,看看明天的天气」,这或许并不合适。
当一个人说不了话或者必须保持安静,却需要给智能设备指令,这该怎么办?
为此,康奈尔大学的信息科学助理教授 Cheng Zhang 和博士生 Ruidong Zhang,设计了一款叫做 「Speechin」的项链。
命令|看下巴就够?识别无声语言的项链来了
文章插图
▲ 图片来自:Cornell University
它基于下巴运动,捕捉「颈部和面部皮肤变形图像」,从而识别无声语言,目前可以识别英语和中文的简单短语。
命令|看下巴就够?识别无声语言的项链来了
文章插图
【 命令|看下巴就够?识别无声语言的项链来了】SpeeChin 的红外摄像头安装在 3D 打印的「项链盒」上,「项链盒」挂在银链上,摄像头指向佩戴者的下巴。为了提高稳定性,开发人员在两侧设计了「机翼」,并在底部放置了一枚硬币。
除了这些,SpeeChin 还配备有微处理器、电池和蓝牙模块。
命令|看下巴就够?识别无声语言的项链来了
文章插图
▲ 图片来自:Cornell University
利用基于机器学习的算法,该设备能根据佩戴者的下巴运动,确定佩戴者在无声地说出哪些命令,然后将这些命令中继到配对的智能手机,就像另一种沟通方式下的 Siri。
为了避免隐私问题,SpeeChin 只会怼向下巴下方,不会直接指向用户的脸。
在最初的试验中,有 20 名参与者(10 名说英语,10 名普通话),研究人员测量了他们下巴的基线位置,然后使用差分图像训练 SpeeChin 识别简单命令。
10 位英语参与者默默说出 54 条命令,包括数字、交互命令、语音助手命令、标点命令和导航命令,其他 10 位普通话参与者的 44 条命令也是如此。
命令|看下巴就够?识别无声语言的项链来了
文章插图
▲ 动图制作自:YouTube@Cornell University
事实证明,SpeeChin 识别英语和普通话命令的平均准确率分别为 90.5% 和 91.6%。研究人员表示,这款设备有可能学习一个人的无声语音模式。
研究人员还要求 6 名参与者在行走时默默说出 10 个普通话和 10 个英语短语。这项研究的成功率较低,主要是因为参与者的头部以不可预测的方式移动。
为什么要以项链的形式做无声语音识别这件事?一位研究人员阐述了他们的研究目的:
我们认为项链是人们习惯的一种形式,而不是耳挂式设备,后者可能不太舒服;至于无声语音,人们可能会想「我的手机上已经有语音识别设备了」。但是你需要为一些无法发声的人和场合发声。
值得一提的是,SpeeChin 在外观上与 NeckFace 相似。NeckFace 是 Cheng Zhang 和他的 SciFi Lab 团队去年推出的设备,通过使用红外摄像机,在颈部下方捕捉下巴和面部的图像,并生成完整表情的 3D 重建,从而持续跟踪面部表情。
命令|看下巴就够?识别无声语言的项链来了
文章插图
▲ 动图制作自:YouTube@CornellScifiLab
NeckFace 在心理健康领域可能特别有用,因为它可以跟踪人们一天中的情绪。虽然人们并不总是把情绪表现在脸上,但随着时间的推移,面部表情的变化量可能表明情绪波动。
NeckFace 也可以用于其他场景,比如在无法选择前置摄像头时进行虚拟会议、虚拟现实场景中的面部表情检测等等。
如果 SpeeChin 进一步发展,它的使用场景同样会越来越多,包括必须静音的环境、无法识别的嘈杂环境以及缺乏语言能力的人群。

相关内容

热门资讯

A... 虚拟主机也可以理解为“网站空间”。 运行在互联网上的化学服务器可以分为多个“虚拟”服务器。 虚拟主机...
作... 巴尔扎克每晚喝50杯奶茶;纳博科夫喜欢在浴缸里思考、写作;当席勒写道一定有发霉苹果的味道;杜鲁门·卡...
你... 画家应精通其业[67]我们不止一个人问过这个问题:要成为一名画家,你首先需要知道什么?诗人如何开始?...
数... Intel 12 Celeron的发布,彻底打开了硬件全面进化的大门。 笔记本电脑和游戏机都已经进入...
央... 首先,我写这篇文章的灵感来自于回答网友的问题。 很多人不了解智能电视的各种类型。 虽然超市电器人员吹...
没... 虽然人脉关系软件,没有人脉,中小买家什么都不是。为什么这么说呢? 因为所有企业,无论大小,都是建立在...
“... 五月已经到来,6月18日还会远吗? 当我安装笔记本电脑时,我认为500GB的存储空间足够我自己使用。...
索... 对于一向以外观淫荡着称的索尼来说,索尼SmartWatch3绝对算不上一款看起来很酷的产品。 虽然造...
七... 跑步网主板频道3月13日消息,今年9月推出的微星iGame970烈焰战神X-4GD5TOP主板,凭借...
资... 资源描述每篇文章的顶部通常都会有获取资源的关键词。 请在对应公众号对话框中输入正确的关键词,获取相关...
固... 如果你想修改电脑中的另一个硬盘,你应该如何选择? 随着目前固态硬盘价格的暴跌,改装硬盘成为了越来越多...
苹... 10月26日下午,苹果iOS/iPadOS 15.1即将发布(内部版本号:19B74)。 iOS ...
(... 自媒体写作是一条充满艰辛和探索的神奇之路。 既然选择了这条路,就一定要坚持走下去。 鲁迅先生说过,地...
梦... 爱书法软件为用户提供的各项服务都是非常优质的画图软件教程画图软件教程,特别适合没有基础又喜欢制作、编...
创... 我相信液晶电视是您日常生活中不可或缺的一部分。 如果您的电视屏幕因外力而损坏,不要急于购买新电视。 ...
(... 欢迎来到车乐车辆技术交流会您的每一次阅读,都是我不断创作的源泉。准备工作1、买胎压检测配件,去改装店...
使... 可变数据复制软件支持TXT、Excel、CSV、MySQL、SQLServer、Access等数据类...
天天铂银app上做白银期货亏损...   在网上打广告虚假宣传,说是小资金就可以投资,甚至是5元都可以做交易,而且每天都有持续的收入,广告...
如... 如何提高自闭症儿童的主动表达能力? 这个问题让很多自闭症老师和家长感到困惑。女儿没有语言能力,不会主...
雷... 618我分享了如何选择m.2SSD硬盘盒。 没想到竟然很受欢迎。 虽然设计生产此类产品的厂家不少,但...