文献标题:Fast, accurate reaching movements with a visual-to-auditory sensory substitution device.
文献出处:Restor Neurol Neurosci 2012 May 15;[Epub ahead of print]
PMID:22596353
作者:Levy-Tzedek S,Hanassy S,Abboud S,Maidenbaum S,Amedi A
感官替代装置(SSD)使用声音或者触摸的方式,来帮助视障人士感知周围的视觉场景。理想的SSD不仅有助于感知环境,还能协助执行日常活动。例如:准确得触到咖啡杯,或者握手。
在一项新的研究中,科学家们训练蒙住眼睛的受试者,让他们使用一种叫做“Eyemusic”的感官替代装置进行快速准确的动作。他们的研究结果发表在Restorative Neurology and Neuroscience.
Eyemusic由耶路撒冷希伯来大学的一个研究小组开发。使用愉快的音调和音阶来帮助视障人士“看见”音乐。这种非侵入性SSD把图像转换成音符组合和音乐场景。
该装置是资深教授Amir Amedi 和他的团队在埃德蒙和莉莉·萨夫拉脑科学中心(ELSC)和希伯来大学的以色列加拿大医学研究所共同开发。Eyemusic扫描图像,用高亢的音符表现图像,多种组合下听起来令人愉悦。
图像从左到右连续扫描,并在开始处标记上听觉讯号。音符相对听觉讯号的时间提示像素的水平位置(离听觉讯号的时间越靠后,图像上的位置越靠右),声音的响度提示图像的亮度。Eyemusic的算法为5种颜色使用不同的乐器:白色(声乐),蓝色(小号),红色(雷盖风琴),绿色(合成簧片),黄色(小提琴),静音表示黑色。
这项研究测试了18个被蒙住眼睛的受试者,在简短的熟悉模块中,他们学着去确认单个物体(白色方体)的位置,或者两个相邻对象(一白一蓝方体)。测试模块中,受试者使用数码笔来指出白色方体。一项实验中他们被蒙住眼睛(SSD模式),通过Eyemusic得到反馈;另一项中,则将胳膊放在不透明的遮盖物下,这样他们能看到屏幕却不能直观得看到来自手的视觉反馈(VIS模式) 。手的末端位置用一个蓝色方体标记。结果证明人们能根据听觉创造一个相对准确的立体空间。
Amedi教授提到:“演奏音符横跨5个八度,音乐家们精心挑选过,能为用户创造一种良好的体验。”样品录音由http://brain.huji.ac.il/em/提供。经过短期培训(某些情况下,甚至不到一个半小时),这种装置能很快学会。
大脑中空间的意向并不依赖于空间信息的接收方式,这项研究为此假说提供了证据。或许有一天,视障人士有可能在农产品过道上准确得到达红苹果而不是绿色所在的位置,或者玩Kinect/Xbox游戏。 |