2022年12月，北京大學(xué)心理與認(rèn)知科學(xué)學(xué)院易莉和陳立翰課題組在學(xué)術(shù)期刊《Developmental Science》發(fā)表題為“Increasing audiovisual speech integration in autism through enhanced attention to mouth”的論文。該研究發(fā)現(xiàn)，增加孤獨(dú)癥兒童對(duì)說話者嘴部的注視時(shí)間，可以提升孤獨(dú)癥兒童的視聽言語整合，為干預(yù)孤獨(dú)癥兒童的視聽言語整合提供了一定啟示。
視聽言語整合指把言語中的視覺刺激和聽覺刺激整合成一個(gè)整體的過程。前人文獻(xiàn)大多采用麥格克效應(yīng)（McGurk effect；McGurk & MacDonald, 1976）來測(cè)量視聽言語整合。麥格克效應(yīng)指的是，當(dāng)一個(gè)語音的聲音與另一個(gè)語音的嘴部運(yùn)動(dòng)疊加在一起時(shí)，往往被感知為第三個(gè)語音（如“ba”的聲音與 “ga”的嘴部運(yùn)動(dòng)疊加在一起往往被感知為“da”）。目前有一系列研究采用麥格克效應(yīng)研究了孤獨(dú)癥個(gè)體的視聽言語整合，元分析發(fā)現(xiàn)孤獨(dú)癥兒童的視聽言語整合比正常兒童更弱（Zhang et al., 2019）。正常個(gè)體注視說話者嘴部時(shí)間越長(zhǎng)，視聽言語整合越強(qiáng)（Gurler et al., 2015）。易莉和陳立翰課題組2021年發(fā)表在Autism Research上的研究進(jìn)一步發(fā)現(xiàn)，孤獨(dú)癥兒童對(duì)說話者嘴部較短的注視時(shí)間能預(yù)測(cè)其較弱的視聽言語整合（Feng et al., 2021）。
在以往研究的基礎(chǔ)上，本研究采用McGurk效應(yīng)范式設(shè)計(jì)了兩個(gè)實(shí)驗(yàn)，旨在通過一定的操縱，來增加孤獨(dú)癥兒童對(duì)說話者嘴部的注視時(shí)間，增強(qiáng)孤獨(dú)癥兒童的視聽言語整合。實(shí)驗(yàn)一設(shè)置了說話者眼部清晰和眼部模糊兩個(gè)條件，實(shí)驗(yàn)二設(shè)置了首注視點(diǎn)引導(dǎo)向嘴部、首注視點(diǎn)引導(dǎo)向眼部和自由觀看三個(gè)條件。兩個(gè)實(shí)驗(yàn)的實(shí)驗(yàn)流程分別見圖a和圖b。實(shí)驗(yàn)一發(fā)現(xiàn)，與說話者眼部清晰時(shí)相比，說話者眼部模糊時(shí)，孤獨(dú)癥兒童對(duì)說話者嘴部的注視時(shí)間更長(zhǎng)（圖c），視聽言語整合和更強(qiáng)（圖d）。實(shí)驗(yàn)二發(fā)現(xiàn)，與自由觀看和首注視點(diǎn)引導(dǎo)向眼部相比，首注視點(diǎn)引導(dǎo)向嘴部時(shí)，孤獨(dú)癥兒童對(duì)說話者嘴部的注視時(shí)間更長(zhǎng)（圖e），視聽言語整合更強(qiáng)（圖f）。本研究表明，增加孤獨(dú)癥兒童對(duì)說話者嘴部的注視能增強(qiáng)他們的視聽言語整合。本研究進(jìn)一步揭示了孤獨(dú)癥兒童對(duì)說話者臉部注視和視聽言語整合之間的關(guān)系，為開發(fā)干預(yù)孤獨(dú)癥兒童的視聽言語整合的方案有一定啟示。
圖. 本研究的實(shí)驗(yàn)流程和實(shí)驗(yàn)結(jié)果。a為實(shí)驗(yàn)一說話者眼部模糊條件下每個(gè)試次的流程；b為實(shí)驗(yàn)二首注視點(diǎn)引導(dǎo)向說話者嘴部條件下每個(gè)試次的流程；c和d分別為實(shí)驗(yàn)一孤獨(dú)癥兒童在說話者眼部模糊和說話者眼部清晰時(shí)對(duì)說話者嘴部的注視時(shí)間和發(fā)生麥格克效應(yīng)（即視聽言語整合）的比例；e和f分別為孤獨(dú)癥兒童在首注視點(diǎn)引導(dǎo)向嘴部、首注視點(diǎn)引導(dǎo)向眼部和自由觀看時(shí)對(duì)說話者嘴部的注視時(shí)間和發(fā)生麥格克效應(yīng)（即視聽言語整合）的比例。
易莉課題組已畢業(yè)博士馮樹元（現(xiàn)在中南大學(xué)外國語學(xué)院任教）為論文的第一作者，易莉研究員和陳立翰副教授為本文的共同通訊作者。易莉課題組已畢業(yè)的王乾東博士（現(xiàn)在北京師范大學(xué)任教）、胡藝簫博士（現(xiàn)在鄭州大學(xué)任教）、陸昊陽博士、李天碧博士、在讀博士生宋詞，也為本文做出了重要貢獻(xiàn)。該研究由國家自然科學(xué)基金、廣東省重點(diǎn)領(lǐng)域研發(fā)項(xiàng)目、湖南省自然科學(xué)基金、湖南省優(yōu)秀青年項(xiàng)目等資助完成。
Feng, S., Wang, Q., Hu, Y., Lu, H., Li, T., Song, C., Fang, J., Chen, L., & Yi, L. (2022). Increasing audiovisual speech integration in autism through enhanced attention to mouth. Developmental Science, e13348. https://doi.org/10.1111/desc.13348
2022-12-09