人類可以毫不費(fèi)力地識(shí)別自然聲音并對(duì)其做出反應(yīng)，尤其適合于語音。已經(jīng)進(jìn)行了幾項(xiàng)旨在定位和理解大腦語音特定部分的研究，但是由于同一大腦區(qū)域大部分對(duì)所有聲音都活躍，因此，尚不清楚大腦是否具有獨(dú)特的語音處理過程以及如何進(jìn)行語音處理。它執(zhí)行這些過程。主要挑戰(zhàn)之一是描述當(dāng)兩者之間沒有一對(duì)一的對(duì)應(yīng)關(guān)系時(shí)，大腦如何將高度可變的聲音信號(hào)與語言表示相匹配，例如，大腦如何識(shí)別說話者和方言所使用的相同單詞，相同。
在這項(xiàng)最新研究中，由Riitta Salmelin教授領(lǐng)導(dǎo)的研究人員從16位健康的芬蘭志愿者的毫秒級(jí)大腦記錄中解碼并重建了語音。他們采用了一種新穎的方法，即利用多種聲音的自然聲學(xué)可變性(由不同說話者說出的單詞，來自多個(gè)類別的環(huán)境聲音)，然后使用生理學(xué)啟發(fā)的機(jī)器學(xué)習(xí)模型將它們映射到腦磁圖(MEG)數(shù)據(jù)。這些類型的模型具有聲音的時(shí)間分辨和時(shí)間平均表示，以前已經(jīng)在大腦研究中使用。共同首席作者阿里·費(fèi)薩爾(Ali Faisal)提出的新穎，可擴(kuò)展的公式允許將此類模型應(yīng)用于全腦錄音，并且這項(xiàng)研究是首次比較相同模型的語音和其他聲音。
阿爾托研究人員和主要作者安妮·諾拉(Anni Nora)表示：“我們發(fā)現(xiàn)，將皮質(zhì)激活物的時(shí)間鎖定與正在展開的語音輸入相連接對(duì)于語音編碼至關(guān)重要。當(dāng)我們聽到一個(gè)單詞，例如“貓”時(shí)，我們的大腦必須及時(shí)非常準(zhǔn)確地跟隨它才能理解其含義。
相比之下，在非語音環(huán)境聲音的皮質(zhì)處理中未突出顯示時(shí)間鎖定，該聲音傳達(dá)了與口語相同的含義，例如音樂或笑聲。相反，時(shí)間平均分析足以達(dá)到其含義。``這意味著當(dāng)您聽到貓的叫聲時(shí)，大腦也會(huì)訪問相同的表示形式(貓的樣子，貓的行為，感覺等)，但是聲音本身會(huì)作為一個(gè)整體進(jìn)行分析，不需要諾拉解釋說。
對(duì)于無意義的新單詞，也觀察到了時(shí)間鎖定編碼。但是，即使是對(duì)諸如笑聲之類的非語音非人為聲音的響應(yīng)，也都無法通過動(dòng)態(tài)時(shí)間鎖定機(jī)制顯示出更好的解碼效果，并且可以使用時(shí)間平均模型更好地進(jìn)行重構(gòu)，這表明時(shí)間鎖定編碼對(duì)于識(shí)別出的聲音來說是特殊的。作為演講。
結(jié)果表明，大腦反應(yīng)在語音之后具有特別高的時(shí)間保真度
當(dāng)前的結(jié)果表明，在人類中，一種特殊的時(shí)間鎖定編碼機(jī)制可能已經(jīng)演變?yōu)檎Z音。根據(jù)其他研究，在早期開發(fā)過程中，這種處理機(jī)制似乎已針對(duì)母語進(jìn)行了調(diào)整，并廣泛暴露于語言環(huán)境中。
時(shí)鎖編碼的當(dāng)前發(fā)現(xiàn)，尤其是語音的發(fā)現(xiàn)，加深了對(duì)聲學(xué)和語言表示(從聲音到單詞)之間映射所需的計(jì)算的理解。當(dāng)前的發(fā)現(xiàn)提出了一個(gè)問題，即聲音中的哪些特定方面對(duì)于提示大腦使用這種特殊的編碼模式至關(guān)重要。為了對(duì)此進(jìn)行進(jìn)一步調(diào)查，研究人員接下來的目標(biāo)是使用諸如聽覺環(huán)境之類的現(xiàn)實(shí)生活，例如重疊的環(huán)境聲音和語音。諾拉說：“未來的研究還應(yīng)確定是否可以通過經(jīng)驗(yàn)處理類似的時(shí)間鎖定，并專門處理經(jīng)驗(yàn)，例如處理音樂家的樂器聲音。”
未來的工作可能會(huì)調(diào)查語音聲學(xué)中不同屬性的貢獻(xiàn)以及實(shí)驗(yàn)任務(wù)可能會(huì)產(chǎn)生的效果，以促進(jìn)在聲音處理中使用時(shí)間鎖定或時(shí)間平均模式。當(dāng)將這些機(jī)器學(xué)習(xí)模型應(yīng)用于臨床組時(shí)，例如對(duì)語音處理受損的個(gè)人進(jìn)行調(diào)查時(shí)，它們也可能非常有用。
標(biāo)簽：
免責(zé)聲明：本文由用戶上傳，如有侵權(quán)請(qǐng)聯(lián)系刪除！