藥明康德編譯整理

Ashesh Mehta博士是紐約長島的芬斯坦醫(yī)學研究所（Feinstein Institute for Medical Research）的腦外科醫(yī)生。今天他和往常一樣對他的癲癇患者進行手術(shù)，尋找癲癇發(fā)作的源頭。不過這一次，他的患者同意加入一項大膽的科學實驗，這一實驗的最終目的是將無聲的思想轉(zhuǎn)化為有聲的語言。

在打開患者顱骨，暴露大腦之后，Mehta博士小心翼翼地將一片微電極矩陣貼在了患者大腦左側(cè)，那些與傾聽和產(chǎn)生言語相關(guān)的腦區(qū)。通過紀錄這一腦區(qū)的電生理活動，并且將這些信號通過無線信號傳遞給計算機進行解碼，這些微電極和系統(tǒng)的其余部分可能成為第一個處理語言信息的“大腦計算機界面”（BCI）。

如果一切順利，它可能攀越這一領(lǐng)域的珠穆朗瑪峰：開發(fā)一種讓脊髓損傷、鎖定綜合癥、肌萎縮側(cè)索硬化癥（ALS）等癱瘓患者再度發(fā)出自己聲音的大腦計算機界面。

這一技術(shù)不需要讓患者具備表演莎士比亞話劇的能力。得益于神經(jīng)科學、工程學和機器學習領(lǐng)域的發(fā)展，越來越多的專家們認為一個能夠解讀患者想表達的“是”、“否”、“餓”、“痛”或“水”這些字的系統(tǒng)即將出現(xiàn)。

“我們相信我們對大腦編碼‘無聲言語’的信號有足夠的了解，不久的將來，我們能夠制造出一些有實用性的產(chǎn)品，”加州大學伯克利分校的Brian Pasley博士說：“即使它們帶來的改善不大，對于患者來說也將是非常有意義的。我確信這是可能的。”

第一個大腦計算機界面能夠讀出運動皮層與指揮運動相關(guān)的電信號，然后通過軟件將這些信號轉(zhuǎn)化為操作計算機鼠標或者機械臂的指令。在2016年，匹茲堡大學的科學家們更進一步，將感受器裝在用意念控制的機械臂上，這樣機械臂可以產(chǎn)生觸覺。

雖然大腦計算機界面最初出現(xiàn)時吸引了很多人的目光，但是在第一個原型機出現(xiàn)后的10多年里，大腦計算機界面的研發(fā)進展并不順利。很多項目在最初的興奮期過去之后半途夭折。大多數(shù)系統(tǒng)需要笨重的電纜，以及裝在大箱子里的信號分析儀和其它電子設(shè)備。而且，目前的大腦電極只能維持幾年不壞，這意味著患者需要重復(fù)接受大腦手術(shù)。目前的BCI系統(tǒng)在實驗室環(huán)境下的表現(xiàn)雖然還可以，但是它們的可靠性還不足以在現(xiàn)實世界中使用。匹茲堡大學的Jennifer Collinger博士說。

而解讀語言的BCI面臨的挑戰(zhàn)更多。解讀大腦想說的一個詞需要分析更多的信號，而且與語言相關(guān)的腦區(qū)還沒有被精確確認。最主要的挑戰(zhàn)是，語言的編碼分散在一個廣闊的大腦網(wǎng)絡(luò)里，目前的記錄技術(shù)還不能以足夠高的時空分辨率，對整個大腦進行監(jiān)控。日內(nèi)瓦大學的Stephanie Martin博士說。她去年因為對語言BCI的研究獲獎。

目前用來幫助癱瘓，ALS或者由于其它原因無法說話的輔助科技操作起來并不“自然或者直觀”，Martin女士說。現(xiàn)有的系統(tǒng)讓他注視屏幕上的英文字符，然后在頭皮中的電極能夠感知編碼眼睛運動和位置的腦電波，找出選擇的英文字符來拼出詞句，然后語音合成器可以把這些詞句讀出來。已故理論物理學家，身患ALS的斯蒂芬霍金先生使用的就是與之相似的系統(tǒng)?？茖W家們認為，通過“直接探索與語言相關(guān)的神經(jīng)活動”，他們可以做得更好，Martin博士說。

在2007年，波士頓大學的計算神經(jīng)學家Frank Guenther博士制造了第一款語言BCI。它使用植入到一名鎖定綜合癥患者大腦中的電極來接收運動皮層指導說話的指令。研究人員發(fā)現(xiàn)了當患者想要發(fā)出特定音素時與舌頭、嘴唇、喉嚨、上下顎和臉頰的運動相關(guān)的電信號。為了加快這項研究的進展，Guenther博士的合作者，神經(jīng)生物學家Phil Kennedy博士，甚至冒著大腦受損的風險，2014年在自己的大腦中植入了電極和收發(fā)器。雖然這項實驗因為多種原因沒能取得很大的進展，但是更多的神經(jīng)科學家開始和電子工程師合作開發(fā)和改進構(gòu)建這一系統(tǒng)所需的植入電極、解碼器和語音合成器。

“從今天的標準來看，我在2007年建立的系統(tǒng)就太原始了。我認為阻礙語言BCI進展的問題終有一天可以被解決。”Guenther博士說。

哥倫比亞大學的電子工程師Nima Mesgarani博士同樣抱有這樣的期待，他領(lǐng)導的一項研究試圖通過從文章最初Mehta博士移植的電極接受的信號中重建語言。

這類系統(tǒng)可能成功的原因是，人類的大腦對想象和現(xiàn)實之間的區(qū)分不是那么明確。當大腦想象一件事時，神經(jīng)活動的特征跟真正做這件事時的神經(jīng)活動極為相似。在大腦中想象一塊南瓜餅在視覺皮層中產(chǎn)生的神經(jīng)活動，跟看到一塊南瓜餅非常類似，相像投籃的動作能夠激發(fā)跟實現(xiàn)投籃動作類似的神經(jīng)活動。

“出聲的說話和無聲的說話之間也有類似的關(guān)系，在大腦中演習想說的話雖然沒有動嘴唇和舌頭，但是能夠引發(fā)與實際說話相同的大腦活動，”Mesgarani博士說。

這讓收集電信號的傾聽系統(tǒng)能過夠重建無聲的說話，雖然它們的結(jié)果并不完美。Martin博士與Pasley博士在伯克利大學進行的一項研究將電極放在參與者的大腦中，然后讓他們想象大聲讀出一系列詞語，比如“牛仔”，“游泳”，“蟒蛇”和“電話”等等。不幸的是，軟件從大腦信號中解讀詞語的準確性只比扔硬幣的概率稍微高一點。

伯克利大學的研究提供了這種策略的概念驗證，但是通常“由大腦信號重建的語言的可讀性都很差，”Mesgarani博士說：“我們試圖克服可讀性的障礙。”而解決這個問題的最好方法是使用機器學習，訓練軟件來解釋大腦聽到出聲的語言時的反應(yīng)，自動糾正錯誤，然后逐漸改進。

為了驗證他的想法，Mesgarani博士與Mehta博士合作，募集了5位癲癇患者加入了這項研究。在他們接受手術(shù)時，Mehta博士將一個微電極矩陣貼在聽覺皮層的兩個與識別語言相關(guān)的腦區(qū)。這兩個腦區(qū)會處理語言的音量、腔調(diào)、音頻、音素等重要信息。

志愿者們?nèi)缓舐爠e人讀出數(shù)字（1，2，3…）和講故事。他們聽覺皮層產(chǎn)生的電生理活動會被微電極矩陣收集，然后送到Mesgarani研究團隊設(shè)計的一個“深度神經(jīng)網(wǎng)絡(luò)”人工智能系統(tǒng)中。這個人工智能系統(tǒng)的作用是分析這些神經(jīng)信號，然后猜測這些神經(jīng)信號對應(yīng)的是哪些詞語，再將這些詞語送給語音合成器大聲說出來。

整個過程好像將一本中國菜譜翻譯成英文再翻譯回來：最后的結(jié)果和原文一點都不像。這是以前語言BCI研究的結(jié)果，一串無法解讀的音符。

對Mesgarani團隊設(shè)計系統(tǒng)的檢測是，經(jīng)過他們的BCI系統(tǒng)處理播放出的語言和最先志愿者聽到的故事和數(shù)字有沒有相似之處。他們?nèi)〉昧顺晒?，可讀性達到了75%，這與以前的語言BCI剛剛過半的可讀性相比是非常大的進步。

如果讓志愿者多次聽同一句話，然后將所有的神經(jīng)反應(yīng)綜合分析，會進一步提高重建語言的準確率，在微電極矩陣中添加更多的電極也能夠提高重建語言的準確率。

下一步，研究人員將檢驗這一人工智能系統(tǒng)解讀大腦想象語言時產(chǎn)生的電活動的能力。Mesgarani博士說：“以前的研究表明我們能夠接收到這些信號，如何將這些信號重建成為發(fā)聲的語言是問題的瓶頸。利用人工智能改善解讀電信號的能力，可以幫助我們構(gòu)建一個從大腦神經(jīng)活動中重塑準確和可讀的語言的框架。”最終新一代的人類與計算機的互動系統(tǒng)能夠幫助癱瘓和鎖定綜合征患者。

這項技術(shù)雖然可能最初的目的是幫助殘障患者，但是它可能會普及到其它人，甚至有可能在健康人身上先得到應(yīng)用。在2017年麻省理工學院召開的神經(jīng)科技會議上，F(xiàn)acebook的Mark Chevillet博士描述了該公司對“從念頭到打字”的BCI研究，這項研究的指導理念源于一個想法“如果你能夠直接用大腦打字的話會是什么樣子？”

如果可以直接用大腦輸出文字，比打字更快，會是什么樣？

這一項目的目標是“開發(fā)一種無聲的語言界面，讓你能夠以比打字快5倍的速度輸出文字，大約每分鐘100個詞。”該公司在研究能否用非侵入性的方法來收集高質(zhì)量的神經(jīng)信號并且將它們正確解碼成為音素。如果這一步能夠成功，那么下一步是將這些信號輸入到一個數(shù)據(jù)庫中，將音素順序與詞語配對，然后使用軟件預(yù)測這些信號最可能代表哪些詞語。

“這不是科學幻想。”Chevillet博士對會議參與者說。

參考資料：[1]. With brain implants, scientists hope to translate paralyzed patients’ thoughts into speech. https://www.statnews.com/2018/11/15/brain-computer-interface-translate-thoughts-speech/