腦機接口有哪些應用?
通過在腦后插入一根線纜,我們就能夠暢游計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這并非是天馬行空的幻想,而是基于早已有之的“”技術的的合理設想。去年7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發布會,宣布成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然后可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。Neuralink的最新技術成果的公布,也徹底引爆了外界對于“腦機接口”技術的關注。而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞匯的深層含義,并將提取內容迅速轉換成文本。毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術并不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發布會上所說,“Neuralink并不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”二、關于人的大腦在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。人類頭部最外層是頭發,頭發下面是頭皮,然后你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。三、什么是腦機接口技術?腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴于常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:在該定義中,“腦”意指有機生命形式的腦或神經系統,而并非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用于信息交換的中介物”。“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用于信息交換的連接通路。腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。四、腦機接口技術的實現腦機接口技術是通過信號采集設備從大腦皮層采集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然后對信號進行預處理,提取特征信號,再利用這些特征進行模式識別,最后轉化為控制外部設備的具體指令,實現對外部設備的控制。一個典型的腦機接口系統主要包含4個組成部分:信號采集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特征提取、特征分類3個環節。
圖片來源:1、信息采集從目前的研究水平來看,我們在評估某種信息采集手段優劣時需要考慮三個方面的標準:規模——可以記錄多少神經元。分辨率——這個工具接收到的信息的細致程度。這里所說的分辨度可以分成兩種:空間上的分辨率(能否細致記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。侵入性——是否需要手術?如果需要,手術的影響范圍有多大?而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由于顱骨對于大腦信號的衰減作用,以及對于神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率并不高,很難確定發出信號的腦區或者相關的單個神經元的放電。侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由于異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以愈合及炎癥反應。半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基于皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱于侵入式,但是卻優于非侵入式,同時可以進一步降低免疫反應和愈傷組織的幾率。典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
(腦電圖設備 圖片來源:)但是,腦電圖技術的一個問題是它對噪聲的敏感;另一個使用EEG作為腦機接口的現實障礙是用戶在工作之前要進行大量的訓練。2、信息分析收集好了足夠多的信息后,就要進行信號的解碼和再編碼以處理干擾。腦電信號采集過程中的干擾有很多,如工頻干擾、眼動偽跡、環境中的其他電磁干擾等。分析模型是信息解碼環節的關鍵,根據采集方式的不同,一般會有腦電圖(EGG),皮層腦電圖(ECoG)等模型可以協助分析。信號處理、分析及特征提取的方法包括去噪濾波、P300信號分析、小波分析+奇異值分解等。3、再編碼將分析后的信息進行編碼,如何編碼取決于希望做成的事情。比如控制機械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機械臂的運動信號,在復雜三維環境中準確控制物體的移動軌跡及力量控制都非常的復雜。但編碼形式也可以多種多樣,這也是腦機接口可以幾乎和任何工科學科去結合的原因。最復雜的情況包括輸出到其他生物體上,比如小白鼠身上,控制它的行為方式。4、反饋獲得環境反饋信息后再作用于大腦也非常復雜。人類通過感知能力感受環境并且傳遞給大腦進行反饋,感知包括視覺、觸覺、聽覺、嗅覺和味覺等等。腦機接口要實現這一步其實是非常復雜的,包括多模態感知的混合解析也是難點,因為反饋給大腦的過程可能不兼容。五、基于EEG的腦機接口研究方法人和動物的大腦,特別是皮層細胞,存在著頻繁的自發電活動,無需任何外界刺激。從腦電極記錄到的電位是對腦部大量神經元活動的反應,低至微伏級,這種電活動的電位隨時間的波動稱為腦電波(EEG) 。EEG反應了大腦組織的電活動及大腦的功能狀態,腦的復雜活動反應在頭皮上的電位活動就是EEG軌跡 。所以理論上,人的意圖通過腦電應該可以被探測識別出來。BCI的先驅曾經指出“在理論上,腦的感覺、運動及認知意識在自發EEG中應該是可辨識的”,因此EEG成為BCI研究中的常見工具。BCI技術就是要通過識別這種意圖,將之表達為對外部設備的直接控制。由于腦電信號的本質還未知,難以確定一種特定的信號識別方法。假設腦電信號是線性的,那么大多數BCI使用的線性識別方法足以應用。反之,則線性識別算法對于希望被識別的信號可能是最糟糕的描述。但無論何種情況,BCI技術的首要任務就是從EEG中識別出人的主觀操作意識,并將之表達為對外部設備的直接控制。同樣的道理,基于皮層腦電圖(ECoG)的信息分析也與之類似。1、腦機接口研究中所使用的腦神經信號(1)P300 (誘發電位)P300是一種事件相關電位(ERP),在時間相關刺激300~400ms后出現的正電位,主要位于中央皮層區域,其峰值大約出現在時間發生后300ms,相關事件發生的概率越小,所引起的P300越顯著。基于P300的BCI的優點是P300屬于內部相應,使用者無需通過訓練就可產生P300。(2)視覺誘發電位(誘發電位)視覺誘發電位是指從視覺通路的不同水平區域記錄的不同生物電反應,其誘發刺激可以是熒光、閃光刺激。視覺誘發電位又可以分成短時視覺誘發電位和穩態視覺誘發電位兩種。(3)時間相關同步或時間相關去同步電位(自發腦電)單邊的肢體運動或想象運動,大腦同側產生事件相關同步電位( ERS) ,大腦對側產生時間相關去同步電位( ERD)。ERS、ERD是與運動相關的,主要位于感覺運動皮層。(4)皮層慢電位(自發腦電)皮層慢電位也稱慢波電位( Slow Cortical Poten2tials, SCPs) ,是皮層電位的變化,是腦電信號中從300 ms持續到幾秒鐘的大的負電位或正電位,能反應皮層Ⅰ和Ⅱ層的興奮性,個人可以通過生物反饋訓練產生這種電位。(5)自發腦電信號(自發腦電)在不同的知覺意識下,人們腦電中的不同節律呈現出各異的活動狀態。這些節律是受不同動作或思想的影響。按照所在頻段的不同分類,一般采用希臘字母(α、β、γ、δ)來表示不同的自發EEG信號節律。比如α節律在8~13 Hz頻段,而β節律則在13~22 Hz頻段。采用以上幾種腦電信號作為BCI輸入信號,具有各自的特點和局限。P300和視覺誘發電位都屬于誘發電位,不需要進行訓練,其信號檢測和處理方法較簡單且正確率高。不足之處是需要額外的刺激裝置提供刺激,并且依賴于人的某種知覺(如視覺) 。其它幾類信號的優點是可以不依賴外部刺激就可以產生,但需要大量的特殊訓練。2、特征提取和轉換方法特征提取涉及如何從EEG中提取少量的有用的信息,分別利用這些信息進行不同腦狀態的區分。常用的特征提取的算法如::FFT ( Fast Fourier Transform Algorithm)、相關性分析、AR (Auto Regression)、參數估計、CSP ( Common Spatial Patterns)、Butter2worth低通濾波、等。算法的選擇與所利用的信號特征及電極位置有關。信號處理的目標是最終從信號中識別出使用者的意圖并執行,系統的首要任務就是最大化。信噪比,尤其是當噪聲和信號極為相似的時候就顯得更為重要。提高信噪比的技術有很多,具體有空間及時間濾波方法、信號平均以及單次識別方法。BCI轉換算法把信號特征(如節律幅值或神經元放電率)轉換為具體的控制命令。六、腦機接口技術發展簡史1924年,德國精神科醫生漢斯·貝格爾發現了腦電波。至此,人們發現意識是可以轉化成電子信號被讀取的。在此之后,針對BCI技術的研究開始出現。不過,直到20世紀60年代末、70年代左右,BCI技術才真正開始成形。1969 年,研究員埃伯哈德·費茲(Eberhard Fetz)將猴子大腦中的一個神經元連接到了放在它面前的一個儀表盤。當神經元被觸發的時候,儀表盤的指針會轉動。如果猴子可以通過某種思考方式觸發該神經元,并讓儀表盤的指針轉動,它就能得到一顆香蕉味的丸子作為獎勵。漸漸地,猴子變得越來越擅長這個游戲,因為它想吃到更多的香蕉丸子。這只猴子學會了控制神經元的觸發,并在偶然之下成為了第一個真正的腦機接口被試對象。1970年,美國國防高級研究計劃局(DARPA)開始組建團隊研究腦機接口技術。1978年,視覺腦機接口方面的先驅William Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,并成功制造了光幻視(Phosphene)。該腦機接口系統包括一個采集視頻的攝像機,信號處理裝置和受驅動的皮層刺激電極。植入后,病人可以在有限的視野內看到灰度調制的低分辨率、低刷新率點陣圖像。該視覺假體系統是便攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。BCI技術的另一個發展高潮集中在20世紀90年代末21世紀初。1998年,“運動神經假體”的腦際接口方面的專家,Emory大學的Philip Kennedy和Roy Bakay在患有腦干中風導致的鎖閉綜合癥的病人Johnny Ray腦中植入了可獲取足夠高質量的神經信號來模擬運動的侵入性腦際接口,成功幫助Ray通過該腦機接口實現了對于電腦光標的控制。同樣是在1998年,在John Donoghue教授的帶領下,布朗大學的科學家團隊開發出可以將電腦芯片和人腦連接的技術,使人腦能對其他設備進行遠程控制。這項技術要求進行腦部手術,然后用電線將人腦和大型主機相連,研究人員稱這項技術為BrainGate。隨后,在1999年和2002年的兩次BCI國際會議的召開,也為BCI技術的發展指明了方向。2005年,Cyberkinetics公司獲得美國FDA批準,在九位病人進行了第一期的運動皮層腦機接口臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式腦機接口來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦光標控制等任務。其植入物位于前中回的運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。2009年,美國南加州大學的Theodore Berger小組研制出能夠模擬海馬體功能的神經芯片。該小組的這種神經芯片植入大鼠腦內,使其稱為第一種高級腦功能假體。2012年巴西世界杯——機器戰甲,身著機器戰甲的截肢殘疾者,憑借腦機接口和機械外骨骼開出了一球。
2014年,的研究員通過網絡傳輸腦電信號實現直接“腦對腦”交流。2016年8月,8名癱瘓多年的脊髓損傷患者,通過不斷訓練,借用腦機接口控制仿生外骨骼,利用VR技術解決觸覺的反饋問題,他們的下肢的肌肉功能和感知功能得到部分恢復。2016年9月,斯坦福大學神經修復植入體實驗室的研究者們往兩只猴子大腦內植入了腦機接口,通過訓練,其中一只猴子創造了新的大腦控制打字的記錄——1分鐘內打出了12個單詞,即莎士比亞的經典臺詞“To be or not to be.That is the question”。
2016年10月,世界第一屆Cybathlon半機械人運動會在瑞士蘇黎世正式拉開帷幕,來自21個國家、一共50支隊伍的殘疾人運動員在輔助設備的幫助下參加比賽。賽事共分為6個比賽項目:動力假肢競賽(上肢和下肢)、外骨骼驅動競賽、功能性電刺激自行車賽、輪椅競賽、腦機交互競賽。
2016年10月13日,癱瘓男子Nathan Copeland利用意念控制的機械手臂和美國總統奧巴馬“握手”,此舉意味著完全癱瘓病人首次恢復了知覺。
2016年11月,荷蘭烏特勒支大學醫學院神經科學家和首席研究員Nick Ramsay 成功一名肌萎縮側索硬化(ALS)的閉鎖綜合征女患者de Bruijne將腦機接口技術從實驗室帶入了家庭環境中,無需醫療人員協助也能與他人進行思想交流。腦機接口植入28周后,de Bruijne已經能夠準確和獨立地控制一個計算機打字程序,差不多一分鐘可以打出 2 個字母,準確率達到95%。
2016年12月,美國明尼蘇達大學的Bin He與他的團隊取得一項重大突破,讓普通人在沒有植入大腦電極的情況下,只憑借“意念”,在復雜的三維空間內實現物體控制,包括操縱機器臂抓取、放置物體和控制飛行器飛行。經過訓練,試驗者利用意識抓取物體的成功率在80%以上,把物體放回貨架上的成功率超過70%。該研究成果有望幫助上百萬的殘疾人和神經性疾病患者。
2017年2月,斯坦福大學電氣工程教授KrishnaShenoy和神經外科教授JaimieHenderson發表論文宣布他們成功讓三名受試癱瘓者通過簡單的想象精準地控制電腦屏幕的光標,這三名癱瘓患者成功通過想象在電腦屏幕上輸入了他們想說的話,其中一名患者可以在1分鐘之內平均輸入39個字母。2017年4月,Facebook在F8大會上宣布了“意念打字”的項目,希望未來能通過腦電波每分鐘打100個字,比手動打字快5倍。專業人士稱,Facebook的“意念打字”是掃描大腦海馬體里語言這塊的信息,記錄說話之前和說話過程中細胞里的變化。從透露的信息獲知,他們嘗試通過血液的溫度信息來做判斷。
2018年9月,美國軍事研究機構——國防部高級研究計劃局(DARPA)公布了一個2015年啟動的項目,這個項目研發的新技術能夠賦予飛行員借助思維同時操控多架飛機和無人機的能力。據DARPA生物技術辦公室的負責人Justin Sanchez稱:“目前大腦信號已經能夠用于下達命令,并且同時操控三種類型的飛機。”2018年11月,BrainGate聯盟發表了一項最新研究成果,在名為“BrainGate2”的臨床試驗中,三名癱患者可以在新型腦機接口芯片的幫助下,利用“意念”自主操作平板電腦,并操作多種應用程序。
2019年4月,加州大學舊金山分校(UCSF)的神經外科學家Edward Chang教授與其同事開發出一種,可以將人腦神經信號轉化為語音,為幫助無法說話的患者實現發聲交流完成了有力的概念驗證。2019年7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發布會,宣布成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人在腦部28平方毫米的面積上,植入96根直徑只有4-6微米的“線”,總共包含3072個電極,然后可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
2019年7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞匯的深層含義,并將提取內容迅速轉換成文本。七、腦機接口技術的應用與市場前景腦機接口(BCI)技術的應用前景非常的廣闊,比如可以幫助人們直接通過思維來控制基于BCI接口的機器人,從事各種工作。腦機接口機器人不僅在殘疾人康復、老年人護理等醫療領域具有顯著的優勢,而且在教育、軍事、娛樂、智能家居等方面也具有廣闊的應用前景。1、醫療健康醫療方向主要分為兩個方向,分別是“強化”和“恢復”,這兩個方向都有著極其遠大的“錢景”,尤其是強化方向。現階段以恢復類為主,因為更易實現。“強化”方向主要是指將芯片植入大腦,以增強記憶、推動人腦和計算設備的直接連接。這就是所謂的“人類增強”(Human Intelligence,HI)。淺層次的研究是腦機單向,更深一層次的將是機腦雙向。目前,在做“強化”方向的就包括馬斯克創辦的Neuralink以及獲得1億美元投資的Kernel。“恢復”方向主要是指可以針對多動癥、中風、癲癇等疾病以及殘障人士做對應的恢復訓練,采取的主要方式是神經反饋訓練。這一方向在全球的一些醫院、診所、康復中心中已經得到廣泛應用,也有不少創業公司在做這方面的可穿戴設備。具體來說,BCI技術可以幫助患者和用戶實現:(1)與周圍環境進行交流:BCI機器人可以幫助殘疾人使用電腦、撥打電話等;(2)控制周圍環境:BCI機器人可以幫助殘疾人或老年人控制輪椅、家庭電器開關等;(3)運動康復:BCI康復機器人可以幫助殘疾人或失去運動能力的老年人進行主動康復訓練,BCI護理機器人可以從事基本護理工作,提高殘疾人或老年人的生活質量。(4)重獲肢體能力:基于BCI機器人的義肢可成功幫助肢體殘疾的殘障人士重新獲得肢體控制的能力。BrainCo團隊表示,其開發的智能假肢處于世界領先水平,可以完成多種復雜的日常操作,其中包括彈鋼琴。該產品上市后定價預計在兩萬人民幣以內,是目前主流智能假肢價格的二十分之一。(5) 重獲缺失的感知能力:除了通過思維控制一些設備之外,未來甚至有望幫助部分喪失的感知能力的人群再次獲得感知能力,比如視覺、聽覺和觸覺等;此外,還可以將非人類感知能力轉變為人類感知能力,這其實是非常逆天的,比如對于超聲波的感知能力(就像從蝙蝠身上獲取這個能力一樣),再比如感知磁場等,就像擁有了超能力!“強化”方向少的原因:第一是因為實現難度高;第二是因為市場還未被充分教育,思維范式在短期內難以改變,付費意愿因技術能力不足而未達到臨界值,但軍用領域實際上已經有了不少的應用了,軍方也投入了大量資金。最后,還值得補充的是“保健方向”,也就是冥想減壓,有創業公司推出腦波檢測頭環,幫助用戶通過實時音頻反饋來提升冥想效果。其實,在北美,冥想的市場是非常大的,這是一個絕對可以挖掘的細分市場。2、娛樂 在娛樂方面,BCI技術的前景也是非常的廣闊,比如可以與虛擬現實技術結合,無需額外的外設操控設備,可以直接通過思維來控制游戲種的角色,獲得更加沉浸式的游戲體驗。目前,在這塊做得比較超前的公司是MindMaze,其融資總額已超1億美元。3、教育這個方向其實和醫療方向中的“恢復”方向會有些接近。教育科技是個千億級的市場,目前,腦機接口創業公司BrainCo就在做這一方向,主要是對學生注意力值的實時探測和訓練,既可以而幫助老師及時了解課堂情況改變教學情況,也能夠幫助學生提高注意力。
4、智能家居智能家居是腦機接口與IoT(物聯網)跨領域結合的一大想象空間。在這一領域,腦機接口扮演的角色類似于“遙控器”,幫助人們用意念控制開關燈、開關門、開關窗簾等,進一步可以控制家庭服務機器人。5、軍事在軍事方面,BCI技術可以幫助軍人更好的操控無人機、無人車、機器人等設備,代替軍人或者特殊職業的人士從事各種危險的任務,以及在不適宜人工操作的環境中工作。也可以幫助軍人獲得能力上的增強,比如通過BCI控制外骨骼機器人提升單兵作戰能力。根據第三方研究機構的測算,單純從腦機接口設備(EEG/EMG)的維度來看,市場規模在5年內將達到25億美元。如果從腦機接口將深度影響的數個科技領域來看,市場規模在5年內將達到數千億美元,其中包括:ADHD腦機接口反饋治療 460億美元,大腦檢測系統 120億美元,教育科技 2500億美元,游戲產業 1200億美元。
總結來說,腦機接口作為一種全新的控制和交流方式,還可以應用到更廣闊的腦機融合領域,就是所謂的硅基生物和碳基生物的融合,打造超強人類,讓人腦進一步自然延伸。腦機接口的發展對腦電的機理、腦認知、腦康復、信號處理、模式識別、芯片技術、計算技術等各個領域都提出了新的要求,人們也會大大加深對大腦的結構和功能的認識。隨著技術的不斷完善和多學科融合的努力,腦機接口必將逐步應用于現實,造福人類。