文章來源於“腦機介面社群”
研究人員提出了一種基於深度學習模型的運動想象腦機介面（BCI）。運動想象的腦動力學通常透過EEG作為低信噪比的非平穩時間序列進行測量。研究人員經過調研發現，以往對MI-EEG訊號進行分類的方法，由於缺乏時頻特徵，分類效果不是很理想。在該項研究中，研究人員採用離散小波變換（DWT）對腦電訊號進行變換，並提取其有效係數作為時頻特徵。然後採用長-短期記憶（LSTM）和門控遞迴神經網路（GRNN）兩種深度學習模型對MI-EEG資料進行分類。
其中LSTM被設計用於對抗逐漸消失的梯度。GRNN使每個迴圈單元自適應地捕獲不同時間範圍的依賴關係。GRNN有門控單元可調節單元內部的資訊流，但無需單獨的儲存單元。實驗結果展示了，GRNN和LSTM具有更高的分類精度，有助於相關RNN在MI-EEG處理中的進一步研究和應用。
運動想象（MI）是BCI領域的一個重要研究課題。所謂運動想象腦電，就是想象某種肢體運動時的腦電模式。現代神經電生理學研究表明：當進行肢體動作或運動想象時，對應啟用腦區EEG成分在功率譜密度上產生變化，即出現ERD/ERS現象。腦電的這種節律性差異，可用於實現BCI技術。
想象肢體運動時，對應皮層投射區域出現腦電節律調製現象。當想象左手運動時，大腦右半球C4區域神經電活動增強，該區域的資訊加工導致EEG功率譜出現減弱現象；當想象右手運動時，大腦左半球C3區域神經電活動增強，其EEG功率譜出現減弱現象；而對應腳和舌頭的ERD/ERS現象分別出現在大腦頂葉和顳葉，大致為Cz和CP6區域。不同運動想象任務時所啟用的腦區如下圖1所示，其空間分佈符合周圍神經纖維與大腦皮層投射關係，與腦功能分割槽圖相一致，因此，運動想象腦電訊號具有空間特性。
ERD/ERS現象主要出現在頻率範圍在8-12Hz的mu節律和頻率範圍在18-26Hz的beta節律，特別是mu節律變化最為顯著。但是不同任務的運動想象腦電在特徵頻段上也有差別，對應手的ERD經常出現在10-12Hz和20-24Hz，對應腳的ERD經常出現在7-8Hz和20-24Hz，對應舌頭的ERS經常出現在10-11Hz，並且運動想象腦電頻段是與特定人相關的，因此，運動想象腦電訊號還具有頻段特性，合理選擇最佳的濾波器及濾波頻段是後續處理提高分類效果的關鍵。
圖1 不同運動想象任務時所啟用的腦區
由於運動想象是透過對肢體運動的成像來模擬給定的動作，它會使得大腦皮層神經元之間的連線發生各種變化。這會導致mu節律的事件相關去同步（ERD）或事件相關同步（ERS）。這些效應是由於神經元化學突觸的變化，互連強度的變化或區域性神經元內在膜性質的改變。MI-EEG是從頭皮EEG中提取的，具有非線性、非平穩、時變等特點。
系統架構
實驗提出的BCI系統透過Emotiv EPOC晶片，g。SAHARAbox系統和g。SAHARA電極整合為EEG訊號提取子系統。g。SAHARAbox系統和g。SAHARA電極如圖2所示。該系統的電極為乾式非侵入式導電系統，可將16個EEG通道同時嵌入到EPOC晶片的輸入中。如圖3所示，基於國際10-20系統的電極位置C3，C4和Cz用於提取EEG訊號，而位置A1和A2用作參考點。對於MI-EEG訊號，分別識別出兩個運動想象大腦訊號。一個是“想象右手動作”，另一個是“想象左手動作”。為了建立取樣模型，研究人員從每個通道獲取了每個想象動作的9秒腦電圖訊號。對提取出來的腦電波訊號進行DWT變換，得到其頻域頻譜。然後利用LSTM和GRNN計算頻率特徵並進行分類。
圖2 EEG訊號提取子系統 （a） g。SAHARAbox系統；（b） g。SAHARA電極
圖3 國際10-20系統的電極位置C3，C4和Cz位置
離散小波變換
該項研究中，研究者採用Daubechies博士提出的Daubechies小波來提取腦電圖訊號的特徵。Daubechies小波常用於訊號壓縮、數字訊號分析和噪聲濾波等方面。在Daubechies小波分析中，採用多個系列db小波可以獲得較好的訊號分析效能。研究者具體採用db4小波提取腦電訊號的主要特徵。
在小波分解中，將原始訊號分別輸入到低通濾波器g［k］和高通濾波器h［k］。低通濾波器保留了原始訊號的一致性，高通濾波器保留了原始資料的可變性。離散小波變換可以結合小波函式和尺度函式。低頻部分具有較高的頻率解析度和較低的時間解析度，而高頻部分具有較低的頻率解析度和較高的時間解析度。離散小波變換分解重組如圖4所示，小波變換的多解析度分析如圖5所示。
圖4 離散小波分解與重構
圖5 離散小波多解析度分解
基於LSTM的迴圈網路
RNNs是一種很受歡迎的網路，它在許多時序任務中表現出了很大的潛力。RNN之所以稱為迴圈網路，是因為它們對序列的每個元素執行相同的任務，並且輸出取決於先前的狀態。LSTM是一種變種的RNN，它的精髓在於引入了細胞狀態這樣一個概念，不同於RNN只考慮最近的狀態，LSTM的細胞狀態會決定哪些狀態應該被留下來，哪些狀態應該被遺忘。
圖6 RNN
圖7 LSTM
LSTM中的記憶體稱為單元，可以將其視為黑盒，將先前的狀態和當前的輸入作為輸入。在內部，這些單元決定要儲存在記憶體中的內容以及要從記憶體中刪除的內容。然後，它們將先前的狀態、當前記憶體和輸入組合在一起。事實證明，這些型別的單元在捕獲長期依賴性方面非常有效。
在本研究中，研究者採用了Gers和Schmidhuber 提出的peephole-connection LSTM，如圖8所示。
圖8 LTSM流程
門控遞迴神經網路（GRNN）
GRNN由Cho等人提出，目的是為了讓每個迴圈單元自適應地提取不同時間尺度的依賴關係。如圖9所示，GRNN具有門控單元，可以像LSTM單元一樣調製單元內部的資訊流，但沒有單獨的儲存單元。
圖9 GRNN流程
圖10 腦電訊號控制電動輪椅
研究者將所提出的腦機介面系統應用於電動輪椅的控制。線上實驗過程中，每位受試者均佩戴帶有集成了g。SAHARAsys和EPOC晶片的EEG採集系統。此外，還添加了用於眨眼的EEG訊號，以輕鬆控制電動輪椅前進或緊急停車。對於MI-EEG訊號，將想象的左手和右手轉換為左右旋轉輪椅，同時將眨眼訊號轉換為前進/緊急停止。為了加快腦電訊號的提取和處理，將間隔調整為1 s。但是這些修改導致失去一些功能。因此，將db4小波調整為兩個級別，並在LSTM和GRNN網路的隱含層中增加一層。
增加DWT的階數可以直接減少EEG訊號的長度。如果仍使用db4 DWT，則提取的訊號將丟失某些特徵。因此，降低DWT階數可以在原始EEG訊號中保留更多特徵。隱藏層的數量增加是由於輸入EEG訊號的複雜性增加。隱藏的層越多，越有利於處理資料。但是，太多的隱藏層將導致網路在學習過程中難以收斂。
圖11。 具有db4小波和七個隱藏層的LSTM和GRNN中的準確率。 （a） LSTM； （b） GRNN。
圖12。具有db2小波和八個隱藏層的LSTM和GRNN中的準確率。（a） LSTM； （b） GRNN。
在該項試驗中，為了獲得更好的收斂性，研究者將另外一層新增到隱藏層中。圖11顯示了具有隱藏層七層的LSTM和GRNN網路對db4小波的分類準確率，而圖12顯示了具有隱藏層八層的LSTM和GRNN網路對db2小波的分類準確率。
從圖11和圖12中，我們可以發現，對於LSTM和GRNN網路，測試資料的準確率明顯提高，並且接近訓練資料的準確率。
研究人員將LSTM和GRNN兩種深度學習模型嵌入腦機介面系統進行MI-EEG訊號分類，以識別兩種想象運動，例如想象左右手動作。研究者在其設計的腦機介面系統中，使用tg。SAHARAbox系統和g。SAHARA電極的Emotiv EPOC IC等裝置來捕獲C3，Cz和C4上的MI-EEG訊號。並使用Daubechies小波來獲得db4和db2係數的特徵值。GRNN可以使每個遞迴單元自適應地捕獲可變長度序列。研究結果展示了，GRNN的效能優於其他策略。而且，在電動輪椅的控制應用中， GRNN展現了比LSTM更好的效能優勢。
參考：
A Motor-Imagery BCI System Based on Deep Learning Networks and Its Applications
運動想象腦電訊號處理與P300刺激正規化研究
基於深度學習網路的運動想象BCI系統及其應用
點選上面動圖掃描二維碼，關注我們
