28323

رمزگشائي اطلاعات حركتي با استفاده از شبكه‌هاي عصبي عميق و سيگنال‌هاي الكتروكورتيكوگرام

كارشناسي ارشد

مهندسي پزشكي- بيوالكتريك

1399

1401/12/21

عباس عرفانيان اميدوار

دانشكده مهندسي برق

اين پايان‌نامه، در راستاي كمك به رفع يكي از مهم‌ترين مشكلات بخشي از افراد جامعه كه از ناتواني حركتي ناشي از قطع عضو يا آسيب‌هاي نخاعي كه قابليت حركت اعضاي بدن آنها محدود و يا سلب شده، تعريف شده است. سيستم‌هاي BMI با رمزگشايي فعاليت‌هايي كه در مغز صورت مي‌گيرد، امكان تفسير آنچه كه خواست آنها است، را فراهم مي‌نمايد. اين سيستم‌ها در واقع به افراد مذكور اين امكان را مي‌دهد كه بسياري از كارها را با وابستگي كمتر به ديگران، انجام دهند. علاوه بر اين، اين سيستم‌ها مي‌توانند تأثير به سزايي در پيشرفت تكنولوژي و ارتقاي سطح زندگي روزمره ساير افراد داشته باشند. هدف اصلي اين تحقيق، رمزگشايي پيوسته موقعيت دست در فضاي سه‌بعدي، با استفاده از سيگنال‌هاي ECoG ثبت شده از قشر حركتي مغز است. نكته حائز اهميت در اين تحقيق استفاده از سيگنال‌هاي ECoG براي تخمين موقعيت دست ميمون است. اين سيگنال‌ها امكان ثبت طولاني‌مدت و درنتيجه دسترسي به مجموعه‌داده كامل‌تري را فراهم مي‌كنند. در اين تحقيق، به كمك مدل‌سازي رياضي و استفاده از شبكه‌هاي عصبي عميق كه براي مجموعه داده حجيم بسيار مناسب هستند، عمليات استخراج ويژگي و تخمين فعاليت‌هاي حركتي با توجه به سيگنال‌هاي مورد بررسي صورت مي‌پذيرد. از چالش‌هاي موجود در اين حوزه دقت و زمان محاسباتي در تخمين حركات است كه در روشهاي مورد بررسي در اين تحقيق سعي بر ارتقاي اين دو مهم نسبت به تحقيقات پيشين شده است. در اغلب روش‌هاي پردازش سيگنال، دو مرحله استخراج ويژگي و مدل‌سازي رياضي به شكل مجزا و با استفاده از فرايندهاي آموزشي متفاوت انجام مي‌شود. با درنظرگرفتن اين مسئله، در اين تحقيق چندين ساختار شبكه عصبي عميق ارائه و مورد بررسي قرار مي‌گيرد كه در آنها هر دو مرحله استخراج ويژگي و مدل‌سازي رياضي وجود دارد و فرايند آموزش اين دو مرحله هم زمان انجام مي‌شود. روش‌هاي موردبحث در اين پژوهش شامل چهار مدل شبكه عصبي عميق 3D-CNN، LSTM، two-layer LSTM و CNN-LSTM است. براي بررسي سرعت و دقت عملكرد مدل‌هاي شبكه عصبي عميق مورد بررسي، نتايج حاصل از هر مدل با مدل متداول PLS كه در بسياري از تحقيقات مورد توجه قرار گرفته‌اند، مقايسه مي‌شود. يافته‌هاي حاصل شده از اين پژوهش بيانگر آن است كه استفاده از شبكه‌هاي عصبي عميق امكان تخمين حركات را طبق سيگنال‌هاي مورداستفاده براي آموزش به خوبي و در زمان مناسبي فراهم مي‌كند. همچنين در بين مدل‌هاي مورد بررسي شبكه عصبي دو لايه LSTM، بالاترين دقت پيش‌بيني را فراهم مي‌نمايد. اين روش با ضريب همبستگي ميانگين 0,777، نزديك‌ترين پيش‌بيني مسير حركت را نسبت به مسير حركت واقعي دارد. واژه‌هاي كليدي: سيستمهاي واسط مغز و ماشين، سيگنال ECoG، مدل‌سازي رياضي، استخراج ويژگي، يادگيري عميق، رمزگشايي، شبكه عصبي كانولوشن

1402/03/08

Decoding movement from ECoG signals using deep learning

3/11/2024 12:00:00 AM

This thesis is defined in order to solve one of the most important problems of a part of the society who suffers from mobility impairments or spinal cord injuries which limit functions of moving in any of the limbs. BMI systems can interpret what they want by decoding the activities in the brain. These systems actually allow the mentioned people to do many things with less dependence on others. In addition, these systems can have a significant impact on the advancement of technology and the improvement of the routine life of people. The main goal of this research is to continuously decode the position of the hand in three dimensions, using ECoG signals recorded from the motor cortex of the brain. The important point in this research is the use of ECoG signals to estimate the position of the monkey's hand, which has been obtained in previous research in this field. These signals provide the possibility of long-term recording and, as a result, access to a bigger data set. In this research, with the help of mathematical modeling and the use of deep neural networks, which are very suitable for big data sets, feature extraction and estimation of movement activities are done according to the signals. One of the challenges in this area is the accuracy and computational time in estimating movements, which in the presented methods have been tried to improve these two important factors compared to the previous research projects. In most signal processing methods, the two stages of feature extraction and mathematical modeling are considered separately and using different training processes. Regarding this issue, several deep neural network structures are presented and analyzed in this research, which both feature extraction and mathematical modeling stages, and the training process is carried out simultaneously. The methods discussed in this research include four deep neural network models: 3D-CNN, LSTM, two-layer LSTM, and CNN-LSTM. To check the performance speed and accuracy of deep neural network models, the results of each model are compared with the common PLS model, which has been considered in many research projects. The findings of this research indicate that the use of deep neural networks provides the possibility of estimating movements according to the signals used for training and in an efficient time. Also, among the investigated models, the two-layer LSTM neural network provides the highest prediction accuracy. This method with an average correlation coefficient of 0.77 has the closest prediction of the movement trajectory compared to the real movement trajectory. Keywords: Brain-Machine Interface (BMI), Decoding, Feature extraction, Deep Learnin (DL), ECoG Signals, Convolutional Neural Network (CNN), Long Short Term Memory (LSTM)

سيستمهاي واسط مغز و ماشين , سيگنال ECoG , يادگيري عميق , استخراج ويژگي , رمزگشايي , شبكه عصبي كانولوشن

Brain-Machine Interface (BMI) , ECoG Signals , Deep Learnin (DL) , feature extraction , decoding , Convolutional Neural Network (CNN)

Haniye Keshtkar

Dr. Abbas Erfanian