25882

طراحي و گسترش يك سيستم رابط مغز رايانه به منظورجا به جايي اشيا از راه دور توسط بازوي رباتي در محيط واقعي

كارشناسي ارشد

مهندسي پزشكي

97

1400/10/4

عباس عرفانيان اميدوار

برق

يك رابط مغز -كامپيوتر (BCI) كاربر را قادر مي سازد تا با استفاده از سيگنال هاي مغزي، به طور مستقيم با رايانه ارتباط برقرار كند. الكتروانسفالوگرافي (EEG) به دليل مزايايي همچون ماهيت غيرتهاجمي و استفاده آسان، به طور گسترده در BCI استفاده مي شود. هنگامي كه محركي به طور تصادفي رخ دهد، سيگنال P300 حدود 300 ميلي ثانيه پس از محرك، در EEG ظاهر مي شود. در اين مطالعه توسعه بازوي رباتيك براي جابجايي اشياء به مكان مورد نظر، توسط محرك بينايي و سيگنال P300 انجام شده است. بدين منظور يك رابط كاربري گرافيكي (GUI) نوآورانه پيشنهاد شد تا كاربر بتواند با كمترين دستور BCI، اشيا را جابجا كند. كاربر ابتدا شي مورد نظر را در اولين GUI انتخاب و در GUI دوم تاييد مي كند. سپس براي جابجايي شي انتخاب شده، مقصد مورد نظر خود را در GUI سوم انتخاب و در GUI چهارم تاييد مي كند. پس از پايان انتخاب هاي كاربر، مسير حركت ربات با استفاده از سينماتيك معكوس و مختصات جسم و مقصد (كه همزمان توسط دوربين نصب شده بر روي ميز پردازش شده است)، طراحي مي شود. علاوه بر اين، يك سوئيچ مغزي در اولين GUI طراحي شد تا كاربر طبق اراده خود سيستم را در حالت كنترل يا غيركنترل قرار دهد. به دليل ماهيت غير ايستايي سيگنال هاي مغزي، داده آموزش زيادي براي كاربر جديد لازم است. اين روند وقت گير و باعث خستگي كاربر مي شود. يادگيري انتقالي رويكردي براي كاهش زمان آموزش و بهبود عملكرد سيستم است. با اين حال نحوه انتقال موثر اطلاعات از كاربران قبلي به كاربر جديد چالش بزرگي است. در اين تحقيق يك روش يادگيري انتقالي جديد بر مبناي معيار فيشر پيشنهاد شده است كه از ويژگي‌هاي استخراج ‌شده از كاربر قبلي به منظور كاهش داده‌هاي مورد نياز از كاربر جديد، استفاده مي‌كند. ما از مدل تركيبي جديد مبتني بر استخراج ويژگي از شبكه عصبي كانولوشن (CNN) و طبقه ‌بندي با شبكه عصبي بولتزمن (DRBM)، به عنوان مدلِ طبقه بند استفاده كرديم. عملكرد يادگيري انتقالي پيشنهادي و طبقه ‌بند تركيبي جديد، بر داده¬ي استاندارد II از سومين مسابقه BCI بررسي شد كه در مقايسه با مطالعات اخير، نتايج بهتري به دست آمد. سپس آزمايش ها در دو جلسه برون خط و برخط بر 4 داوطلب انساني با رده سني 28_59 سال انجام گرفت. در حالت برون خط، يادگيري انتقالي پيشنهادي در مقايسه با دو روش يادگيري انتقالي تبديلِ اقليدسي و تنظيمِ دقيق بهتر ظاهر شد. همچنين طبقه ‌بند تركيبي پيشنهادي با 4 روش CNN، تحليل تفكيك فضايي_زماني، ماشين هاي برداري پشتيبان (SVM) و تركيب CNN_SVM مقايسه شد و به طور ميانگين عملكرد بهتري ‌داشت. در آزمايش هاي برخط از كاربر خواسته شد 4 جسم از پيش تعيين شده را به 4 مقصد مورد نظر جابجا كنند. با استفاده از يادگيري انتقالي پيشنهادي و طبقه بند تركيبي جديد، متوسط دقت 79.2% و نرخ انتقال اطلاعات 19.2 بيت در دقيقه، براي 2 ترايال داده بدست آمد

1400/10/22

Design and develop a brain-computer interface for moving objects remotely by a robot arm in a real environment

12/25/2022 12:00:00 AM

A brain-computer interface (BCI) enables a user to communicate with a computer directly using brain signals. Electroencephalography (EEG) has been widely used for BCI research due to their advantages, such as non-invasive nature and easy operation. When stimuli occur randomly، a P300 signal appears in the EEG around 300ms after the stimulus. In this study we proposed development of robotic arm for moving selected objects to the desired location by visual stimuli and p300 signal. An innovative graphical user interface (GUI) is designed to the user can move objects with the least BCI commands. The user first selects the object by the first GUI and confirms his choice in the second GUI. Then, in order to move the selected object, he selects its desired destination in the third GUI and confirms it in the fourth GUI. After the user's selections are completed, the robot's path is designed using inverse kinematics and object and destination coordinates (processed simultaneously by a camera placed on the table). In addition, a brain switch in the first GUI was designed for the system so the user can set the system into control or non-control mode whenever he wants. Due to the non-stationarity nature of brain signals, repeated time-consuming calibration which causes users to become fatigued and reduces the efficiency and performance of the system. Transfer learning is a promising approach for reducing training time and improve system performance. However, how to effectively transfer data from previous users to a new user poses a huge challenge. In this research we proposed a new transfer learning method based on fisher criterion that utilizes extracted features from other subjects to reduce the data requirement from the new subject for training the model. We used new hybrid model based on convolutional neural network (CNN) feature extraction and discriminative restricted Boltzmann Machines (DRBM) classifier. Our proposed transfer learning method and hybrid classification model applied to dataset II from BCI competition III which achieved better results compared to the proposed methods of recent studies. In the offline mode, the proposed transfer learning method appeared better than the two methods of transfer learning, fine-tuning and euclidean alignment. The proposed hybrid classification model was compared with four methods: CNN, spatio-temporal discriminative analysis (STDA), support vector machines (SVM) and CNN_SVM combination, which had better performance on average. In online experiments, subjects were asked to move 4 predetermined objects to 4 Destination. In this experiment, using the new transfer learning method and the hybrid classification model, the average classification accuracy was 79.2 and the average information transfer rate (ITR) was 19.2 bits per minute in two trials.

رابط واسط مغز-رايانه، يادگيري انتقالي ، شبكه عصبي كانولوشن، شبكه عصبي بولتزمن

Brain-computer interface (BCI), electroencephalogram (EEG), P300, robotic arm, transfer learning, Convolutional Neural Networks (CNN), Restricted Boltzmann Machine (RBM)