29000

رمزگشايي توجه بينايي پنهان در سيگنال هاي EEG با استفاده از رويكرد يادگيري عميق

كارشناسي ارشد

مهندسي پزشكي - بيوالكتريك

1399

1402/06/04

دكتر محمدرضا دليري

مهندسي برق

توجه فرآيندي است كه طي آن برخي از محرك ها مانند اشياء، ويژگي و مكان ها براي دريافت پردازش بيشتري نسبت به سايرين انتخاب مي‌شوند. اين توانايي شناختي بسيار مهم بوده و يك عملكرد ضروري در زندگي روزمره ما مي باشد. نوعي از توجه در بينايي، توجه پنهان است كه به عنوان توجه بدون حركت چشم تعريف مي شود. رمزگشايي توجه بينايي پنهان مي تواند در ابعاد گسترده اي مورد مطالعه و استفاده قرار گيرد. از آنجايي كه جابه‌جايي توجه پنهان هيچ رفتار قابل مشاهده‌اي ايجاد نمي‌كند، EEG دسترسي به اين فرآيند را فراهم مي‌سازد. اكثر مطالعات انجام شده در حوزه ي رمزگشايي توجه بينايي پنهان با استفاده از سيگنال هاي EEG از رويكردهاي سنتي يادگيري ماشين براي طبقه بندي استفاده نموده اند كه اين مسأله نيازمند تخصص كافي در شناخت ويژگي ها به منظور استخراج و انتخاب آن ها است. يادگيري عميق زيرشاخه‌اي از يادگيري ماشين است كه اخيراً به عنوان راهي براي استخراج خودكار ويژگي‌ها مورد استفاده قرار مي گيرد. در اين پژوهش سيگنال EEG از 10 سوژه سالم در آزمايش هاي توجه بينايي پنهان ثبت گرديد و روش هايي براي رمزگشايي اين سيگنال ها تعريف شد كه بر مبناي رويكرد يادگيري عميق بوده و تنها با استفاده از خود سيگنال و تبديل هاي حوزه ي زمان-فركانسي آن قادر به انجام فرآيند طبقه بندي است و نياز به انتخاب و استخراج ويژگي را مرتفع مي سازند. نتايج بررسي ها حاكي از آن بود كه اعمال تبديل زمان-فركانس با استفاده از تبديل موجك پيوسته (CWT) بر روي سيگنال هاي EEG، ورودي مناسبي براي مدل هاي يادگيري عميق براي طبقه بندي بوده و مدل ShallowConvNet كه يك مدل يادگيري عميق با لايه هاي كانولوشني است، با اعمال اين ورودي در طبقه بندي دوكلاسه ي توجه فضايي به صحت 100 درصدي در هر دو آزمايش رنگ و جهت و در طبقه بندي چهاركلاسه ي تركيب توجه فضايي و ويژگي-محور به صحت 90.77 و 90.24 درصدي به ترتيب براي آزمايش هاي رنگ و جهت رسيده و پس از آن مدل EEGNet با صحت 97.18 و 98.43 درصدي در كار دوكلاسه و صحت 88.21 و 89.66 درصدي در كار چهاركلاسه به ترتيب براي آزمايش هاي رنگ و جهت، موفق به رمزگشايي توجه بينايي پنهان شده است. با توجه به نتايج به دست آمده، اين پژوهش دقت و صحت رمزگشايي را نسبت به مطالعات پيشين به طور قابل ملاحظه اي افزايش داده است.

1402/08/12

Decoding covert visual attention of EEG signals using deep learning approach

8/25/2024 12:00:00 AM

Attention is a process through which certain stimuli, such as objects, features, and locations, are selected for further processing over others. This cognitive ability is crucial and essential in our daily lives. One type of attention in vision is covert attention, defined as attention without eye movements. Decoding covert visual attention can be studied and utilized in various applications. Since covert attention shifts do not produce any observable behavior, EEG provides access to this process. Most studies in the field of decoding covert visual attention have used EEG signals and applied traditional machine learning approaches for classification, which requires sufficient expertise in feature cognition for extraction and selection. Deep learning is a subfield of machine learning that has recently been used as an approach for automatic feature extraction. In this study, EEG signals from 10 healthy subjects during covert visual attention tasks were recorded, and methods for decoding these signals were defined based on a deep learning approach. These methods were able to perform the classification process only based on the EEG signals and their time-frequency domain transformations as inputs, which is eliminating the need for feature selection and extraction. The results indicated that applying time-frequency transformations using Continuous Wavelet Transform (CWT) on EEG signals provided suitable inputs for deep learning models. The ShallowConvNet model, a deep learning model with convolutional layers, achieved 100% accuracy in two-classes spatial attention classification and 90.77% and 90.24% accuracy in four-classes spatial and feature-based attention classification, for color and direction tasks, respectively. Furthermore, The EEGNet model, which achieved 97.18% and 98.43% accuracy in two-class and 88.21% and 89.66% accuracy in four-class color and direction tasks, successfully decoded covert visual attention. Considering the obtained results, this research significantly improved the accuracy of decoding compared to previous studies.

الكتروانسفالوگرافي , توجه بينايي , يادگيري عميق , تبديل موجك

Electroencephalography , Visual Attention , Deep Learning , Wavelet Transform

Hoda Hazrati

Dr. Mohammad Reza Daliri