26303

طبقه بندي ريخت شناسي دريچه ميترال با استفاده از يادگيري عميق

دكتري

برق-الكترونيك

1395

16/12/1400

دكتر حميد بهنام

دكتر علي حسين ثابت

مهندسي برق

طبق گزارش سازمان بهداشت جهاني، بيماريهاي قلبي عروقي علت اصلي مرگ و مير در جهان است. التراسوند قلب كه به عنوان اكوكارديوگرافي(يا اكو) شناخته شدهاست، روش استاندارد براي غربالگري، تشخيص و نظارت بر بيماريهاي قلبي و عروقي ميباشد. اين حالت تصويربرداري غيرتهاجمي در امر تشخيص و درمان به عنوان اقتصادي ترين و بي ضررترين روش به جايگاه ويژه اي دست يافته است. بررسي هاي اكو استاندارد شامل ارزيابي اندازه و عملكرد حفره ها و همچنين تنگي و ساير مشخصه هاي ظاهري، آناتوميك و حركتي دريچه ها، ديواره ها و حفره هاي قلب ميباشد. تفسير تصاوير اكوكارديوگرافي به علت ماهيت نويزي آن ها حتي براي بهترين متخصصان مشكل است. همچنين بسياري از اندازه گيري ها و تحليل ها جهت تشخيص عملكرد قلب وقت-گير و وابسته به نظر فردي مي باشد. از اين رو نياز فراواني به يك سيستم خودكار جهت بهبود كيفيت تصاوير و استخراج پارامترهاي اصلي عملكرد قلب به منظور كمك به تشخيص احساس ميشود. روشهاي مبتني بر يادگيري عميق مانند شبكههاي عصبي كانولوشني (CNNs) و ترنسفورمرها نتايج خوبي را در بسياري از مسائل هوش مصنوعي ايجاد كردهاند. با كمك يادگيري عميق بخشي از مسئوليت استخراج ويژگي از انسان به كامپيوتر انتقال يافته است. اگرچه يادگيري عميق سهم عمدهاي را در تجزيه و تحليل تصاوير پزشكي در موداليتي هايي همانند تصاوير MRI، CT، X-ray ايفا كردهاست، اما بكارگيري اين ايده در تحليل تصاوير اكوكارديوگرافي همچنان با چالش هايي روبرو است. هدف اصلي اين پژوهش بكارگيري ايده يادگيري عميق به منظور استخراج ويژگي از تصاوير اكوكارديوگرافي و طبقه بندي ريخت شناسي دريچه ميترال در تصاوير اكوكارديوگرافي ‌است. جهت نيل به اين هدف دادگان استاندارد اكو(تصاوير اكو از ميان قفسه سينه (TTE)) با تنوع مناسبي در طي دوسال از افرادي كه به دلايل قلبي به مركز قلب تهران مراجعه مي كردند در دو نماي A4C و PLA جمع آوري، برچسب گذاري و مورد استفاده قرار گرفت. اين دادگان شامل دو بخش: مجموعه دريچه ميترال مصنوعي(447 نمونه مصنوعي و 1597 نمونه طبيعي) و مجموعه دريچه ميترال با معيار كارپنتير(424 نمونه NL، 155 نمونه MVP، 392 نمونه IIIa و 802 نمونه IIIb) است. در مجموعه اول با بكارگيري و آموزش 13 شبكه رايج مبتني بر CNNها بمنظور طبقه بندي تصاوير اكوكارديوگرافي دريچه ميترال در دو كلاس طبيعي و مصنوعي، شبكه EfficientNetB3 در نماي A4C و شبكه EfficientNetB4 در نماي PLA داراي بهترين عملكرد با AUC=0.99 بودند. براي مجموعه دوم چهارچوب الگوريتم پيشنهادي داراي سه بخش تحليل خودكار: تشخيص نما با شبكه EfficientNetB0، تشخيص محل بطن چپ با شبكه RetinaNet براي تعيين فازهاي سيستول-دياستول و طبقه بندي 4 و 3 كلاسه است. پس از تحليل دو بخش اول ابتدا نماي PLA هر نمونه توسط شبكه Inception-ResNet-v2 4كلاسه براي مشخص كردن بيماري MVP تعيين كلاس مي شود، اگر برچسب غير از MVP باشد نماي A4C نمونه توسط شبكه ResNeXt50 3كلاسه براي تعيين يكي از سه كلاس IIIa، IIIb و NL بررسي مي گردد. با چنين چهارچوب مبتني بر باقاعده در مجموعه آزمايش به دقت 80% دست يافتيم. بمنظور بررسي و ارائه قابليت توضيح پذيري عملكرد شبكه ها با الگوريتم Grad-Cam مناطقي از تصاوير اكوكارديوگرافي كه در آن مدل‌هاي مختلف به آن توجه مي نمايند را بصورت مصور نمايش داديم. با بكارگيري شبكه هاي حافظه دار مبتني بر ورودي ويدئو و استفاده از ايده نوين ترنسفورمرها و مكانيسم توجه استفاده از اطلاعات بين فريمي در چهاركلاس پيش گفته را مورد ارزيابي قرار داديم. در استفاده از ترنسفرمرها براي داشتن شرايط برابر در يك سيكل قلبي ابتدا فريم هاي نماي PLA تمامي نمونه ها را با روش SPARTEMP افزايش فريم داديم؛ سپس ازفريم هاي يك سيكل نمونه-برداري 16تايي انجام داده و در ادامه از هر فريم توسط شبكه Inception-ResNet-v2 بردار ويژگي استخراج مي گردد. اين بردارها با انجام پيش پردازش وارد بلوك هاي توجه به خود چند سر مي شوند. در اين بلوك ها با توليد بردارهاي كليد، مقدار و جستجو و اعمال عملگرغيرخطي، بلوك كانولوشن و ادغام ميانگين، طبقه بندي براي هر يك از 4 كلاس صورت پذيرفت. با اين روش به 2% افزايش دقت نسبت به روش قبلي رسيديم. نتايج اين پژوهش مي تواند بعنوان سيستم تشخيص بيماريها به كمك كامپيوتر(CADx) در نرم افزارهاي دستگاههاي اكوكارديوگرافي مورد استفاده قرار گيرد.

1401/01/16

Classification of Mitral Valve Morphology Based on Deep Learning Methods

3/7/2023 12:00:00 AM

According to the World Health Organization, cardiovascular diseases are the leading causes of death in the world. Cardiac ultrasound, also known as echocardiography (or echo), is the standard method for screening, diagnosing, and monitoring cardiovascular diseases. This non-invasive imaging modality has gained a special place in diagnosis and treatment as the most economical and noninvasive method. Echo-standard examinations include evaluation of the size and function of the cavities, as well as stenosis and other physical, anatomical, and movement features of the valves, walls, and cavities of the heart. Interpretation of echocardiographic images is difficult even for the best specialists due to their noisy nature. Also, many measurements and analyzes to diagnose heart function are time consuming and depends on the experience of the echocardiographer. Therefore, there is a great need for an automated system to improve image quality and extract the main parameters of heart function to help with diagnosis. Deep learning methods such as convolutional neural networks (CNNs) and transformers have yielded good results in many AI problems. With the help of deep learning, part of the responsibility of extracting features has been transferred from human to computer. The unprecedented success of deep learning is largely due to the following factors: (1) progress in GPUs; and (2) availability of large amounts of data (such as big data). Deep learning has played a major role in the analysis of medical images in modalities such as MRI, CT, and X-ray. The use of this type of learning is in one of the applications of medical image processing, classification and labeling of objects and images with the approach of computer prediction or diagnosis (CADx). In this dissertation we seek to apply the idea of deep learning in feature extraction from echocardiographic images and classification of images based on the type of disease (CAD systems), extraction of information from echocardiographic images during the cardiac cycle and the use of memory networks. According to the literature review, not much research has been done on the application of the idea of deep learning in the analysis of echocardiographic images. Therefore, the aim of this dissertation is to apply the idea of deep learning in order to classify the morphology of the mitral valve. To achieve this goal, standard data (transthoracic echocardiogram (TTE) images) with appropriate diversity during two years were collected. These data consist of two parts: prosthetic mitral valve dataset (447 Prostatic and 1597 natural) and Carpentier mitral valve dataset (424 NL, 155 MVP, 392 IIIa and 802 IIIb). In the first dataset, using 13 common CNN-based networks to classify mitral valve echocardiographic images in both natural and prosthetic classes, the EfficientNetB3 network in A4C view and the EfficientNetB4 network in PLA view had the best performance with AUC = 0.99. For the second dataset, the proposed algorithm framework has three parts of automatic analysis: view classification with EfficientNetB0 network, left ventricular location detection with RetinaNet network to determine systole-diastole phases and classification of 4th and 3rd classes. After analyzing the first two sections, the PLA view of each sample is first assigned by the 4-class Inception-ResNet-v2 network to classify MVP disease. If the label is non-MVP, the A4C view is checked by the 3-class ResNeXt50 network to determine one of the three classes IIIa, IIIb and NL. With such a rule-based framework, we achieved 80% accuracy in the test data. As an additional contribution, to provide explainability, we applied the Gradient-weighted Class Activation Mapping (Grad-CAM) algorithm to visualize areas of echocardiographic images where the different models generated a prediction. By using new idea of transformers and the mechanism of attention, we evaluated the use of interframe information in the aforementioned four classes. Using transformers to have equal conditions in a cardiac cycle, we first upsampled the PLA view frames of all samples by SPARTEMP method; 16 samples are then downsampled from the frames of a cycle and then the feature vector is extracted from each frame by the Inception-ResNet-v2 network. These vectors are pre-processed into self-attention blocks. In these blocks, classification was performed for each of the 4 classes by generating key vectors, value and search and applying nonlinear operator, convolution block and mean integration. With this method, we achieved a 2% increase in accuracy compared to the previous method. The results of this study can be used as a computer-aided diagnosis system (CADx) in the software of echocardiography devices.

اكوكارديوگرافي , يادگيري عميق , ريخت شناسي دريچه ميترال , شبكه هاي عصبي كانولوشني

echocardiography , deep learning , Mitral Valve Morphology , Convolutional neural networks

Majid Vafaeezadeh

Hamid Behnam