23600

واقعيت افزوده پزشكي با يادگيري مدل سه بعدي چهره

كارشناسي ارشد

مهندسي كامپيوتر-هوش مصنوعي

96-97

1399/10/30

دكتر محسن سرياني

دكتر محمدرضا محمدي

دانشكده مهندسي كامپيوتر

آموزش در عصر امروز، نيازمند روش‌هاي نوين است، كه بتواند در زمان كمتر و با عمق بيشتري مطالب را به دانش‌جويان تعليم دهد. واقعيت افزوده يك روش نوين براي آموزش به خصوص در حوزه پزشكي به شمار مي‌رود. با استفاده از واقعيت افزوده در حوزه پزشكي، نگران تلفات مالي و جاني ناخواسته در حين آموزش نخواهيم بود. به همين منظور واقعيت افزوده در حوزه پزشكي معمولا ًبه دنبال نمايش داخل بدن انسان است به طوري كه احتياج به بريدن بدن براي نمايش اجسام شبيه‌سازي شده مجازي نداشته باشد. به اين ترتيب هزينه و تلفات جاني به حداقل مي‌رسد. در اين پايان نامه عضله حلقوي چشم به صورت مجازي شبيه‌سازي شده بر روي تصويري از شخص افزوده شده است تا به عنوان مرجعي براي آموزش نحوه قرارگيري اين عضله و همينطور تغيير شكل آن باشد. به اين منظور ابتدا يك مدل سه بعدي از چهره فرد ساخته مي‌شود. اين مدل يك مدل سه بعدي چهره پارامتري است كه با تغيير پارامترها، مدل سه بعدي مجازي متناسب با آن تغيير مي‌كند. از روي اين مدل سه بعدي، مدل سه بعدي ماهيچه مجازي بدست مي‌آيد، كه در نهايت آن‌را با تخمين زاويه چهره بر روي چهره قرار مي‌دهيم. يكي از چالش‌هاي موجود در اين زمينه عدم دسترسي به مجموعه داده‌هاي پزشكي است كه ارزيابي خروجي را با مشكل مواجه مي‌كند. بعلاوه شبيه‌سازي ماهيچه به طور خودكار با استفاده از مدل سه بعدي چهره تاكنون مورد بحث نبوده است. در اين پايان نامه با استفاده از روش‌هاي موجود و اضافه كردن تكنيك‌هاي ساده براي مقابله با چالش‌ها، يك چارچوب پيشنهاد داديم كه مي‌تواند براي مصارف آموزشي با استفاده از واقعيت افزوده مورد استفاده قرار گيرد. با توجه به تصاوير خروجي، مشخص است كه ماهيچه شبيه‌سازي شده مي‌تواند متناسب با تغيير شكل چهره، تغيير كند. همينطور در عمل باز و بسته شدن چشم، ماهيچه متناسب با ميزان بسته شدن چشم منقبض و منسبط مي‌شود. در اين تحقيق از دانشجويان و اساتيد در حوزه پزشكي خواسته شد تا نمره‌اي از 1 تا 5 جهت بررسي عملكرد اين چارچوب ارائه كنند، كه ميانگين 4 نشان دهنده عملكرد خوب اين چارچوب است.

1400/02/25

Medical Augmented Reality With Learning Face 3D Morphable Model

1/1/1900 12:00:00 AM

Nowadays, education needs novel techniques to train students better in lower time. Augmented Reality (AR) is a new solution for training, specially in medicine. With using AR in medicine we no longer need to worry about life or cost loss. For this purpose AR in medicine usually shows inside of the human body, without needing to cut through human flesh, thus it can minimize cost and life loss. In this thesis the orbicularis oculi muscle, is simulated virtually and augmented on a picture of person, so it can be used as a reference for learning position and area that the muscle covers and even muscle deformation during eye closure. For this purpose first a 3D morphable model is constructed from person's face. This model is a parametric model for which by changing the parameters, the virtual 3D morphable model changes accordingly. Then we extract the 3D muscle model from this virtual 3D morphable model, and using head pose estimation, we put the muscle on the face. One of the challenges in this area is shortage of medical data-sets which causes problems in evaluation process. Additionally as far as we know, simulating the muscle automatically has not been studied before. In this thesis using previous solutions and combining them in a suitable manner, we proposed a framework which can be used for training purposes using augmented reality. According to the output images, it is clear that the simulated muscle can change according to the shape of the face. Also, in the operation of opening and closing the eye, the simulated muscle's contraction is proportional to the degree of eye closure. In this study, students and professors in the field of medicine were asked to provide a score from 1 to 5 to evaluate the performance of this framework, which an average of 4 indicates good performance of our framework.

مدل سه بعدي شكل پذير، عضله حلقوي چشم، چهره، واقعيت افزوده

3D Morphable Face Model, Augmented Reality,Orbicularis Oculi Muscle