22730

كنترل بازوي ربات جراح با استفاده از حسگر ليپ موشن به همراه تخمينگر حالت فيلتر كالمن

كارشناسي ارشد

طراحي كاربردي - ديناميك، كنترل و ارتعاشات

1399

1399/06/29

دكتر محرم حبيب نژاد كورايم

مكانيك

با توجه به پيشرفت چشمگير علوم پزشكي، مهندسي و كامپيوتر، تمايل به جراحي لاپاراسكوپي و ميزان حضور ربات‌هاي جراح در اتاق‌هاي عمل روزبه‌روز رو به افزايش است و نياز به تعامل ميان جراح و ربات، يك نياز قابل توجه به شمار مي‌رود. با توجه به فضاي كاري محدود و اهميت حفظ استريليزگي درون اتاق‌هاي عمل، وجود رابط‌هاي كاربري غيرتماسي براي ايجاد يك تعامل كارآمد ميان جراح و ربات جراح بسيار حائز اهميت است. در اين پايان‌نامه به بررسي يك رابط كاربري غيرتماسي مبتني بر بينايي به نام ليپ موشن پرداخته شده‌است‌ كه مي‌تواند موقعيت، سرعت و جهت‌گيري دست جراح را رديابي كرده و حركات هر انگشت را تشخيص دهد و به كامپيوتر منتقل كند. سپس به كمك نرم‌افزار، اطلاعات دريافتي توسط اين حسگر طبقه‌بندي شده و به وسيله‌ي اين اطلاعات يك بازوي ربات جراح هدايت شده‌است. همچنين مي‌توان به كمك اين حسگر و ربات‌هاي جراح امكان جراحي از راه دور را نيز فراهم كرد. البته علاوه بر قابليت‌هاي مذكور، ويژگي‌هايي از قبيل قيمت پايين (حدود 80 يورو)، دقت مطلوب (در حدود mm1/0) و سرعت بالاي دريافت و پردازش اطلاعات (بيش از100 فريم بر ثانيه) عواملي هستند كه قابليت استفاده از اين سيستم را افزايش مي‌دهند و بايد مورد توجه قرار بگيرند. در اين پايان‌نامه به معرفي ربات‌هاي جراح و رابط‌هاي كاربري طبيعي انسان-كامپيوتر پرداخته شده‌است. همچنين ويژگي‌هاي حسگر ليپ موشن، روش راه‌اندازي آن و مواردي از حضور آن در اتاق‌هاي عمل عنوان شده و ميزان دقت، مزايا و معايب آن مورد ارزيابي قرار گرفته‌است. سپس از جا‌به‌جايي نقطه‌ي مركز دست به عنوان معياري براي جا‌به‌جايي پنجه‌ي ربات 5 درجه آزادي شبيه‌ساز بازوي ربات جراح، و از زاويه‌ي بين انگشتان شست و اشاره به عنوان فرماني جهت تعيين ميزان باز و بسته شدن گيره‌ي لاپاراسكوپي استفاده شده‌است. پس از انجام آزمايش تجربي بر روي ربات و هدايت آن به كمك حركات دست در حضور ليپ موشن كه حداكثر خطاي مسير در طول اين تست ٪6.19 برآورد شده‌است، با اعمال فيلتر كالمن اقدام به كاهش اثر نويزهاي ورودي به ربات شده‌است و در انتها به جمع‌بندي، نتيجه‌گيري و همچنين بيان افق‌هاي پيش رو و پيشنهاد براي اقدامات آينده پرداخته شده‌است.

1399/07/30

Controlling Surgical Robot Arm Using Leap Motion Controller with Kalman Filter

9/20/2021 12:00:00 AM

The developments in medicine, engineering, and computer science caused increases in the propensity to laparoscopic surgery and the number of surgical robots in the operating rooms day by day; thus, the necessity to interact between surgeon and robot is significantly essential. Considering workspace restrictions and the importance of maintaining sterility in the operating rooms, the presence of contact-less user interfaces is of paramount importance in order to establish efficient interaction between the surgeon and surgical robot. In this study, a vision-based contact-less user interface named Leap Motion Controller was studied which is able to track position, velocity, and orientation of the surgeon’s hand and detect gestures and movements of each finger and then, transmit data to the computer. Afterward, a surgical robot arm was controlled using LM’s received data which was classified through programming. The telesurgery can be operated by using this controller beside a surgical robot. In addition to the mentioned capabilities for LM, some characteristics such as low price (about 80 €), acceptable accuracy (approximately 0.1 mm), and high-rate data collecting and processing (more than 100 fps) have made this device utilizable and efficient. In this thesis, surgical robotic systems and natural human-computer user interfaces were introduced. The sensor characteristics, the way to set up the controller, some examples of Leap Motion utilization in the operating rooms, and the advantages and disadvantages of the sensor were investigated as well. Afterward, the displacement of the hand’s palm center was set as a criterion for the displacement of the 5-DOF surgical robot simulator end-effector. Moreover, the angle forms between thumb and index finger was used as a command to open or close the laparoscopic grasper. After conducting a robotic experiment to control a robot by following a hand path using LM, which produced error with a maximum of 6.19%, the effects of system input noises were minimized by the implementation of Kalman Filter. Finally, the conclusion of the study and some suggestions for future tasks were represented.