30601

طراحي سيستم هوشمند كمك بينايي براي افراد نابينا و كم بينا با استفاده از يادگيري عميق

كارشناسي ارشد

مهندسي برق- سيستم‌هاي الكترونيك ديجيتال

1399

1402/11/25

شهريار برادران شكوهي

مهندسي برق

سيستم‌هاي هوشمند كمك بينايي وسايل كاربردي هستند كه مي‌توانند به افراد داراي اختلالات بينايي بدون توجه به مكان و زمان، كمك كنند. سيستم هاي هوشمند كمك بينايي مانند ساير دستگاه‌هاي هوشمند، اغلب از دوربين براي گرفتن عكس استفاده مي كنند، اگرچه در سيستم پيشنهادي ما در كنار اين مورد از عكس صفحه گوشي مانند اسكرين شات ها يا عكس هايي كه از محيط اينترنت دانلود شده اند نيز مي توان استفاده كرد. اين به سيستم اجازه مي دهد تا اطلاعات مهمي در مورد علايق، فعاليت ها، محيط اطراف و شغل كاربر در اختيارش قرار دهد. مهمترين هدف استفاده از سيستم هاي هوشمند كمك بينايي ايجاد سهولت و استقلال نسبي در زندگي افراد نابينا و كم بيناست، به سبب اهميت اين موضوع در اين پروژه قصد داريم سيستم هوشمند كمك بينايي طبيعي پتانسيل دار را تحت عنوان PNV معرفي كنيم كه بطور مشخص وظايف آشكارسازي، تشخيص و خواندن متن را انجام مي‌دهد. در اين سيستم ابتدا از شبكه MobileNetV3 x0.5 بزرگ استفاده كرديم تا متن موجود در تصوير ورودي مكان يابي شود و سپس عمليات تشخيص متن به كمك معماري CRNN بوسيله ايجاد نقشه هاي ويژگي، دنباله هاي ويژگي و در نهايت تلفات CTC كه براي حذف فاصله و تكرار حروف است، انجام مي‌شود و در پايان متن تشخيص داده شده به موتور تبديل متن به صدا وارد مي‌شود كه به اين افراد در آگاه شدن از آن متن كمك كند. در اين فرآيند براي آشكارسازي متن بوسيله سيستم PNV1 به دقت 85.2٪ و PNV2 به 86.4٪ دست پيدا كرديم و براي تشخيص متن اين مقادير بترتيب 80.6٪ و 82.3٪ است كه در مقايسه با سيستم هاي ديگر بهبود قابل توجهي پيدا كرده است.

1402/12/22

Designing an intelligent vision aid system using deep learning for blind and visually impaired patients

1/1/1900 12:00:00 AM

Intelligent vision aid systems are practical tools that can help individuals with visual impairments regardless of location and time. Intelligent vision aid systems, like other smart devices, often use cameras to take photos, although in our proposed system, in addition to this, screenshots of the phone screen or images downloaded from the internet can also be used. This allows the system to provide important information about interests, activities, surroundings, and the user's occupation. The main goal of using intelligent vision aid systems for visual assistance is to create ease and relative independence in the lives of blind and visually impaired individuals. Due to the importance of this issue in this project, we intend to introduce a potential natural visual aid system under the name PNV, which specifically performs the tasks of detection, recognition, and reading of text. In this system, we initially used the MobileNetV3 x0.5 network to locate and detect the text in the input image, and then the text recognition operation is performed using the CRNN architecture by creating feature maps, feature sequences, and finally the CTC losses, which are used for removing spaces and repeating characters. The recognized text is then input to the text-to-speech engine to help these individuals become aware of the text. In this process, for text detection using the PNV1 system, we achieved an accuracy of 85.2%, and for PNV2, 86.4%. For text recognition, these values are 80.6% and 82.3%, respectively, showing a significant improvement compared to other systems. Keywords: Intelligent vision aid system, text detection, text recognition, deep learning

سيستم هوشمند كمك بينايي , آشكارسازي متن , تشخيص متن , يادگيري عميق

Intelligent vision aid system , Text Detection , Text Recognition , Deep Learning

Parisa Naghdi

Dr. Baradaran Shokoohi