شماره ركورد
9036
پديد آورنده
بيان ديواني آذر
عنوان
توسعه مدل VLN به عنوان دستيار نابينايان
مقطع تحصيلي
كارشناسي
رشته تحصيلي
مهندسي كامپيوتر
سال فارغ التحصيلي
1402
استاد راهنما
دكتر صالح اعتمادي
دانشجوي وارد كننده اطلاعات
بيان ديواني اذر
تاريخ ورود اطلاعات
1403/02/02
دانشكده
مهندسي كامپيوتر
عنوان به انگليسي
Developing VLN as BLV asistant
چكيده
امروزه تحقيقات فراواني در رابطه با افزايش سطح زندگي افراد نابينا و كمبينا انجام ميشود. با كمك پيشرفتهاي اخير در بينايي ماشين و پردازش زبانهاي طبيعي، ميتوان دستيارهاي هدايتگري توسعه داد كه منجر به افزايش تحرك و ايمني در رفتوآمد، افزايش فرصتهاي شغلي و تحقق نيازهاي شخصي افراد نابينا و كمبينا ميشود. اين دستيارها در مكانيابي و مسيريابي به اين افراد كمك شاياني ميكنند، اما يكي از چالشهاي بزرگ در توسعه آنها، نيازمندي به شرح مفصل نقشهها است.
در اين پژوهش، رويكرد جديدي مبتني بر مدل تصوير-زبان را براي مسيريابي بررسي ميكنيم كه با توجه به دستورالعملها و توصيف محيط اطراف، مسير را پيدا ميكند. اين پژوهش بر اساس اين واقعيت است كه انسانها به طور طبيعي از طريق دستورالعملهاي زباني و درك صحنههاي بصري براي مسيريابي در محيطهاي غيرآشنا استفاده ميكنند. اين رويكرد با نام Vision-Language Navigation(VLN)"" شناخته ميشود و در محيط شبيهساز MatterPort3Dمورد بررسي قرار ميگيرد.
كليدواژه ها
بينايي ماشين , پردازش زبانهاي طبيعي , مسيريابي تصويري-زباني , يادگيري تقويتي