9891

‫ﺍﺭﺗﻘﺎ‬‫ﺑﯽ‬ ‫ﺩﺭﻧﮓ‬‫ﮐﯿﻔﯿﺖ‬ ‫ﻭﯾﺪﺋﻮ‬ ‫ﺑﺮ‬ ‫ﺭﻭﯼ‬ ‫ﺩﺳﺘﮕﺎﻩ‬ ‫ﻫﺎﯼ‬‫ﻟﺒﻪ‬

كارشناسي

مهندسي كامپيوتر

1404

دكتر مرضيه ملكي مجد

دكتر آرش عبدي

1404/08/03

مهندسي كامپيوتر

Real-time Video Super-Resolution on edge devices

فراتكفيك‌پذيري ويديو (VSR) يك تكنيك كليدي براي بهبود كيفيت بصري محتوا بر روي نمايشگرهاي با وضوح بالا است، اما پياده‌سازي آن بر روي دستگاه‌هاي موبايل با چالش‌هاي محاسباتي جدي روبرو است. معماري‌هاي پيشرفته به دليل استفاده از ساختارهاي بازگشتي و مكانيزم‌هاي پيچيده، براي اجرا بر روي دستگاه‌هاي لبه بسيار سنگين هستند. از سوي ديگر، مدل‌هاي موبايلي موجود براي دستيابي به سرعت بي درنگ، اغلب اطلاعات زماني بين فريم‌ها را ناديده گرفته و عملاً وظيفه را به فراتكفيك‌پذيري تك‌تصوير (SISR) تقليل مي‌دهند كه منجر به كاهش دقت مي‌شود. اين پايان‌نامه با هدف پر كردن اين شكاف، يك معماري VSR نوين، سبك‌وزن و كارآمد با نام MTVSR را ارائه مي‌دهد كه به طور خاص براي دستگاه‌هاي موبايل طراحي شده است. معماري پيشنهادي يك شبكه كانولوشني Feed-forward است كه اطلاعات زماني را از طريق يك ماژول تركيب زماني سبك‌وزن و غير بازگشتي، كه بر اساس يك پنجره لغزان عمل مي‌كند، مجدداً به فرآيند بازسازي معرفي مي‌كند. علاوه بر اين، دو نوآوري ديگر براي بهبود مصالحه دقت-سرعت در آن تعبيه شده است: يك ماژول استخراج ويژگي چندمقياسي براي غني سازي اطلاعات ورودي با حداقل هزينه، و يك بلوك گذار بهينه‌سازي‌شده با استفاده از كانولوشن گروهي براي كاهش گلوگاه محاسباتي در مرحله نهايي. نتايج آزمايش‌ها بر روي مجموعه داده استاندارد REDS نشان مي‌دهد كه مدل پيشنهادي در مقايسه با مدل‌هاي برجسته ارائه‌شده در رقابت‌هاي Mobile AI، به مصالحه بهتري ميان دقت و سرعت دست يافته است. MTVSR موفق به كسب مقادير PSNR و SSIM بالاتر با زمان استنتاج سريع‌تر شده و برتري خود را در هر دو تحليل كمي و كيفي به اثبات رسانده است. اين پژوهش نشان مي‌دهد كه مي‌توان با طراحي هوشمندانه، بدون قرباني كردن كامل اطلاعات زماني، به مدل‌هاي VSR كارآمد و بي درنگ براي كاربردهاي موبايلي دست يافت.

فراتفكيك پذيري ويدئو , معماري هاي سبك وزن , يادگيري عميق , دستگاه هاي موبايل , شبكه هاي كانولوشني