27828

بهبود كيفيت تصاوير ماهواره اي مبتني بر شبكه عميق مولد متخاصم

كارشناسي ارشد

مهندسي برق- مخابرات ـ سيستم

1399

1401/6/31

فرزان حدادي

دانشكده مهندسي برق

يكي از مباحث مهم و كاربردي در پردازش تصوير، فراتفكيك پذيري تصاوير و ويدئوها است. در سال هاي اخير روش هاي مبتني بر شبكه هاي عصبي و يادگيري عميق وارد اين حوزه شد كه توانست به طور قابل ملاحظه اي كيفيت تصاوير را افزايش و عملكرد را بهبود بخشد. اين شبكه ها همگي مبتني بر كانولوشن بودند كه وابستگي هاي دور تصوير را در نظر نگرفته و همين مسئله عامل اصلي ضعف اين شبكه ها است. اخيرا مبدل كه مبتني بر توجه است، باعث تحول اساسي در حوزه ي پردازش زبان شد و به عنوان يك ابزار قدرتمند شناخته شد. سپس از اين ابزار در تصوير نيز استفاده شد. هر چند مبدل وابستگي هاي دور تصوير را لحاظ مي كرد اما آموزش آن نسبت به شبكه هاي كانولوشني براي رسيدن به يك سطح عملكرد، بسيار طولاني تر بود. هم چنين شبكه هاي مبدل محض نيز داراي بار محاسباتي زيادي اند و درنتيجه به منابع سخت افزاري از جمله حافظه ي زياد و پردازشگر گران قيمت نياز خواهند داشت. به همين جهت ما از تركيب بلوك هاي كانولوشن و مبدل استفاده كرديم تا از مزاياي هر دو استفاده كنيم. با توجه به قابليت هاي شبكه ي مولد متخاصم در پردازش تصوير، ما به عنوان پايه ي اصلي از آن استفاده مي كنيم. قسمت مولد شبكه ي پيشنهادي را با استفاده از مبدل ارتقا و قدرت تفكيكي پذيري قسمت متخاصم را نيز افزايش مي دهيم كه در نهايت منجر به ارايه يك شبكه ي جديد از تركيب شبكه هاي كانولوشني و مبدل با تاكيد بر تصاوير ماهواره اي مي شود. شبكه ي پيشنهادي عملكرد قابل رقابت با بهترين شبكه هاي موجود با داده ي كمتر را دارد.

1401/11/16

Single-Image Super-Resolution for Remote Sensing Images Using a Deep Generative Adversarial Network

9/22/2023 12:00:00 AM

One of the most important and practical issues in image processing is image and video Super-Resolution. In recent years, methods based on neural networks and deep learning entered this field, which could significantly increase the quality of images and improve performance. These networks were all based on convolution, which does not take into account the long dependencies of the image, and this is the main weakness of these networks. Recently, the attention-based Transformer has revolutionized the field of language processing and has been recognized as a powerful tool. Then this tool was also used in the image. Although the Transformer considered the long dependencies of the image, it took much longer to train than convolutional networks to reach the same level of performance. Also, pure Transformer networks have a high computational load and as a result, they will need hardware resources such as a lot of memory and an expensive processor. For this reason, we used the combination of convolution and Transformer blocks to take advantage of both. Due to the capabilities of generative adversarial network in image processing, we use it as the main basis. We upgrade the generator part of the proposed network by using the Transformer and increase the resolving power of the hostile part, which ultimately leads to a new network of the combination of convolutional and Transformer networks with an emphasis on satellite images. The proposed network has competitive performance with the best existing networks with less data.

فراتفكيك پذيري , يادگيري عميق , شبكه هاي مولد متخاصم , مبدل , تصاوير ماهواره اي

Super resolution , Deep Learning , Generative Adversarial Networks , transformer , Remote Sensing

Mohammad fakhr

Dr. Farzan Haddadi