23949

حذف ابر از تصاوير سنجش از دور با استفاده از شبكه‌هاي مولد رقابتي

كارشناسي ارشد

مهندسي كامپيوتر-گرايش هوش مصنوعي و رباتيكز

1400-1397

1400/2/15

دكتر محسن سرياني

دكتر محمدرضا محمدي

مهندسي كامپيوتر

امروزه از تصاوير ماهواره‌اي بخاطر اطلاعات مهمي كه دارند مي‌توان در زمينه‌هاي مختلفي مانند شناسايي ساختمان‌ها، نقشه‌برداري محصول و تشخيص تغيير سطح زمين استفاده كرد. اما از اطلاعات اين تصاوير هميشه نمي‌توان استفاده كرد. از جمله موانعي كه از رسيدن اطلاعات سطح زمين به ماهواره جلوگيري مي‌كند ابر است. به دليل كاربردهاي گسترده تصاوير ماهواره‌اي، حذف ابر بسيار مورد توجه قرار گرفته است. با ضخيم شدن ابرها، روند از بين بردن ابرها چالش برانگيزتر مي شود. در چنين مواردي، استفاده از تصاوير كمكي مانند مادون قرمز نزديك يا رادار براي بازسازي معمول است. در اين مطالعه، ما سعي بر حل اين مشكل با استفاده از دو شبكه مولد رقابتي داريم. اولي تصاوير را از حوزه SAR به حوزه نوري انتقال مي‌دهد و دومي ابرها را با استفاده از تصاوير انتقال يافته GAN قبلي، از بين مي‌برد. همچنين ما بلوك‌هاي باقي‌مانده متسع‌شده Inception را به جاي U-net ساده در شبكه‌هاي مولد پيشنهاد مي‌كنيم و علاوه بر تابع زيان L1 از تابع زيان تشابه ساختاري نيز استفاده مي‌كنيم. كاهش تعداد نمونه‌برداري و گسترش ديد دريافتي توسط هم‌گشت‌هاي متسع‌شده باعث افزايش كيفيت تصاوير خروجي مي‌شود. ما براي آموزش و آزمايش هر دو GAN از مجموعه داده SEN1-2 استفاده كرديم و با افزودن ابرهاي مصنوعي به تصاوير نوري، تصاوير ابري ايجاد كرديم. تصاوير بازيابي شده با PSNR و SSIM ارزيابي مي‌شوند. نتايج مقايسات ما با جديدترين مدل هاي يادگيري عميق در بخش انتقال حوزه SAR به نوري از افزايش 0/3872 مقدار PSNR و در بخش حذف ابر از افزايش 3.824 مقدار PSNR حكايت دارد.

1400/04/01

Cloud Removal in remote sensing images using Generative Adversarial Networks

5/5/2022 12:00:00 AM

Nowadays, satellite imagery can be used in various fields, such as recognizing buildings, crop mapping, and land cover change detection, because of the critical information they have. However, the information in these images can not always be used. One of the barriers that prevent surface information from reaching the satellite is the cloud. Cloud removal has received much attention due to the wide range of satellite image applications. As the clouds thicken, the process of removing the clouds becomes more challenging. In such cases, using auxiliary images such as near-infrared or synthetic aperture radar (SAR) for reconstructing is common. In this study, we attempt to solve the problem using two generative adversarial networks (GANs). The first translates SAR images into optical images, and the second removes clouds using the translated images of prior GAN. Also, we propose dilated residual inception blocks (DRIBs) instead of vanilla U-net in the generator networks and use structural similarity index measure (SSIM) in addition to the L1 Loss function. Reducing the number of downsamplings and expanding receptive fields by dilated convolutions increase the quality of output images. We used the SEN1-2 dataset to train and test both GANs, and we made cloudy images by adding synthetic clouds to optical images. The restored images are evaluated with PSNR and SSIM. The results of our comparisons with the state-of-the-art deep learning models in the SAR-to-optical translation part indicate an increase of 0.3782 PSNR, and in the cloud removal part, an increase of 3.824 PSNR.

حذف ابر , شبكه مولد رقابتي , يادگيري عميق , تصاوير راداري , تصاوير مرئي

Cloud Removal , Generative Adversarial Network (GAN) , Deep Learning , SAR , Optical Image