7402

ترجمه تصوير به تصوير به كمك شبكه هاي مولد تخاصمي GAN

1399

دكتر سيد علي اصغر بهشتي شيرازي

اخيرا روش هاي مبتني بر GAN به طور گسترده در ترجمه تصوير به تصوير مورد استفاده قرار مي‌گيرند. ترجمه تصوير به تصوير يك نوع براي نگاشت بين تصاوير دامنه منبع و تصاوير دامنه هدف است و كاربردهاي زيادي از جمله رنگ آميزي تصوير ، توليد برچسب معنايي از تصاوير ، انتقال سبك ، وضوح تصوير فوق العاده و سازگاري دامنه را دارد. همچنين بسياري از تكنيك‌هاي بصري در بازسازي قسمت‌هاي از دست رفته تصوير و توليد تصاوير واقعي از روي طرح آن‌ها درگير ترجمه تصوير به تصوير هستند. الگوريتم‌هاي خاص و كاربردي براي حل اين گونه مسائل استفاده مي‌شوند (مانند نگاشت پيكسل به پيكسل). همچنين اعمال مدل‌هاي توليدي براي اموزش مدل امري ضروريست زيرا بعضي فرآيندهاي ترجمه چند تصوير خروجي صحيح براي يك ورودي دارند. به طور كلي روش ترجمه تصوير به تصوير، نيازمند اين است كه نواحي مورد نياز را در تصوير ورودي شناسايي كرده و سپس ياد بگيرد چگونه اين نواحي شناسايي شده را در حوزه ديگر يعني تصوير خروجي ترجمه كند. GAN ها براي ترجمه متقابل دامنه تصوير به تصوير ، اخيراً پيشرفت هاي زيادي را تجربه كرده اند. در اين سمينار برخي از مقالات مرتبط با ترجمه تصوير به تصوير با GAN ها مورد بحث و تحليل قرار گرفته است. اين متد مبتني بر دو شاخه اصلي يادگيري نظارت شده و يادگيري بدون نظارت است. . در روش بدون نظارت و بدون زوج تصوير در دو حوزه(تصوير ورودي و خروجي) ابتدا بايد به قسمت هايي از تصوير ورودي كه قرار است ترجمه شوند(انتقال يابند) توجه كرد. زماني كه فقط يك ناحيه خاص مدنظر باشد شناسايي آن ناحيه نسبت كل ناحيه از اهيمت بيشتري برخوردار است. به عنوان مثال براي تبديل يك تصوير پرتغال به سيب ابتدا بايد مكان پرتغال‌ها را در تصوير ورودي شناسايي نموده و به جاي آن‌ها سيب قرار دهيم. بنابراين يك شبكه مولد براي تشخيص اين نواحي و ترجمه آن به حوزه ديگر(تصوير هدف) مورد نياز است. در اين سمينار ابتدا به معرفي يادگيري عميق مي‌پردازيم و سپس به دليل اهميت شبكه مولد مقابله‌اي در ترجمه تصوير به تصوير ساختار و انواع آن را معرفي مي‌كنيم. در فصل بعد ترجمه تصوير به تصوير را معرفي كرده و دو نوع كلي از اين مسائل را بررسي مي‌نماييم. همانطور كه گفته شد دو نوع كلي ترجمه تصوير به تصوير، يادگيري نظارت شده و يادگيري بدون نظارت هستند. در مورد رويكرد يادگيري نظارت شده ، به طور عمده cGAN ، BicycleGAN ، SPA-GAN و CE-GAN و در مورد رويكرد يادگيري بدون نظارت، به طور عمده CycleGAN ، UNIT ، MUNIT و DualGAN را معرفي مي‌كنيم. . واژه‌هاي كليدي: يادگيري ماشين، يادگيري عميق، شبكه مولد مقابله اي، ترجمه تصوير به تصوير

7/26/2020 12:00:00 AM

68247

1399/06/31

Image to Image Translation with Generative Adversarial Networks (GAN)