21516

21516

موازي‌سازي شبكه‌هاي مولد چندگانه رقابتي براي كارايي در ‌محيط داده‌هاي بزرگ

كارشناسي ارشد

نرم‌افزار

1398/7/16

دكتر محمدرضا كنگاوري

كامپيوتر

داده‌هاي بزرگ و يادگيري عميق در عصر حاضر تحولات بزرگي را در صنعت رقم زده‌اند و با يكديگر پيوند خورده‌اند. ماهيت شبكه‌هاي عصبي به گونه‌اي است كه با دريافت داده‌هاي بيشتر هنگام آموزش، مدل بهتري ايجاد مي‌كند. اما ويژگي داده‌هاي بزرگ، يادگيري عميق را با چالش‌هايي روبه‌رو ساخته است. يكي از اين چالش‌ها، به كثرت داده‌ها مربوط مي‌شود كه به صورت مستقيم بر پيچيدگي زماني و حافظه تأثير مي‌گذارد و ما را با محدوديت‌هاي سخت‌افزاري مواجه مي‌سازد. راهكار موجود براي غلبه بر اين چالش، عمليات موازي‌سازي است. تا به امروز، محققان در اين راستا گام‌هايي برداشته‌اند و مدل‌هايي به منظور توزيع الگوريتم‌هاي يادگيري عميق ارائه كرده‌اند. در اين پايان‌نامه قصد داريم به دليل جايگاه مهم شبكه‌هاي مولد رقابتي در دنياي امروز، تمركز خود را روي اين شبكه‌ها قرار دهيم. مدل‌هاي بسياري جهت بهبود و رفع نقصان‌هاي اين شبكه‌ها ارائه شده است؛ يكي از آن‌ها به كارگيري چند مولد به جاي يك مولد است كه تا مسئله حدي فروپاشي حالت در اين شبكه‌ها را كاسته است. اين مدل، شبكه مولد چندگانه رقابتي نام دارد. به دليل پيچيدگي بالا شبكه‌هاي مولد رقابتي، فرآيند آموزش، زمان‌بر است كه با وجود مولدهاي بيشتر، برقراري رابطه ميان آن‌ها و به كارگيري داده‌هاي بزرگ هنگام آموزش، براي به دست آوردن مدل بهتر به مراتب زمان آموزش را طولاني‌تر مي‌نمايند. از اين سو براي اعمال شبكه‌هاي مولد چندگانه رقابتي نيازمند سيستم‌هايي با واحد پردازنده گرافيكي قوي و حافظه بالا هستيم. در اين پايان‌نامه بستري براي موازي ساختن شبكه‌هاي مولد چندگانه رقابتي را فراهم ساختيم. با موازي‌سازي اين شبكه‌ها امكان به كارگيري داده‌هاي بزرگ در آموزش را ايجاد كرديم تا مدل بهتر توليد نماييم. ارزيابي‌هاي صورت گرفته نشان داد كه با توزيع شبكه‌هاي مولد چندگانه رقابتي درون خوشه، زمان آموزش كاهش مي‌يابد و مسئله كمبود حافظه برطرف مي‌شود، همچنين امكان اجراي مدل روي سيستم‌هاي با واحد پردازنده گرافيكي با قدرت كمتر نيز ميسر مي‌شود.

1398/10/25

Multi-Generative Adversarial Networks Parallelization to Improve Efficiently in Big Data

10/8/2019 12:00:00 AM

Nowadays, big data and deep learning have made a great change in the industry and they have connected together. Neural networks make a better model with more data. However, deep learning is faced with challenges because of big data characteristics. One of the big challenges of big data is a large volume that influences on time and memory complexity, and it confronts us with hardware restriction. The solution to this challenge is parallelism. Up to now, the researchers have taken steps towards this way and they have presented distributed models of deep learning algorithms. In this thesis, we focus on generative adversarial networks (GAN) because of the important role of them in today's world. Many models are presented to resolve their defects. Deploying multi generators instead of one generator is One of the solutions that has presented to reduce the mode collapse of these networks. This model is called MGAN. Because of the complexity of GANs, the training is time-consuming. More generators, making communication between them and using big data to reach a better model make longer training time. So, we need systems with powerful GPUs and high memory. In this thesis, we create a platform that distributes MGAN. this platform enables us to use big data in training to make a better model. our evaluations show that the distribution of MGAN in clusters decreases the training time and it resolves the memory restriction. Also, we can use the system with lower power GPUs.