12786

بررسي رويكردهاي توزيع‌شده در آموزش شبكه‌هاي عصبي عميق

1400

دكتر مهرداد آشتياني

امروزه با توجه به اهميت مدل‌هاي پيش‌آموزش ديده مثل Bert و GPT3 و استفاده از ترانسفورمرها در هوش مصنوعي كه مدل‌هاي بزرگي محسوب مي‌شوند، اين نياز احساس مي‌شود كه به دنبال روشي بود تا سرعت آموزش اين مدل‌ها را افزايش داد. براي رسيدن به اين هدف، موضوع آموزش مدل‌ها به صورت توزيع‌شده مهم‌تر از گذشته شده‌است. همان‌طور كه از اسم آن مشخص است با استفاده از اين روش، مي‌توان آموزش مدل‌ها را روي چندين پردازنده‌ي گرافيكي انجام داد. اين روش براي تمام مدل‌ها مي‌تواند استفاده شود اما وجود آن براي مدل‌هايي كه آموزش آن‌ها به زمان و داده بيشتري نياز دارد، بيشتر احساس مي‌شود. يكي از مزاياي آموزش مدل‌ها با اين روش، حفظ حريم خصوصي افراد است. با توجه به كارهاي انجام‌ شده در آموزش مدل‌ها از تمام ظرفيت پردازنده‌هاي گرافيكي به صورت بهينه استفاده نمي‌شود و با توجه به اينكه اين منابع براي ما از اهميت بالايي برخوردارند، يكي از اهداف اين است كه بتوان به صورت بهينه از اين منابع استفاده كرد. از اين نظر كه ما براي آموزش اين مدل‌ها به مقدار زيادي داده نياز داريم و به طور مثال اگر اين داده‌ها مربوط به بيماران باشد با اين روش ديگر نيازي نيست داده‌ها به يك سرويس‌دهنده واحد منتقل شود و تنها وزن‌ها و مؤلفه‌هاي مدلي كه با آن داده‌ها آموزش داده‌ شده‌ است، منتقل مي‌شود. از طرفي روزبه‌روز حجم داده‌هايي كه توليد مي‌شوند در حال افزايش هستند و براي مدل‌هاي پيش‌‌آموزش‌ ديده، هر چه مقدار داده‌ي بيشتري را ديده‌ باشند، يك مزيت به شمار مي‌رود. به همين دليل اين موضوع مي‌تواند در جهت سرعت بخشيدن به آموزش مدل‌هاي بزرگ، نقش چشمگيري ايفا كند. در كارهاي انجام‌شده نكته‌اي كه كمتر در نظر گرفته‌شده، ناهمسان بودن گره‌ها است و در اكثر كارها فرض بر اين گذاشته‌شده كه گره‌ها همسان هستند كه اين فرض مي‌تواند اندكي با واقعيت متفاوت باشد. در اين گزارش تلاش شده است تا با بررسي روش‌هاي مختلف ارائه شده يك طبقه‌بندي از روش‌هاي آموزش مدل‌ها به صورت توزيع‌شده ارائه شود و مزايا و معايب روش‌هاي ارائه شده بيان شود. در نهايت نيز با بررسي‌هاي انجام شده، زمينه‌هاي باز تحقيقاتي در رابطه با اين مساله مورد بررسي قرار مي‌گيرند.

11/15/2023 12:00:00 AM

81098

1402/09/06

A Survey on Distributed Training Approaches for Deep Neural Networks

آموزش توزيع‌شده , شبكه‌هاي عصبي , گره‌هاي ناهمسان , اجماع نظر

Distributed Training , Neural Networks , Heterogeneous Nodes , Consensus