8148

مروري بر تفسيرپذيري و انتقال‌پذيري مدل‌هاي زباني از پيش‌آموزش‌ديده

1398-99

دكتر محمدطاهر پيله ور و دكتر بهروز مينايي بيدگلي

امروزه استفاده از مدل‌هاي زباني از پيش‌آموزش‌ديده در حوزه پردازش زبان طبيعي، به‌طور چشم‌گيري افزايش يافته است. اين مدل‌ها تنها يك بار و به‌صورت خودناظر بر روي پيكره‌هاي متني بزرگ آموزش ديده و سپس از آن‌ها در مسائل مختلف پردازش زبان استفاده مي‌شود. اخيرا استفاده از اين مدل‌ها در مسائل مختلف، تنها با تنظيم مختصري از وزن‌هاي آن‌ها، نتايج بسيار بهتري نسبت به مدل‌هاي پيشين كه به‌طور خاص و جداگانه براي هر يك از مسائل آموزش ديده بودند به‌همراه داشته‌اند. به‌دنبال اين نتايج درخور، تحليل و تفسير رفتار اين مدل‌ها مبني بر اين‌كه چه دانش‌هاي زباني را در زمان پيش‌آموزش فرا گرفته‌اند امري ضروري است. با توجه به زياد بودن تعداد پارامترهاي اين مدل‌ها، تكرار فرآيند پيش‌آموزش آن‌ها هزينه‌بر بوده و از اين‌رو موضوع تحليل و تفسير رفتار اين مدل‌ها بيش از پيش مورد توجه قرار گرفته است. نتايج اين تحقيقات، مشكلات مدل‌ها را آشكار كرده و مي‌تواند منجر به معرفي روش‌هاي بهتر در گام پيش‌آموزش و تنظيم‌سازي وزن‌ها و يا طراحي مجموعه داده جديد در جهت رفع نقاط ضعف مدل‌هاي قبلي شود. در اين تحقيق، ابتدا مروري بر مدل‌هاي از پيش‌آموزش‌ديده جديدي كه اخيرا در حوزه پردازش زبان طبيعي بسيار محبوب شده‌اند خواهيم داشت و نحوه پيش‌آموزش آن‌ها تشريح خواهد شد. سپس روش‌هاي نوين در تفسيرپذيري اين مدل‌ها و نيز انتقال دانش كسب‌شده توسط آن‌ها به ساير مسائل دنياي واقعي مرور خواهند شد.

12/23/2020 12:00:00 AM

70363

1399/10/28

A Review of Interpretability andTransferability of Pre-trained LanguageModels

مدل‌هاي زباني از‌ پيش‌آموزش‌ديده , برت , تفسيرپذيري , يادگيري انتقالي

Pre-trained Language Models , BERT , Interpretability , Transfer Learning