8157

مروري بر ساختار و ارزيابي مدل‌هاي از پيش‌آموزش ديده شده مبتني بر مبدل ها در حوزه پردازش زبان طبيعي

1399

دكتر محمد طاهر پيله‌ور - دكتر صالح اعتمادي

با افزايش مقدار داده و قدرت محاسباتي در سال‌هاي اخير پيشرفت‌هاي زيادي در حوزه يادگيري عميق انجام شده است و همين موضوع موجب شده است كه يكي از راه‌حل‌هاي پرطرفدار براي مسائل گوناگون و همچنين در حوزه پردازش زبان طبيعي باشد. يكي از مهم‌ترين و پرطرفدارترين معماري‌ها در همين عرصه، مبدل‌هاي از پيش‌‌آموزش‌ديده مي‌باشند. اين معماري در انواع مختلفي از مدل‌هاي مطرح در حوزه پردازش زبان‌هاي طبيعي كاربرد دارد. مدل‌هاي مبتني بر اين معماري به وسيله يك مسأله مدل زباني آموزش ديده مي‌شوند و با آموزش ديدن همين مسأله به تنهايي قادر به انجام انواع وظايف كاربردي مي‌شود. به منظور استفاده از اين مدل‌ها در كاربرد‌هايي ديگر مانند ديگر مسائل يادگيري انتقالي مدل مربوطه براي آن وظيفه خاص مجدداً تنظيم دقيق مي‌شود. در اين سمينار ابتدا به مقدماتي از ساختار و عملكرد كلي مدل‌هاي مطرح مبتني بر مبدل‌ها را شرح مي‌دهيم و سپس به مرور برخي از روش‌هاي تحليل‌ و ارزيابي اين مدل‌ها مي‌پردازيم.

12/23/2020 12:00:00 AM

70381

1399/10/29

A Review of Transformer-based Pre-Trained Models Structure and Evaluation methods in Natural Language Processing

پردازش زبان‌هاي طبيعي , مبدل‌ها , از پيش‌آموزش داده شده

NLP , Deep Learning , Transformers , Pre-trained