10247

مروري بر روش هاي حل مشكل ترانسفورمرها در متن هاي طولاني

1400-1401

دكتر مرتضي آنالويي

با ظهور شبكه هاي عصبي و به دنبال آن پيدايش ترانسفورمرها تحول عظيمي در حوزه هاي مختلف پردازش زبان طبيعي به وجود آمد . مكانيزم توجه به خود ، جزء اصلي مدل هاي ترانسفورمري مي باشد . در اين مكانيزم ميزان توجه هر توكن به همه ي توكن هاي عبارت سنجيده مي شود و توكن اطلاعاتي از كل دنباله مي گيرد. با تمام مزايايي كه اين مكانيزم دارد ، پيچيدگي محاسباتي و حافظه اي آن برحسب طول جمله از درجه 2 مي باشد $O(n^{2})$ . و باعث شده، در زماني كه طول عبارات بزرگ است ،كارايي اين مدل ها در بسياري از وظيفه ها - مانند پرسش و پاسخ ، خلاصه سازي متن و رده بند ها - به شدت تحت تاثير قرار گرفته و افت شديدي در ميزان دقت به وجود آيد. از آنجايي كه بسياري از وظيفه ها مثل سيستم هاي پرسش و پاسخ و خلاصه بندي متن ، نياز دارند كه بر روي متن هاي طولاني عمل كنند و يا اينكه چندين سند را به صورت موازي پردازش كنند، بايد روشي انتخاب گردد كه دقت، تحت تاثير نقطه ضعف ترانسفورمرها در برابر متون طولاني قرار نگيرد ، از اين رو روش هاي زيادي توسط محققان پيشنهاد شده است و نياز است كه در عمل نيز به كار گرفته شود.

12/1/2021 12:00:00 AM

73399

1400/09/26

An Overview of Transformer Solutions in Longer Texts

پردازش زبان طبيعي , مكانيزم توجه , متن هاي طولاني , مدل هاي ترانسفورمري , مدل هاي زباني , پرسش و پاسخ

Natural Language Processing (NLP) , Self-Attention , Long Document , Transformer Models , Language Modeling , Question Answering