30628

بهبود تشخيص طعنه به‌وسيله مدل هاي ترنسفورمر با رويكرد يادگيري تقابلي

كارشناسي ارشد

مهندسي كامپيوتر - هوش مصنوعي و رباتيك

1399

1402/12/9

محمدرضا جاهد مطلق

مهندسي كامپيوتر

تشخيص طعنه در سال هاي اخير با توجه به پيشرفت چشمگير شبكه هاي اجتماعي و افزايش اهميت تشخيص احساسات، توجه محققان را به طور قابل‌توجهي جلب كرده است. طعنه به طور مرسوم به فرايندي گفته مي شود كه فرد گوينده يا نويسنده، منظور اصلي خود را با گفتن يا نوشتن سخني كه مفهوم متفاوت يا برعكس سخن ذكر شده دارد، مي پوشانند. تشخيص طعنه به مسئله تشخيص اينكه يك سخن بيان شده حاوي طعنه است يا خير گفته مي شود و تشخيص مؤثر طعنه و عبارات طعنه آميز در سخنان و متون اهميت بالايي در فهم نيت، قصد اصلي و باورهاي افراد دارد تا از ايجاد سوءتفاهم جلوگيري كند. بنابراين توسعه سيستم هاي خودكار با چنين قابليتي توجه محققان را در سال هاي اخير جلب كرده است. يكي از چالش هاي اصلي اين حوزه، بخصوص در تشخيص طعنه شبكه هاي اجتماعي، كمبود منابع داده اي با برچسب هاي مناسب و نامتوازن بودن مجموعه داده ها است. همچنين چالش مهم ديگر، ابهام و پيچيدگي متون طعنه آميز در مقايسه با متون ساده است كه يادگيري فضاي ويژگي مناسب را با مشكل مواجه مي كند. در سال هاي اخير جهت رفع اين چالش ها رويكردهاي يادگيري جمعي، داده افزايي، و همچنين يادگيري تقابلي مورد استفاده قرار گرفته اند. اما در يادگيري فضاي ويژگي مناسب براي بهبود تشخيص طعنه كه بتواند هر دو چالش ذكر شده را كمك كند، همچنان با چالش روبه رو هستند. ما در اين پايان نامه مي خواهيم روشي را ارائه دهيم كه فضاي ويژگي را براي تشخيص طعنه به گونه اي ياد بگيرد كه در حين يادگيري ويژگي هاي مناسب و تمييز دهنده، بتواند چالش نامتوازن بودن و كمبود داده در اين حوزه را بهبود بخشد. به همين منظور، در اين روش الگوريتم يادگيري تقابلي به گونه اي ارائه شده تا بتواند يادگيري فضاي ويژگي مناسب در توزيع نامتوزان داده را انجام دهد. مشاهدات و آزمايش هاي ما نشان مي دهد كه روش يادگيري تقابلي كانوني هم فضاي ويژگي را در مقايسه با يادگيري تقابلي ساده بهتر يادگرفته و همچنين به بهبود دقت مدل تشخيص طعنه كمك مي كند.

1402/12/23

Improving Sarcasm Detection Using Transformer Models with Contrastive Learning Approach

1/1/1900 12:00:00 AM

The detection of sarcasm in recent years has significantly attracted researchers' attention due to the remarkable progress in social networks and the increasing importance of sentiment analysis. Sarcasm detection refers to identifying whether a spoken statement contains sarcasm. Conventionally, sarcasm is a process where the speaker or writer conceals their actual intent by stating or writing something with a different or opposite meaning to the stated words. Effective detection of sarcasm and sarcastic expressions in speech and texts is highly important for understanding intentions, actual desires, and beliefs of individuals to prevent misunderstandings. Thus, the development of automatic systems with such capabilities has drawn researchers' attention in recent years. One of the main challenges in this field, especially in detecting sarcasm on social networks, is the lack of data resources with appropriate labels and the imbalance of datasets. Another significant challenge is the ambiguity and complexity of sarcastic texts compared to simple texts, which complicates learning the appropriate feature space. In recent years, to address these challenges, collective learning approaches, data augmentation, and contrastive learning have been utilized. However, adequately addressing learning the suitable feature space for improving sarcasm detection that can help overcome both mentioned challenges has not been well-explored. In this thesis, we aim to present a method that learns the feature space for sarcasm detection in a way that, while learning appropriate and distinctive features, can improve the imbalance and data scarcity in this field. To this end, a contrastive learning algorithm is proposed to perform learning in an imbalanced data distribution. Our observations and experiments show that focal contrastive learning learns the feature space better compared to the standard contrastive learning and helps improve the accuracy of the sarcasm detection model.

تشخيص طعنه , يادگيري عميق , يادگيري تقابلي , مدل هاي ترنسفورمر

Sarcasm Detection , Deep Learning , Contrastive Learning , Transformers

Amirali Molaei

Mohammad reza Jahed Motlagh