26428

بررسي فضاي جانمايي كلمات در مدل هاي مبتني بر مبدل

كارشناسي ارشد

مهندسي كامپيوتر

1398

23/12/1400

دكتر بهروز مينايي - دكتر محمدطاهر پيله ور

مهندسي كامپيوتر

ظهور معماري ترنسفور در مدل هاي زباني موجب پيشرفت چشم گيري در همه ي وظيفه هاي پردازش زبان طبيعي شده است. در همين راستا بخش قابل توجهي از پژوهش هاي سال هاي اخير به تحليل و بررسي و كاوش اين مدل هاي براي درك چگونگي كاركرد آن ها پرداخته اند. در كنار مزايا و جنبه هاي مثبت اين مدل ها، برخي ديگر از پژوهش ها به دنبال كشف و غلبه بر محدوديت ها و كاستي هاي مدل هاي موجود بوده اند. در اين پژوهش، ما بر يكي از محدوديت هاي مدل هاي زباني كه توزيع غيرايزوتروپيك نام دارد، تمركز كرده و علت به وجود آمدن آن را مطالعه مي كنيم. توزيع غيرايزتروپيك فضاي جانمايي موجب مي شود كه هر دوكلمه ي تصادفي انتخاب شده در اين فضا شباهت كسينوسي بالايي داشته باشند. در اين تحقيق، روشي مبتني بر خوشه بندي ارائه مي كنيم كه قادر است با افزايش ايزوتروپي توزيع كلمات، عملكرد جانمايي هاي حساس به متن را به مقدار قابل توجهي در طيف وسيعي از وظيفه ها بهبود بخشد. همچنين با انجام تحليل هايي دقيق تر دلايل موثر بودن روش ارائه شده را مطالعه مي كنيم. در ادامه مطالعه ي ايزوتروپي را به فضاي جانمايي تنظيم دقيق شده گسترش مي دهيم و تاثير اين فرايند بر ساختار فضاي جانمايي كلمات را بررسي مي كنيم. نتايج پژوهش هاي ما نشان مي دهد كه جانمايي هاي تنظيم دقيق شده به شدت به توزيع غيرايزوتروپيك خود متكي هستند و بهبود ايزوتروپي با استفاده از حذف جهت هاي غالب فضا، به كيفيت آن ها ضربه مي زند. در آخر ويژگي ايزوتروپي را در فضاي جانمايي چندزبانه بررسي كرده و زيرفضا هاي مشترك ميان زبان هاي مختلف در اين فضا را تحليل مي كنيم.

1401/02/17

Analyzing the Geometry of Embedding Space in Transformer-based Models

3/14/2023 12:00:00 AM

Using transformers has boosted the performance of NLP models in various downstream tasks. In this regard, Most recent studies have focused on analyzing and probing transformer-based language models to explore the reasons behind their effectiveness. Besides, some other research has explored the limitations of the current models to improve their performance and quality. In this research, we have studied the representation degeneration problem in the pre-trained language models, which makes anisotropic distribution in the embedding space. In such space, any random embeddings have high cosine similarity with each other, and this distribution hurts the expressiveness of the embedding space. To overcome this challenge, we propose a cluster-based method to increase isotropy in contextual word embeddings leading to achieving a higher performance on an extensive set of target tasks. We also analyze the reasons behind the effectiveness of our approach. Expanding our work, we study the effect of fine-tuning on the isotropy of embedding space. Surprisingly, our results demonstrate that making an isotropic distribution by removing dominant directions hurts the fine-tuned model’s performance. Our approach is also applied to the multilingual embedding space and shows a significant improvement in its quality.

ايزوتروپي , فضاي جانمايي , ترنسفورمر

Sara Rajaee

Mohammad Taher Pilehvar - Behrouz Minaei