6793

بررسي آثار ناهنجاري هاي معنايي بر روي مدل هاي محاسباتي زبان

كارشناسي

كامپيوتر

1399

دكتر محمدطاهر پيله ور

1399/05/01

كامپيوتر

Analysing The Effects of Semantic Violations on Computational Language Models

در روانشناسي زبان ، با پديدهاي به نام «نقص معنايي» مواجه هستيم؛ اين پديده به هنگام خواندن يا شنيدن جمله اي كه يك جز يا يك كلمه ي آن داراي ناهنجاري معنايي باشد، اتقاق ميافتد كه سبب انحراف در الگوي امواج مغزي انسان مي شود. عموما چنين اتفاقي باعث به وجود آمدن بار ادراكي بيشتر براي فهم آن جمله روي مغز مي شود و زمان بيشتري براي به اتمام رساندن جمله طلب مي كند. به عنوان مثال جمله ي «در مهماني بوديم، علي به ما يك آسمانخراش تعارف كرد.» داراي ناهنجاري معناييست. دليل وجود بار ادراكي بيشتر در اين نقصان ها، تناقض اطلاعات جمله با درك عمومي ما نسبت به جهان و دانش قبلي ماست. كه باعث مي شود ذهن براي تطبيق با جمله ي جديد پردازش بيشتري نياز داشته باشد. در سال هاي اخير و با ظهور مدل هاي از پيش آموزش ديده در ادبيات يادگيري ماشيني، شاهد پيشرفت هاي زيادي در دقت مدل هاي محاسبتي در مسائل پردازش زبان هاي طبيعي بوديم. اين نوع از مدل ها با بهره گيري از داده هاي بدون برچسب در تعداد بالا دانش اوليه اي از زبان ياد ميگيرند كه مي توان از اين دانش براي حل ساير مسائل پردازش زبان طبيعي استفاده كرد. بيشتر اين مدل ها از تابع هاي هزينه اي بهره مي برند كه عملكرد مدل را در مدل كردن زبان مي سنجند. با وجود اينكه اخيرا ً نسخه هاي متفاوتي از اين نوع تابع هزينه معرفي شده است، همچنان تاثير آن و ميزان دانش آموخته شده دربارهي جهان و درك عمومي آن نا معلوم است. ما در اين پرژه معياري معرفي ميكنيم كه ميتواند ميزان اين نوع اطلاعات ذخيره را در مدلها اندازه بگيرد. در نهايت نتيجه ي اين معيار را براي مدل هاي معرفي شده ي اخير بررسي ميكنيم.