7823

بررسي ساختاري مدل‌هاي زباني مبتني بر مبدل‌ها

كارشناسي

مهندسي كامپيوتر

1401

محمدطاهر پيله‌ور

1401/03/30

مهندسي كامپيوتر

A Review on Transformer-Based Language Models

يكي از كاربردي‌ترين حوزه‌هاي هوش مصنوعي و يادگيري عميق، پردازش زبان طبيعي است. از آن جايي كه مدل‌هاي زباني عميق كه پارامترهاي متعدد و پيچيدگي‌هاي زيادي دارند، روز به روز بيشتر استفاده مي‌شوند، تفسير آن‌ها براي درك بيشينه‌ي قابليت‌هايشان بيش از پيش ضروري است. اين پژوهش تحليلي بر مدل زبانيِ مبتني بر مبدل برت است تا لايه‌هايي كه بيشترين دانش زباني را در خود نگه داشته‌اند يافت شوند. با آزمايش‌هاي متعدد در شرايط مختلف، اين لايه‌ها شناسايي شدند. در پايان پيشنهاداتي براي ادامه‌ي مسير پژوهش ارائه مي‌شود.

مبدل , مدل زباني , مكانيزم توجه , برت , داده پرت