7827

فشرده سازي مدل هاي زباني با روش برت تيسيوس

كارشناسي

مهندسي كامپيوتر

1401

دكتر محمد طاهر پيله‌ور

1401/04/07

مهندسي كامپيوتر

Compressing Language Models using Bert-of-Theseus method

مدلهاي زباني كنوني هرچند دقت و عملكرد بالايي داشته باشند، به دليل حجم زياد و سرعت عمل پايين، قابل استفاده بر روي تمام دستگاهها مانند گوشي هاي همراه نيستند. در اين پروژه تلاش شده است روش فشرده سازي برت تيسيوس روي مدل زباني آلبرت اعمال شود تا در نتيجه يك مدل زباني سبك با سطح عملكرد همانند مدل آلبرت بدست آيد. در ادامه روشهاي متعددي به منظور بهبود مدل فشرده شده اعمال شدند. روش نخست دسته بندي لايه هاي مدل زباني بر اساس شباهت است. ميزان شباهت لايه ها با روش RSA سنجيده ميشود و لايه هاي نزديك به يكديگر با يك لايه از مدل جديد جايگزين ميشوند. حاصل اين شيوه يك مدل زباني سبكتر با عملكرد بهتر است. روش دوم شامل به كارگيري ساختار مدل زباني موبايل برت به جاي مدل آلبرت و اعمال روش برت تيسيوس بر روي آن است. محصول مدلي سبكتر از موبايلبرت با عملكرد نزديك به آن است.

هوش مصنوعي , پردازش متن طبيعي