8636

توسعه يك برنامه كاربردي جهت پاكسازي داده ها در مجموعه داده هاي تصوير

كارشناسي

مهندسي كامپيوتر

1402

محمدرضا محمدي

محمدرضا محمدي

1402/07/04

مهندسي كامپيوتر

Develope an application for cleaning data in image datasets

يكي از نكات مهم در الگوريتم هاي يادگيري ماشين استفاده از داده هاي درست و با كيفيت جهت آموزش مدل ميباشد. داده هاي جمع آوري شده بنابر دلايل متعددي ميتوانند داراي ايرادات مختلفي باشند. يكي از ايرادات رايج و تاثير گذار، وجود داده هايي با برچسب اشتباه ميباشد. در اين پروژه سعي شده است راهكاري براي كشف چنين داده هايي ارائه شود. در راهكار ارائه شده ابتدا نياز است يك شبكه عصبي siamese روي مجموعه داده اي كه قرار است اشتباهات آن يافت شوند، جهت كشف ميزان شباهت دو داده به يكديگر، آموزش داده شود. سپس به كمك اين شبكه شبيه ترين داده هاي train به داده هاي validation كه اشتباه پيشبيني شده اند يافت شوند. در ادامه با اصلاح اين داده ها با نظارت كاربر يا انجام يك مرحله فيلتر و حذف خودكار آن ها انتظار داريم كيفيت داده ها افزايش يافته باشد و به دنبال آن مدل دقيق تري روي داده آموزش داده شود. در اين پروژه نتايج به دست آمده از اين روش با نتايج به دست آمده از الگوريتم cleanlab مقايسه شده اند. و در نهايت راهكارهايي جهت افزايش دقت راهكار پيشنهادي نيز ذكر شده است.

پاكسازي داده ها , شبكه هاي عصبي مصنوعي , شبكه هاي siamese