9353

9353

محاسبه شباهت جملات جهت استفاده در پيكره هاي موازي دو زبانه

درجه كارشناسي ارشد

مهندسي كامپيوتر گرايش هوش مصنوعي

بهمن ماه 1390

بهمن ماه 1390

دكتر مرتضي آنالويي- دكتر بهروز مينايي

چكيده توانايي قضاوت دقيق در مورد شباهت جملات زبان طبيعي براي بهبود عملكرد كاربردهاي مختلفي مانند خلاصه¬سازي متن، شناسايي تقلب، سيستم¬هاي پرسش و پاسخ، ترجمه ماشيني و ... ضروري به شمار مي¬رود. اگرچه تحقيقات زيادي در زمينه تعيين شباهت متون انجام گرفته است ولي كمتر موضوع تشخيص شباهت متن¬هاي كوتاه به خصوص جملات مورد توجه قرار گرفته است. همچنين در بسياري از موارد، با وجود درجه بالايي از شباهت ميان جملات، به دليل متفاوت بودن نمايش ظاهري جملات، شناسايي آن‌ها مشكل مي‌گردد. بنابراين نياز به يك معيار شباهت معنايي موثر مي‌باشد كه با دريافت دو جمله تشخيص دهد كه آيا دو جمله از نظر معنايي معادل يكديگر مي‌باشند يا خير. تاكنون روش‌هايي براي شناسايي جملات مشابه در مراجع مختلف ارائه شده است كه با اينكه داراي عملكرد نسبتا قابل‌قبولي در زمينه تشخيص جملات مشابه مي‌باشند ولي در زمينه تشخيص جملات غيرمشابه عملكرد قابل‌قبولي نداشته و شاخص عدم پذيرش آن‌ها بسيار كم مي‌باشد. به منظور حل اين مشكل، در اين پايان‌نامه راهكاري جهت بهبود كارايي روش‌هاي محاسبه شباهت جملات ارائه شده است. ما در راهكار پيشنهادي خود جهت محاسبه شباهت جملات دو ايده را مطرح نموديم: محاسبه متوسط شباهت كلمه به كلمه به جاي در نظر گرفتن ماكزيمم مقدار و درنظر گرفتن ضريب پنالتي در معادله محاسبه شباهت جملات. با توجه به نتايج بدست آمده، به‌كار بردن اين راهكار، موجب بهبود شاخص‌هاي عدم پذيرش و f1 مي‌شود. همچنين اين روش نسبت به ساير روش‌هاي معرفي شده در ادبيات موضوع، به علت استفاده از يك منبع داده‌اي و يك روش محاسبه شباهت معنايي كلمه به كلمه، از سربار محاسباتي و زماني كمتري برخوردار مي‌باشد. در بخش ديگر اين پايان‌نامه ما ايده بررسي كيفيت پيكره‌هاي موازي دوزبانه را با استفاده از شباهت جملات مطرح نموديم. اين كيفيت از دو جهت قابل بررسي است: افزونگي جملات مشابه در پيكره و ناسازگاري در ترجمه جملات. در واقع كاربردي كه ما براي محاسبه شباهت جملات در اين پايان‌نامه متصور مي‌باشيم، بررسي كيفيت واحدهاي هم‌تراز انگليسي و فارسي پيكره با استفاده از اطلاعات زبان مبدا و مقصد پيكره به صورت جداگانه است. در واقع ما جهت نيل به اين مقصود، ابتدا راهكار پيشنهادي محاسبه شباهت جملات را به بخش فارسي و انگليسي پيكره به صورت جداگانه اعمال نموديم و سپس تحقيقي را پيرامون ارتباط شباهت دو جمله انگليسي و هم‌ترازان فارسي آن‌ها انجام داديم. نتايج حاصل نشان مي‌دهد كه استفاده از روش‌هاي شباهت جملات در بررسي كيفيت پيكره‌هاي موازي مي‌تواند موثر واقع گردد. واژه‌هاي كليدي: شباهت جملات، پيكره موازي دوزبانه، پردازش زبان‌طبيعي