16494

16494

ذخيره كارآمد داده ها و بازيابي آنها در محيط ابر

كارشناسي ارشد

معماري سيستم هاي كامپيوتري

بهمن 1394

دكتر محمود فتحي - دكتر رضا برنگي

دكتر رضا فريور

كامپيوتر

چكيده امروزه در محيط¬هاي ذخيره¬سازي ابري ، مديريت قابليت اطمينان داده به يك چالش تبديل شده است. براي برنامه¬هاي كاربردي علمي با حجم بالاي داده، ذخيره داده در ابر با استفاده از روش تكرار سه¬كپي معمولي براي مديريت قابليت اطمينان داده مي¬تواند منجر به تحميل هزينه ذخيره¬سازي بالايي شود، روش جايگزين ديگر براي اين روش استفاده از كدهاي محوشدني است كه براي حجم يكسان داده در مقايسه با روش تكرار سه¬كپي داراي قابليت اطمينان بيشتري است. استفاده از اين روش كدگذاري نيز چالش¬هايي مانند پهناي باند تعمير، I/O ديسك، تعداد ديسك¬هاي لازم براي تعمير و تاخير دسترسي را در بر دارد. كدهاي ريد-سالامون يك طراحي استاندارد است و در معماري جديد هدوپ با پشتيباني كد محوشدني استفاده شده است. اغلب هزينه بالاي تعمير كدهاي محوشدني مورد توجه قرار مي¬گيرد، از اينرو كاهش اين هزينه محاسباتي همواره مورد توجه قرار گرفته است. در اين پايان¬نامه به بررسي روش¬هاي مختلف پياده¬سازي كد ريد-سالامون در سيستم فايل توزيعي هدوپ پرداخته¬ايم، و كارايي اين روش را در كدگذاري و كدگشايي مورد بحث و بررسي قرار داده¬ايم. معياري كه در اين پايان¬نامه مورد توجه قرار گرفته است بهبود تاخير دسترسي در كد ريد-سالامون است. در اين پايان¬نامه روش پياده¬سازي جديدي براي روش ماتريسي كد ريد-سالامون ارائه داده¬ايم كه با استفاده از اجرا در GPU سرعت بخشيده شده است. اين روش نسبت به پياده¬سازي ماتريسي كد ريد-سالامون داراي سرعت 3.5 برابري زمان كدگذاري و كدگشايي براي بلاك¬هاي داده با اندازه 64 مگا بايتي در سيستم فايل توزيعي هدوپ مي¬باشد و در نتيجه سربار كارايي كدهاي محوشدني كاهش مي¬يابد. واژه‌هاي كليدي: ذخيره¬سازي ابري، كد محوشدني، تكرار سه¬كپي، كد ريد-سالامون، هدوپ.

1395/11/13

1/1/1900 12:00:00 AM

Abstract: Nowadays, data reliability has been main challenge in the cloud storage environment. For scientific applications with high volume data storage, data storage in cloud with 3-replication for managing data reliability can lead to high data storage cost. An alternative approach is erasure code, that same data volume has more reliability compared to 3-replication. Using this encoding method has many challenges such as high repair bandwidth, I/O repair, number of disk for repair an​d access latency. Reed-Solomon code is a standard design an​d often high repair cost has been considered. Reducing Reed-Solomon computaional cost is very important. Since Hadoop-EC use Reed-Solomon code, improving the speed of this coding repair time is very importance. In this thesis, we investigate different Reed-Solomon implementation, an​d also we eva​luate the encoding an​d decoding performance in Hadoop-EC. We address computational overhead in Reed-Solomon code. Here, we have implemented a GPU-accelerated version of the Reed-Solomon matrix-based coding algorithm. Our experimental results show a 3.5X faster encoding / decoding time for 64MB HDFS block sizes, reducing the performance overhead of erasure codes. Keywords: Cloud Storage, Erasure code, 3-replication, Reed-Solomon, Hadoop.