10204

بررسي انواع روش هاي زمانبندي بيش فعال در سامانه هاي توزيع شده ي پردازش جريان داده

1400

محسن شريفي

محسن شريفي

يكي از ويژگي هاي جهان امروز، سرعت رشد داده و ظهور كلان داده است و تخمين زده مي شود با گذر زمان اين رشد سريعتر و حجم كلان داده ها نيز بيشتر خواهد شد. براي مديريت اين ويژگي دو رويكرد پردازش دسته اي و پردازش جرياني مطرح شده اند. سامانه ي پردازش جريان داده بي نياز از ذخيره كردن داده پيش از پردازش و كاملا متناسب براي جريان نامتناهي داده ها است و مي تواند حجم بالاي ورودي را با سرعت و توان عملياتي بالا پردازش كند. براي فراهم آوردن اين امكان سامانه بايد زمانبندي در اختيار داشته باشد كه شرايط و نيازهاي پردازش جريان داده را به ويژه از لحاظ هزينه و سرعت به شكل بهينه برطرف كند. يكي از شرايط جريان داده ثابت نبودن حجم آن است به عبارتي حجم داده ي ورودي به سامانه هاي پردازش جريان داده همواره يكسان نيست پس زمانبند اين سامانه بايد بتواند سياست هايي متناسب براي رويارويي با تغييرات در بار كاري اتخاذ كند كه اين سياست مي تواند پس فعال يا بيش فعال باشد. در اين گزارش به زمانبند بيش فعال پرداخته مي شود. زمانبند بيش فعال برخلاف زمانبند پس فعال، پيشاپيش احتمال بروز تغييرات بزرگ در حجم جريان داده ي ورودي را بررسي مي كند تا از قبل براي مديريت آن آمادگي لازم را كسب كند؛ در غير اين صورت اگر زمانبند پس از بروز اضافه بار كاري عكس العمل نشان دهد زمان را از دست مي دهد و پاسخ دهي ديگر به صورت بي درنگ نبوده در ضمن صفي از درخواستها شكل مي گيرد و حتي بخشي از جريان داده به علت تاخير در پردازش از دست مي رود علاوه بر اين بخشي از منابع سامانه به علت تاخير در پاسخگويي به تغييرات در فازهاي كم تداركي و بيش تداركي از دست مي روند يا بيهوده مشغول مي مانند. انجام چنين پيش بيني ها و تخمين هايي با مرور و تحليل سابقه ي فعاليت سامانه و تحليل آن و استفاده از روش هايي نظير رگرسيون، صف، يادگيري ماشين و بسياري روش هاي رياضي، آماري و ابتكاري ديگر امكانپذير مي گردد. در اين گزارش پنج روش براي پياده سازي زمانبندي بيش فعال كه در سالهاي اخير پيشنهاد شده اند، مطالعه و بررسي مي گردد. در ادامه ي اين مطالعات پيشنهاد مي شود در كارهاي آتي از يادگيري ماشين براي تحليل سري هاي زماني و تشخيص الگوهاي باركاري استفاده شود. ميتوان گفت يادگيري ماشين بهبود عملكرد در انجام يك وظيفه به كمك كسب تجربه و بدون نياز به برنامه نويسي يا مدل سازي رياضي به شكل صريح است كه دقيقا مطابق نيازي است كه طي اين گزارش در زمانبند بيش فعال مشاهده و شناسايي گرديد. از آنجا كه روشهاي يادگيري ماشين با هر تجربه و تغيير پاسخ هاي بهتري براي مسئله ارائه مي دهند؛ انتظار مي رود عملكرد زمانبند بيش فعال با استفاده از يادگيري ماشين در مقايسه با ساير روش ها نتايج بهتري به دست دهد

12/1/2021 12:00:00 AM

73336

1400/09/22

Study of Proactive Methods of Scheduling in Distributed Data Stream Processing Systems

جريان داده، سامانه ي توزيع شده ي پردازش جريان داده، الگوريتم زمانبندي توزيع شده، زمان‌بند بيش فعال، يادگيري ماشين ،

Data steam processing , Distributed systems , Proactive scheduling , Machine learning