31740

رويكرد مبتني بر يادگيري جمعي براي سيستم‌هاي پردازش جريان ارتجاع‌پذير

ارشد

مهندسي كامپيوتر- نرم‌افزار

1400

1403/7/7

مرضيه ملكي مجد

مرضيه ملكي مجد

مهندسي كامپيوتر

در دهه اخير ديجيتالي شدن جنبه‌هاي مختلف زندگي باعث شده‌ است ميزان داده‌هايي كه توليد مي‌شود به شكل قابل ملاحظه‌اي افزايش پيدا كند. از آنجايي كه هر چه از زمان توليد اين داده‌ها بگذرد ارزش احتمالي آن‌ها كاهش پيدا مي‌كند نياز است كه آن‌ها را در سريع ترين زمان ممكن پردازش كرد. بخش قابل توجهي از اين داده‌ها به صورت جريان‌داده است، و از سيستم‌هاي پردازش جريان، براي پردازش آن‌ها استفاده مي‌شود. با توجه به اهميت پردازش سريع داده‌ها، سيستم بايد بتواند در زماني نزديك به بلادرنگ آن‌ها را پردازش كند و براي اين كار بايد از توان عملياتي بالايي برخوردار باشد. يكي از راه‌هاي افزايش توان عملياتي سيستم پردازش موازي است. با توجه به اين‌كه سيستم پردازش جريان زمان زيادي در حال اجرا است، باركاري آن در طول زمان تغيير مي‌كند و نياز است كه سيستم درجه پردازش‌موازي و منابع در اختيار خود را با توجه به باركاري تطبيق دهد تا از افزايش ميزان تاخير سيستم و يا به هدر رفتن منابع جلوگيري كند. از اين رو يك حوزه تحقيقاتي براي مسئله ارتجاع‌پذيري سيستم‌هاي پردازش جريان شكل گرفته است كه در طول سال‌هاي گذشته انواع مختلفي از سياست‌هاي تطبيق‌پذيري ارائه شده است. بيشتر كارهاي انجام شده از روش‌هاي مبتني بر حد آستانه استفاده كرده‌اند كه اجازه نمي‌دهند كاربر مطابق با نياز خود آن‌ها را تنظيم كند؛ يا از روش‌هاي مبتني بر مدل بهره مي‌برند كه استفاده از آن‌ها به صورت عملي بسيار دشوار است. با توجه به مسائل موجود برآن شديم تا راهكاري با تركيب كردن الگوريتم‌هاي يادگيري تقويتي موجود با تكنيك يادگيري جمعي ارائه دهيم كه كاربردي عمومي‌تر داشته باشد و هزينه‌ها را نسبت به روش‌هاي قبلي كاهش دهد. در نهايت با انجام دو آزمايش نشان مي‌دهيم كه رويكرد ارتجاع‌پذيري پيشنهادي هم در مقايسه با الگوريتم‌هاي پايه استفاده شده و هم در مقايسه با يكي از جديدترين و بهترين روش‌هاي ارتجاع‌پذيري ارائه شده عملكرد بهتري ارائه مي‌دهد و هزينه كلي سيستم را تا 12 درصد كاهش مي‌دهد.

1403/09/09

An Ensemble Learning-based Approach for Elastic Stream Processing Systems

9/28/2025 12:00:00 AM

In the last decade, the digitization of various aspects of life has caused the amount of data to be produced to increase significantly. Since the potential value of these data decreases as time passes, it is necessary to process them as quickly as possible. A significant part of this data is stream data, and stream processing systems are used to process them. Considering the importance of fast data processing, the system must be able to process them in near real-time and for this It must have a high throughput. Parallel processing is one of the ways to increase the throughput of the system. Due to the fact that the stream processing system is running for a long time, its workload changes over time, and the system needs to be Adapt the degree of parallelism and available resources according to the workload to avoid increasing the system delay or Over-Provision resources. Therefore, a research area has been formed for the problem of elasticity of stream processing systems, where different types of adaptability policies have been proposed over the past years. Most of the works have used threshold-based approaches that do not allow the user to adjust them according to their needs; Or they use model-based approachs that are very difficult to use in practice. Considering the existing issues, we decided to find a solution By combining the existing reinforcement learning algorithms with the ensemble learning technique, we will provide a more general solution and reduce the cost of system operation compared to the previous methods. Finally, by conducting two experiments, we show that the proposed elasticity approach is both compared to the used base algorithms and compared to one of the latest existing solutions, The proposed elasticity method provide better performance and reduces the overall system cost by up to 12 percent.

سيستم پردازش جريان , مقياس پذيري خودكار , يادگيري تقويتي , يادگيري جمعي

Stream Processing System , Auto-scaling , Reinforcement Learning , Ensemble Learning

Sajjad Safari Mohammadi

Dr. Marzie MalekiMajd