10219

طبقه‌بندي و مروري بر روش‌هاي مقياس‌پذيري خودكار در سامانه‌هاي پردازش جريان

1400-1401

دكتر مهرداد آشتياني

دكتر مهرداد آشتياني

امروزه، افزايش سرعت توليد اطلاعات و نياز به پردازش برخط آن‌ها، استفاده از سامانه‌هاي پردازش جريان را بيش از پيش رواج داده است. در كنار گسترش استفاده از سامانه‌هاي پردازش جريان، چالش‌هايي از قبيل تضمين قابليت اطمينان، مقياس‌پذيري خودكار، زمان‌بندي وظايف و غيره نيز براي اين سامانه‌ها مورد بحث و مطالعه قرار گرفته‌اند. يكي از اين چالش‌ها، مقياس‌پذيري خودكار است چرا كه ورود داده‌ها به اين سامانه‌ها ثابت نبوده و در زمان‌هاي مختلف ممكن است با نرخ ورود متفاوتي مواجه شوند. بنابراين، يكي از نيازهاي اصلي و اساسي سامانه‌هاي پردازش جريان، داشتن قابليت مقياس‌پذيري خودكار است تا با توجه به بار كاري ، منابع مورد نياز را فراهم سازد. منظور از مقياس‌پذيري، مقياس¬پذيري افقي است. به مقياس¬پذيري خودكار، مقياس¬پذيري پويا، مقياس¬پذيري كشسان ، اختصاص خودكار منابع و نهايتاً بالانس خودكار هم گفته مي¬شود. براي پاسخگويي به اين نياز و در اختيار قراردادن منابع مورد نياز تقاضا شده با توجه به بار كاري، چندين موتور پردازش جريان بوجود آمده‌اند كه متاسفانه اين سامانه‌هاي پردازش جريان كه در صنعت نيز مورد استفاده قرار گرفته‌اند، تا حدي توانايي مقياس‌پذيري يكپارچه و كارآمد بنابر تقاضا را ندارند. به طور مثال، موتورهاي پردازش جريان Flink و Apache Storm كه امروزه به طور گسترده مورد استفاده قرار گرفته‌اند، از روش‌هاي مقياس‌پذيري منفعلانه استفاده كرده و براي مقياس‌پذيري نياز به راه اندازي مجدد و استفاده از عكس‌هاي فوري گرفته شده از آخرين حالت‌برداري و همچنين دخالت كاربر در بسياري از بخش‌ها را دارند كه اين قضيه به خودي خود باعث كاهش سرعت شده و نياز به افزايش منابع جهت انجام محاسبات و راه‌اندازي مجدد دارد. براي سامانه‌هاي پردازش جريان زمان پردازش و همچنين درستي خروجي‌ها از اهميت بسيار بالايي برخوردار است كه برخوردار نبودن از مقياس‌پذيري خودكار و از كار افتادگي سامانه هنگام مواجهه با بار كاري بالا ممكن است عواقب مالي و جاني در پي داشته‌باشد. بنابراين، در اين پژوهش قصد داريم تا با ارائه راهكاري در راستاي مقياس‌پذيري خودكار به ميزان تاخيري كه ممكن است در سامانه در آينده ايجاد شود، توجه ويژه داشته باشيم كه اين امر در كارهاي مشابه كمتر ديده شده‌است. علاوه‌بر آن، در اين پژوهش بهره‌وري سامانه نيز حائز اهميت است چرا كه در نتيجه آن از هزينه‌هاي مالي صنعتگران نيز كاسته مي‌شود.

12/1/2021 12:00:00 AM

73365

1400/09/24

A Taxonomy and Review of Auto-scaling Algorithms in distributed stream processing systems

مقياس‌پذيري خودكار , سامانه‌هاي پردازش جريان , خاصيت كشساني , سامانه‌هاي توزيع‌شده

Distributed stream processing systems , Auto-scaling , Elasticity , Distributed Systems