17000

17000

ارائه‌ي يك سازوكار براي پردازش موازي جريان رويدادها

كارشناسي ارشد

نرم‌افزار - سيستم‌هاي توزيعي

اسفندماه 1394

دكتر محسن شريفي

كامپيوتر

چكيده گرايش روز افزون به معماري‌هاي مبتني بر رويداد از يك سو و فراگير شدن سامانه‌هاي محاسباتي از سوي ديگر، منجر به رشد فزاينده‌ي منابع توليد كننده‌ي رويداد و به تبع آن افزايش نرخ توليد رويداد شده است. در بسياري از حوزه‌هاي كاربرد، لازم است سامانه‌هاي محاسباتي، با پردازش رويدادها و شناسايي الگوهاي از پيش تعريف شده و انتزاع آنها به سطوح بالاتر لايه‌هاي كاربرد، ادراك لازم را نسبت به محيط خود كسب كرده و پس از اتخاذ تصميم مناسب، واكنش تعريف شده‌اي را داشته باشد. به اين نوع پردازش، پردازش رويدادهاي پيچيده مي‌گويند. افزايش و گستردگي كاربرد اين‌گونه سامانه‌ها، علاوه بر پردازش نرخ بالاي رويداد، نياز به شناسايي الگوهاي متعدد را كه غالبا بسيار پيچيده نيز هستند، به يك چالش اساسي بدل كرده است. رويكردهاي متمركز، به دليل ايجاد گلوگاه و در نهايت عدم توانايي در فراهم آوردن منابع مورد نياز براي پردازش رويدادها، نمي‌توانند عملكرد مناسبي از خود نشان دهند و با چالش‌هاي جدي از قبيل عدم امكان شناسايي همه‌ي رويدادهاي پيچيده و تاخير در شناسايي آنها مواجه هستند. بنابراين استفاده از منابع متعدد پردازشي، به منظور مواجهه با حجم بالاي رويدادها و تنوع الگوها، گريز ناپذير است. راهكار پيشنهادي ما در اين پژوهش، ارائه‌ي يك سازوكار براي توزيع الگوها ميان گره‌هاي محاسباتي و استفاده از توان پردازشي چند منبع محاسباتي براي پردازش رويدادها و شناسايي اين الگوها است. در اين سازوكار، با به خدمت گيري الگوريتم بسته‌بندي اقلام و بر پايه‌ي تخميني كه از واحد پردازشي و ميزان حافظه‌ي مورد نيز هر قاعده به دست مي‌آيد و همچنين ميزان منابع موجود در گره‌هاي محاسباتي، قواعد به شيوه‌اي ميان اين گره‌ها توزيع مي‌شوند كه بار پردازشي و حافظه‌ي مصرفي در آنها حتي الامكان متوازن باشد. در حقيقت ما با به كار گيري اين سازوكار، تلاش مي‌كنيم تا از بروز رفتارهاي نامناسبي چون عدم توانايي سرويس دهي در يك گره كه ناشي از كمبود منابع در آن است اجتناب كنيم. نتايج ما در اين پژوهش نشان مي‌دهد كه استفاده از اين شيوه‌ي توزيع الگوها، باعث افزايش توان عملياتي و همچنين كاهش تعداد رويدادهاي پيچيده‌ي كشف نشده مي‌شود. واژه‌هاي كليدي: رويداد پيچيده، پردازش رويدادهاي پيچيده، جريان رويدادها، توزيع قواعد، پردازش موازي

1396/01/16

1/1/1900 12:00:00 AM

Abstract The growing tendency to event-based architectures on the one hand an​d the preva​lence of computing systems on the other hand, has caused the increasing growth of event-producing resources an​d consequently the rise in event production rate. In many domains of application, it is necessary for the computing systems to acquire the required understanding of their environment by processing events, recognizing the predefined patterns an​d taking them to higher levels of abstraction, an​d to show a certain reaction after taking the right decision. This type of processing is called complex event processing. The escalation an​d spread of application of such systems, in addition to causing high event processing rate, has transformed the need to recognize multiple patterns, which are mostly very complex, to a major challenge. Centralized approaches, cannot give an appropriate performance, due to the formation of a bottleneck an​d eventually the lack of ability to provide the required resources for processing events. These approaches encounter serious challenges, such as the inability to recognize all the complex events an​d delay in recognizing them. Therefore, using multiple computing resources in order to deal with high volumes of events an​d variety of patterns, is inevitable. Our proposed strategy in this research is to provide a mechanism for distributing patterns among computing nodes an​d using the computing power of several computing resources for processing events an​d recognizing these patterns. In this mechanism, by using the bin-packing algorithm an​d based on the estimation of the processing unit an​d the amount of memory each rule needs, an​d also the amount of resources available in the processing units, the rules are distributed among these nodes in a way that computational load an​d consumed memory is as balanced as possible. In fact, by applying this mechanism, we try to prevent inappropriate behaviors like the inability to serve in a node due to lack of resources in it. The results of our research show that using this method of pattern distribution causes the increase in throughput an​d reduction in the number of unrecognized complex events. Keywords: Complex event, Complex event processing, Events stream, Rule distribution, Parallel processing