18348

۱۸۳۴۸

ارائه‌ يك ساز و كار براي جلوگيري از خطا در سامانه‌هاي پردازش رويداد پيچيده دسترس‌پذير بالا با استفاده از مديريت قواعد فعال

كارشناسي ارشد

نرم افزار - سيستم هاي توزيعي

شهريورماه ۱۳۹۶

دكتر محسن شريفي

كامپيوتر

سامانه پردازش رويداد پيچيده يك سامانه مبتني بر رويداد است. در اين سامانه‌ها قواعد، الگوي رويدادها را مشخص مي‌كنند و موتور پردازش رويداد با پردازش قاعده‌ها، الگوها را استخراج مي‌كند. به ماشيني كه بر روي آن يك موتور پردازش رويداد قرار گرفته است، گره گفته مي‌شود. از چالش‌هاي موجود در اين سامانه‌ها مي‌توان به عدم صحت نتايج موتور پردازش رويداد در نرخ بالاي ورودي اشاره كرد. اين چالش به دليل محدوديت ظرفيت پردازشي گره است. در نرخ بالاي رويداد ورودي، موتور توانايي پردازش تمامي رويدادهاي ورودي را ندارد. بنابراين، موتور تعدادي از رويدادهاي ورودي را ناديده مي‌گيرد، يا نتايج خروجي را با تاخير زياد آماده مي‌كند. رخداد هر كدام از اين دو حالت باعث ايجاد خطا در پردازش خواهد شد، زيرا پردازش رويداد پيچيده نياز به پردازش بلادرنگ تمامي رويدادها دارد. براي جلوگيري از اين خطا، روش آماده ‌فعال ارائه شده است كه بهترين روش ارائه شده نيز مي‌باشد. بررسي‌ها نشان مي‌دهد كه اين روش نيز تا يك آستانه نرخ ورود رويداد، از بروز خطا جلوگيري مي‌كند. اين آستانه با توجه به ظرفيت پردازشي تخصيص‌يافته به موتور تعيين مي‌شود و متغير است. براي افزايش آستانه بروز خطا در روش آماده فعال، در اين پايان‌نامه سازوكاري متفاوت با معماري مشابه ارائه مي‌شود. تفاوت اين سازوكار با روش آماده فعال، مديريت قواعد پرهزينه در سامانه است. در اين سازوكار نرخ رويدادهاي ورودي به سامانه توزيع شده، نظارت مي‌شود و بر اساس نرخ ورودي، هزينه پردازشي هر قاعده تعيين مي‌شود. اگر مجموع هزينه‌هاي پردازشي قاعده‌هاي موجود در يك گره، بيش از ظرفيت پردازشي گره باشد، بايد قواعد فعال بر روي اين گره مديريت شود. براي ارزيابي، هزينه قواعد توسط مجموعه محك اسپر اندازه‌گيري شده است. با توجه به هزينه قواعد و ميزان ظرفيت پردازشي گره‌ها، قواعد با يك بار تكرار توزيع شده‌اند. در آزمايش انجام شده نرخ رويدادهاي ورودي به سامانه به مرور افزايش يافته‌است و نقطه بروز خطا در سازوكار ارائه شده و روش آماده فعال اندازه‌گيري شده است. با توجه به نتايج، خطا به طور ميانگين در سازوكار پيشنهادي در نرخ 77000 و در روش آماده فعال در نرخ 53500 رويداد بر ثانيه رخ مي‌دهد كه 45 درصد سازوكار پيشنهادي بهبود داشته است؛ اما ميزان تاخير در تشخيص رويداد پيچيده در سازوكار پيشنهادي به طور ميانگين برابر با 745 و در روش آماده فعال برابر با 615 ميلي‌ثانيه است كه علت افزايش، زمان لازم براي محاسبه نرخ ورودي و اعمال الگوريتم مديريت قواعد است. واژه‌هاي كليدي: پردازش رويداد پيچيده، سيستم‌هاي توزيعي، جلوگيري از خطا، دسترس‌پذيري بالا.

1396/10/26

1/16/2018 12:00:00 AM

A complex event processing system is an event based system. In these systems rules define patterns of events, and event processing engine extracts the patterns by processing the rules. A machine with an assigned event processing engine to is called a node. One of current challenges on complex event processing systems, is inaccuracy in event processing engine’s results whilst high input rates. This challenge emerges due to processing capacity constraint of the node which complex event processing engine is running on. At high event input rates the engine is unable to process all the input events. Thus the engine will ignore some of the input or will prepare output with long periods of delays. Either of these cases will result in a processing fault, because complex event processing requires real time processing of all events. To resolve this challenge, active standby method is introduced which in the same time is the best solution. Researches have shown this method’s effectiveness in preventing faults up to a certain event input rate threshold. This threshold is defined according to assigned processing capacity to the engine and it is variable. In this thesis there will be presented a different mechanism with a similar architecture for increasing the threshold. Difference between this method and the active standby, lies in management of high cost rules in the system. In this mechanism event input rates to system are distributed, then monitored; and according to the input rate, processing cost of each rule is defined. If processing costs sum of existing rules in a node exceeds processing capacity of the node, active rules on this node have to be managed. In order to evaluate, costs of rules are measured by Esper criterion. According to costs of rules and processing capacities of nodes, rules are distributed with one iteration. In the conducted test, events input rate to system is gradually increased and fault occurrence point in the suggested mechanism and active standby method are measured. According to the results, in the suggested mechanism fault occurs in rate of 77000 and in active standby method in rate of 53500 events per second, which shows 45 percent improvement in the suggested mechanism. But average complex event recognition latency in the suggested mechanism is 745 and in active standby method is 615 milliseconds, the reason for this increase lies in time needed for input rate calculation and applying management algorithm. Keywords: Complex Event Processing, Distributed Systems, Fault Prevention, High Availability.