26741

ارائه يك رويكرد شرح پذيري نرم افزار با استفاده از فنون آزمون نرم افزار

كارشناسي ارشد

مهندسي كامپيوتر گرايش نرم افزار

1401

1401/2/27

دكتر سعيد پارسا

مهندسي كامپيوتر

شرح پذيري به معناي قابليت سيستم هاي نرم افزاري در تشريح رفتار خود تحت شرايط مختلف است. در حال حاضر شرح پذيري، مختص به مدل هاي يادگيري است. اخيراً تعداد زيادي از روش‌ها با استفاده از راهكار‌هايي از آمار، يادگيري‌ ماشين و علم داده به شرح‌پذيري مدل هاي هوش مصنوعي پرداخته اند. اين در حالي است كه بسياري از سيستم‌هاي سايبر - فيزيكي تصميماتي وابسته به زمينه مي‌گيرند و مبتني بر يادگيري نيستند. شرح رفتار سيستم نه‌تنها به فرايند خطايابي، بهبود و كنترل آن‌ كمك بزرگي مي كند، بلكه ابزاري مفيد براي يادگيري حقايق جديد، جمع آوري اطلاعات و در نتيجه كسب دانش هست؛ بنابراين، قابليت شرح پذيري براي هر گونه سيستم نرم‌افزاري و بخصوص سيستم‌هاي سايبر - فيزيكي، در قالب قوانين حاكم بر عملكرد آن نرم افزار تحت شرايط مختلف بايد مدنظر قرار گيرد. در اين پايان نامه شرح پذيري براي عملكرد سيستم هاي سايبر - فيزيكي در قالب قوانين حاكم بر رفتارهاي خواسته و ناخواسته سيستم، بخصوص در مرز هاي رفتاري مطرح شده است. در روش پيشنهادي براي شرح رفتار سيستم از فنون آزمون نرم افزار و يادگيري ماشين استفاده شده است. در اين راستا از الگوريتم هاي ژنتيك و جستجوي دودويي براي توليد داده هاي آزمون با هدف پوشش دامنه هاي رفتاري متفاوت و از درخت تصميم براي استنتاج قوانين رفتاري استفاده شده است. نظر به اينكه رفتار، واكنشي در مقابل رويداد است؛ بنابراين در بين مسيرهاي اجرايي متعدد جهت آشكار كردن هر چه سريع تر دامنه هاي رفتاري، مسيرهاي اجرايي با تعامل نسبتاً بيشتر با محيط عملياتي مورد شناسايي و بررسي قرار گرفته مي شود. تشخيص اين نوع مسيرها نيز با ارائه يك الگوريتم ژنتيك امكان‌پذير شده است. شرح پذيري در قالب نمايش و توصيف قوانين حاكم بر عملكرد سيستم هاي سايبر فيزيكي با ايجاد درخت هاي تصميم امكان پذير شده است. در سطح سيستم، شبيه ساز سيستم خلبان خودكار هواپيماي F-16 به عنوان يك مورد مطالعاتي صنعتي، مورد آزمايش قرار گرفت. نتايج حاصل از آزمايش رويكرد پيشنهادي جهت تعيين دامنه هاي رفتاري اين سيستم، نشانگر عدم كارايي آن تحت شرايط مختلف است. رويكرد پيشنهادي توانست با تعيين مرزهاي رفتارهاي خواسته و ناخواسته، قوانين حاكم بر مانورهاي اين هواپيما را در وضعيت غير ايمن و برخورد با زمين مشخص نمايد. رويكرد پيشنهادي با دو روش شناخته شده توليد دامنه مقايسه شده و در عمل نشان‌داده‌شده است كه روش پيشنهادي توانسته 18 تا 21 درصد موارد ناامن بيشتري را براي سيستم خلبان خودكار تشخيص دهد.

1401/04/15

An Approach to Software Explainability Using Software Testing Techniques

5/17/2023 12:00:00 AM

Explanability is the ability of software systems to explain their behavior in different conditions. Currently,explainability is specific to learning models. Recently, a large number of methods using strategies from statistics, machine learning, and data science have been used to explain artificial intelligence models. Whereas many cyber physical systems(CPS) make contextdependent decisions that are not based on machin learning(ML) And need to be explained. Explanations allow engineers to locate and fix bugs, and enable effective cooperation. Moreover ،explanations is a helpful tool to learn new facts, to gather information and thus to gain knowledge. Therefore, the ability to explain for any software system, especially cyber physical systems in the form of rules governing the performance of that software in different situations should be considered. In this Thesis, the explainability of the operation of CPS in the form of rules governing the desired and unwanted behaviors of the system, especially at the decision boundarys is discussed. The proposed method uses software testing and machine learning techniques to explain system behavior. In this approach, genetic and binary search algorithms are used to generate test data to cover different behavioral domains and decision trees are used to infer behavioral rules. Because behavior is the reaction to an event, among multiple execution paths, in order to reveal behavioral domains as quickly as possible, execution paths with relatively more interaction with the operating environment have been identified and examined. Detection of these types of paths is also possible by presenting a genetic algorithm. Explainability in the form of displaying and describing the rules governing the operation of the cyber physical system is made possible by creating decision trees. The F16 aircraft autopilot simulator has been tested as an industrial case study. The results of testing the proposed approach for testing and determining behavioral domains indicate the inefficiency of this autopilot system under different conditions. The proposed approach was able to determine the rules governing aircraft maneuvers in unsafe situations and collisions with the ground by determining the boundaries of the range of desired and unwanted behaviors. The proposed approach is compared with two known methods of domain generation and in practice it is shown that the proposed method was able to detect 18 to 21% more unsafe cases for the autopilot system.

شرح پذيري , آزمون نرم افزار , يادگيري ماشين , مرز تصميم , توليد داده هاي آزمون

Explainability , Software Testing , Machin Learning , Decision Boundary , Test Data Generation

Milad Gholami

Saeed Parsa