1204

1204

ارائه يك مدل يادگيري تقويتي با نظارت چندسطحي در سيستم‏هاي چندعامله هولوني

دكتري

كامپيوتر - هوش مصنوعي

تير ماه 1392

تير ماه 1392

دكتر ناصر مزيني

چكيده سيستم‏هاي چندعامله روش مناسبي براي مدل¬سازي مسائل توزيع شده فراهم مي آورند. چنانچه يك سيستم چندعامله از تعداد زيادي عامل تشكيل شده باشد، استفاده از روش‏هاي كلاسيك در سيستم‏هاي چندعامله كارا نخواهد بود و نياز است همچون جامعه انساني از روش‏هاي مبتني بر سازمان استفاده شود. سازمان هولوني به عنوان يكي از سازمان‏هاي موفق در حوزه سيستم‏هاي چندعامله، مورد توجه بسياري از محققين قرار گرفته است. بر اساس اصولي كه توسط مبدع مفهوم هولون بيان شده، سازمان هولوني به صورت مجموعه¬اي از سلسله مراتب در هم آميخته داراي ساختار انتزاعي ديده مي‏¬شود. اين سازمان از موجوديت‏هاي خودمتشابهي تشكيل شده كه به صورت بازگشتي در يك ساختار سلسله مراتبي قرار گرفته‏اند. از جمله ويژگي‏هاي اين سازمان مي‏توان به خودمتشابهي، قابليت اطمينان، مقاوم بودن و پويايي آن اشاره نمود. قابليت يادگيري يكي از مباحث مهمي است كه در سيستم‏هاي مبتني بر عامل مطرح مي‏شود. يكي از متداولترين روشهايي كه عامل‏ها براي يادگيري به كار مي‏برند، بر مبناي سعي و خطا است كه تحت عنوان "يادگيري تقويتي" مطرح گرديده است. به دليل اهميت يادگيري تقويتي در محيط‏هاي ناشناخته و همچنين سازمان هولوني در مدل¬سازي سيستم‏هاي داراي مقياس بالا، يادگيري تقويتي در سازمان هولوني جايگاه مهمي دارد. عليرغم مطالعات زيادي كه در اين حوزه انجام گرفته، تاكنون مدلي عمومي براي يادگيري تقويتي در اين سازمان ارائه نشده است. هدف از انجام رساله، ارائه مدل يادگيري تقويتي مطابق با ويژگي¬هاي سيستم‏هاي چندعامله هولوني است كه تا حد امكان عمومي بوده و قابل استفاده در كاربردهاي مختلف باشد. در اين رساله، با در نظر گرفتن عناصر يادگيري تقويتي و اصول سيستمهاي چندعامله هولوني، مدلي جهت يادگيري تقويتي در اين سيستمها ارائه شده است. خودمتشابهي هولون‏ها در سطوح مختلف انتزاع، ارتباط ميان هولون‏ها و مقاوم بودن مدل يادگيري در برابر اختلال در ارتباط از ويژگي‏هاي مهم مدل ارائه شده است كه به همراه تحليل همگرايي و كارايي در اين رساله به آنها پرداخته شده است. سيستم‏هاي چندعامله كاربردهاي مختلفي در جهان واقعي دارد كه از جمله مي¬توان به كنترل ترافيك شهري اشاره كرد. كاهش ميانگين زمان تاخير با استفاده از زمان‏بندي چراغ‏هاي راهنمايي، يكي از اهدافي است كه در كنترل ترافيك دنبال مي¬شود. با توجه به ويژگي‏هاي منحصر به فرد سازمان هولوني در مدل‏سازي سيستم‏هاي توزيع شده با مقياس بالا و نقش يادگيري تقويتي در محيط‏هاي پويا، يك شبكه ترافيكي متشكل از تعداد زيادي تقاطع به عنوان بستر مناسبي در اين راستا مورد استفاده قرار گرفته است. نتايج تجربي نشان مي‏‏دهند كاربرد مدل پيشنهادي كنترل ترافيك باعث كاهش ميانگين زمان تاخير شده و كنترلي مقاوم و قابل اطمينان در اين حوزه فراهم مي¬آورد. واژه‌هاي كليدي: يادگيري تقويتي، سيستم‏هاي چندعامله هولوني، كنترل ترافيك هوشمند.