20270

۲۰۲۷۰

كنترل شبكه هاي تنظيم ژني با كمك روش هاي يادگيري تقويتي

كارشناسي ارشد

هوش مصنوعي

۱۳۹۲-۱۳۹۴

۱۳۹۵/۲/۷

دكتر ناصر مزيني

دكتر علي مسعودي نژاد

كامپيوتر

درك سامانه‌ا‌‌ي از پديده هاي زيستي به كمك شناسايي ساختار اين سامانه‌ها و تحليل رفتار ديناميكي آن‌ها به دست مي‌آيد، شناخت سازوكارهاي كنترلي در اين سامانه‌ها به دانشمندان در طراحي روش‌هاي درماني موثر و ساخت شبكه‌هاي زيستي مصنوعي با قابليت اطمينان بالا ياري مي‌رساند. يكي از بزرگترين اهداف كنترل شبكه تنظيم ژني، پيش بيني رفتار سيستم و كنترل آن براي توسعه روش‌هاي درماني يا داروها مي‌باشد.در اين راستا مي‌توان ديناميك يك شبكه تنظيم ژني را به عنوان مجموعه‌اي از انتقال حالات با انطباق بر مدل فرايند تصميم گيري ماركوف تلقي نمود. اگر بتوان، با اعمال ورودي‌هاي مناسب و تعريف حالات مطلوب مساله، به عنوان هدف، سيستم را از حالت بيماري زا (نامطلوب) به حالت مطلوب(سالم) انتقال داد، سيستم از معرض ماندگار شدن در حالات نامطلوب كنترل شده است. در حقيقت، كنترل كردن شبكه تنظيم ژني به معناي كنترل حالت سيستم با مداخله تعدادي ژن ورودي به نام ژن كنترلي براي دست‌يابي به اين هدف مي‌باشد. در روش‌هاي بررسي شده كنترل خارجي، ابتدا مدل شبكه‌اي مورد نظر از داده‌ها مدل شده و سپس الگوريتم براي يافتن بهترين سياست تخميني اجرا مي‌شود، به‌طوري¬كه پيچيدگي حافظه و زمان يافتن استراتژي با افزايش تعداد ژن¬هاي شبكه بسيار افزايش مي‌باشد. مطالعات گوناگوني، زمان اجراي يافتن سياست براي سيستم ژني با تعداد ژن كم را به زمان چند جمله‌اي تقليل داده¬اند، اما مشكل حافظه در آن‌ها همچنان باقي مانده است، يك ايده براي غلبه بر اين مشكل، مدل سازي براساس نمونه¬هاي جمع¬آوري شده از محيط و سپس يافتن سياست تخميني مي باشد. در اين پايان نامه به ارائه يك سيستم يادگير كنترل محور بر مبناي الگوريتم يادگيري تقويتي دسته‌اي پرداخته شده است، به‌طوري كه با تعريف پارامترهاي سيستم و تطبيق بر مدل شبكه استنتاج شده در روش‌هاي پيشين، سياست تخميني از داده‌ها استنتاج شود. براي اين منظور يك تابع تخمين زننده بر مبناي ماتريس ويژگي گوسي و يك استراتژي ε-حريصانه در الگوريتم دسته‌اي پيشنهادي به¬كار گرفته شد. پس از به‌دست آوردن نتايج و اعمال آن به شبكه بولي احتمالاتي ساخته شده، نتايج نشان داد كه اين روش توانست مجموع احتمال حالات نامطلوب در شبكه را نسبت به روش كنترل نشده و همچنين روش كنترل شده بر مبناي نمونه پيشين، براساس پارامترهاي ذكر شده بهبود بخشد. واژه‌هاي كليدي:كنترل، شبكه‌هاي تنظيم ژني، يادگيري تقويتي دسته‌اي، توابع تخمين زننده

1398/01/18

Control of Gene Regulatory Network using Reinforcement Learning

4/7/2019 12:00:00 AM

the principal objective of controlling gene regulatory networks (GRNs) as dynamic biochemical systems is to find effective treatment methods, also studying gene impact on diseases and their development. The control problem aims at the intervention of appropriate strategy to avoid diseased states through some input genes, called control genes. One of the critical challenges in present external control techniques is the increase of time and memory complexity exponentially regarding the number of genes over the network. On the other hand, the methods cannot be utilised even for a few dozens of genes. An approach to solve this problem is to control the network fully observability using directly obtained experience tuples from network states. The idea uses an approximate strategy based on batch reinforcement learning and least squares linear regression to find a sequence of actions. In the current study, we propose an improved strategy based on the previous method to control fully observable GRNs. Our idea can provide a control policy for thousands of genes. Results demonstrate that our methodology is more effective than the previous study and provides a better functionality related to inspected criteria. Keywords—Gene regulatory network; fully observable control; Batch reinforcement learning; Liner Approximation Function