9074

روشي براي آموزش شبكه‌هاي عصبي به صورت منصفانه با استفاده از نظريه بازي‌ها

كارشناسي

علوم كامپيوتر

1403

ابراهيم اردشير لاريجاني

ابراهيم اردشير لاريجاني

1403/03/17

رياضي و علوم كامپيوتر

FairTrain: a method to train neural networks fairly using game theory

ﺭ ﺍﯾﻦ پﺮﻭژﻩ ﺑﻪ ﺑﺮﺭﺳي ﻭ ﻃﺮﺍﺣي چﻨﺪ ﺍﻟگﻮﺭﯾﺘﻢ ﺑﺮﺍي ﺁﻣﻮﺯﺵ ﺷﺒكﻪﻫﺎي ﻋﺼﺒي ﺑﺮﺍي ﻣﺴﺌﻠﻪ ﺩﺳﺘﻪﺑﻨﺪي ﻣﯿپﺮﺩﺍﺯﯾﻢ، ﯾكي ﺍﺯ ﻣﺸكﻼﺕ ﺑﺰﺭگ ﺩﺭ ﻣﺴﺎﺋﻞ ﺩﺳﺘﻪ ﺑﻨﺪي ﻭﺟﻮﺩ ﺑﺎﯾﺎﺱ ﺗﺼﻤﯿﻢ گﯿﺮي ﺩﺭ ﻣﺪﻝ ﻣيﺑﺎﺷﺪ ﺑﻪ ﺷكﻠي كﻪ گﻮﯾﺎ ﺍﺣﺘﻤﺎﻝ ﺍﯾﻨكﻪ ﻣﺪﻝ ﯾك ﺩﺳﺘﻪ ﺧﺎﺹ ﺭﺍ پﯿﺶﺑﯿﻨي كﻨﺪ ﺍﺯ ﺩﯾگﺮ ﺩﺳﺘﻪﻫﺎ ﺑﯿﺸﺘﺮ ﺍﺳﺖ، ﺑﻪ ﺍﺻﻄﻼﺡ ﻣﺪﻝ ﻣﻨﺼﻒ ﻧﯿﺴﺖ ﻭ ﺩﺍﺭﺍي ﺑﺎﯾﺎﺱ ﻣيﺑﺎﺷﺪ. ﯾكي ﺍﺯ ﺩﻻﯾﻞ ﺑﺎﯾﺎﺱ ﺑﻮﺩﻥ ﯾك ﻣﺪﻝ ﻣﯿﺘﻮﺍﻧﺪ ﺑﺎﯾﺎﺱ ﺑﻮﺩﻥ ﺩﺍﺩﻩ ﺁﻥ ﺑﺎﺷﺪ ﺭﻭﺵﻫﺎﯾي ﻫﻤچﻮﻥ ﺗﺨﺼﯿﺺ ﻭﺯﻥ ﺑﺮﺍي ﺑﺎﻻﻧﺲ كﺮﺩﻥ گﺮﺍﺩﯾﺎﻥ ]3[ ﻭ ﯾﺎ ﻭﺯﻥ ﺩﻫي ﺑﻪ ﺗﺎﺑﻊ ﺧﻄﺎ ﺑﺎ ﺍﺳﺘﻔﺎﺩﻩ ﺍﺯ ﻓﺮكﺎﻧﺲ ﺩﺍﺩﻩ ﻫﺎ ]4[ ﺭﻭﺵﻫﺎﯾي ﻫﺴﺘﻨﺪ كﻪ ﺑﺎ ﻭﺯﻥﺩﻫي ﺑﻪ ﺗﺎﺑﻊ ﺧﻄﺎ ﻣﻘﺪﺍﺭ ﺗﺎﺛﯿﺮ گﺮﺍﺩﯾﺎﻥ ﺭﺍ ﺑﺮﺍي ﻫﺮ ﺩﺳﺘﻪ ﺁﻣﻮﺯﺷي ﺗﻐﯿﯿﺮ ﻣﯿﺪﻫﻨﺪ، ﻫﻤچﻨﯿﻦ ﺗﺎﺑﻊ ﺧﻄﺎﻫﺎﯾي ﻣﺎﻧﻨﺪ foⅽaⅼ ]5[ ﺳﻌي ﺑﺮ ﺗﻨﻈﯿﻢ ﺍﯾﻦ ﻭﺯﻥ ﻫﺎ ﺩﺍﺭﻧﺪ. ﯾكي ﺍﺯ ﻣﺸكﻼﺕ ﺍﯾﻦ ﺭﻭﺵﻫﺎ ﺍﯾﻦ ﺍﺳﺖ كﻪ ﻓﻘﻂ ﺑﻪ ﻓﺮكﺎﻧﺲ ﻣﻮﺟﻮﺩي ﺩﺍﺩﻩ ﻧگﺎﻩ ﻣﯿكﻨﻨﺪ ﻭ ﺍﯾﻦ ﻧكﺘﻪ ﺭﺍ ﺩﺭ ﻧﻈﺮ ﻧﻤﯿگﯿﻨﺪ كﻪ ﻣﺴﺎﻭي ﻧﺒﻮﺩﻥ ﺗﻌﺪﺍﺩ ﻧﻤﻮﻧﻪ ﺍﺯ ﻫﺮ ﺩﺳﺘﻪ ﺗﻨﻬﺎ ﻣﺸكﻞ ﺁﻣﻮﺯﺵ ﻧﺪﯾﺪﻥ ﯾك ﻣﺪﻝ ﻧﯿﺴﺖ، ﺑﻠكﻪ ﺳﺨﺖﺗﺮ ﺑﻮﺩﻥ ﻭﯾژگي ﻫﺎي ﯾك ﺩﺳﺘﻪ ﺧﺎﺹ ﻧﯿﺰ ﻣﯿﺘﻮﺍﻧﺪ ﺑﺎﻋﺚ ﺑﺮﻭﺯ ﻣﺸكﻞ ﺑﺎﯾﺎﺱ ﺗﺼﻤﯿﻢ گﯿﺮي ﺩﺭ ﻣﺪﻝ ﺑﺎﺷﺪ. ﺩﺭ ﺍﯾﻦ پﺮﻭژﻩ، ﺍﯾﺪﻩ ﻭﺯﻥﺩﻫي ﺑﻪ ﺗﺎﺑﻊ ﺧﻄﺎ ﺭﺍ ﺑﺎ ﺍﺳﺘﻔﺎﺩﻩ ﺍﺯ چﻨﺪ ﻣﺴﺌﻠﻪ ﻣﻌﺮﻭﻑ ﺩﺭ ﻧﻈﺮﯾﻪ ﺑﺎﺯي ﻫﺎ گﺴﺘﺮﺵ fair divisionﻣﯿﺪﻫﯿﻢ ﻭ ﺁﻥﻫﺎ ﺭﺍ ﺁﺯﻣﺎﯾﺶ ﻣﯿكﻨﯿﻢ. ﺩﺭ ﯾكي ﺍﺯ ﺍﯾﻦ ﺭﻭﺵﻫﺎ ﺍﺯ ﻣﺴﺌﻠﻪ ﺗﻘﺴﯿﻢ ﻣﻨﺼﻔﺎﻧﻪ ﯾﺎ ]2[ ﺍﺳﺘﻔﺎﺩﻩ ﻣﯿكﻨﯿﻢ ﺗﺎ ﯾك ﺗﺨﺼﯿﺺ ﻭﺯﻥ ﺭﺍ ﺑﻪ ﺗﻘﺴﯿﻢ ﯾك كﯿك ﺑﯿﻦ ﺗﻌﺪﺍﺩ ﺑﺎﺯيكﻦ ﻣﺪﻝ كﻨﯿﻢ، ﺩﺭ ﺭﻭﺵ ﺩﯾگﺮي ﯾك ﺭﻭﺵ ﺗكﺎﻣﻠي ﺭﺍ ﺍﺭﺍﺋﻪ Multiplicative weight update method ﺑﺎ ﺍﺳﺘﻔﺎﺩﻩ ﺍﺯ ﻣﺴﺌﻠﻪ]6[ ﻣﯿﺪﻫﯿﻢ كﻪ ﻭﺯﻥﻫﺎ پﺲ ﺍﺯ ﻫﺮﺑﺎﺭ ﺗﺴﺖ ﺑﺮﻭﺯﺭﺳﺎﻧي ﺷﻮﻧﺪ، ﺑﺮﺍي ﺁﺯﻣﺎﯾﺶ ﺭﻭﺵﻫﺎ ﯾك ﺩﺍﺩﻩ ﻣﺼﻨﻮﻋي ﻭ iⅿbaⅼanⅽe ﺍﺯ ﺭﻭي ﻣﺠﻤﻮﻋﻪ ﺩﺍﺩﻩ]9[ ﺗﺼﻮﯾﺮي ⅽifar−10 ﻣيﺳﺎﺯﯾﻢ ﻭ ﺁﻥ ﺭﺍ ﺑﺎ ﻣﺪﻝ ﻫﺎي ⅭNN ﺑﺮﺭﺳي ﻣﯿكﻨﯿﻢ.

شبكه هاي اصبي , نظريه بازي ها , يادگيري عميق , يادگيري ماشين