26571

تقريب ضرايب لاگرانژ در توزيع‌هاي بيشينه آنتروپي با استفاده از رگرسيون فرآيند گاوسي

كارشناسي ارشد

آمار رياضي

1398

1400/12/14

دكتر غلامحسين ياري

دكتر رحمان فرنوش

رياضي

يكي از مفاهيم مهم و پركاربرد در نظريه اطلاع و علم آمار، آنتروپي مي باشد. آنتروپي در علوم مختلف از جمله فيزيك، شيمي و ... كاربرد دارد. يك تعريف مهم و كارآمد در مبحث آنتروپي، اصل بيشينه آنتروپي مي‌باشد. همانطور كه مي‌دانيم در آمار تنها با وجود گشتاورهاي يك متغير تصادفي، نمي‌توان به توزيع آن پي‌برد. اصل بيشينه انتروپي به ما اين امكان را مي‌دهد كه با توجه به گشتاورهاي موجود و تعدادي قيد، توزيعي را براي متغيرها بيابيم كه در آن قيدها صدق كرده و داراي بيشترين آنتروپي باشد. براي استفاده از توزيع‌هاي بيشينه آنتروپي بايد ابتدا ضرايب لاگرانژ موجود، تقريب زده شود. براي تقريب اين ضرايب روش‌هاي متعددي وجود دارد از جمله روش نيوتن. در اين پايان نامه سعي شده است با استفاده از روش رگرسيون فرآيند‌ گاوسي، ضرايب لاگرانژ موجود در توزيع هاي بيشينه آنتروپي تقريب زده شود و مقايسه‌اي بين روش نيوتن و روش رگرسيون فرآيند‌گاوسي صورت گرفته است. روش نيوتن به علت محاسبات طولاني در بدست آوردن ماتريس هسين، بسيار وقت گير و پر هزينه است. در مقابل، روش رگرسيون فرآيند گاوسي روشي كم هزينه بوده كه سرعت بالايي در يافتن ضرايب لاگرانژ نيز دارد.

1401/03/14

Approximation of Lagrange coefficients in maximum entropy distributions using Gaussian process regression

3/5/2023 12:00:00 AM

One of the most important and widely used concepts in information theory and statistics is entropy. Entropy is used in various sciences such as physics, chemistry, etc. An important and efficient definition of entropy is the principle of maximum entropy. As we know, in statistics, despite the torques of a random variable alone, its distribution cannot be determined. The principle of maximum entropy allows us to find a distribution for the variables in which the constraints are true and have the highest entropy, given the available moments and the number of constraints. To use the maximum entropy distributions, the existing Lagrangian coefficients must first be approximated. There are several methods for approximating these coefficients, including the Newton method. In this thesis, we have tried to approximate the Lagrangian coefficients in the maximum entropy distributions using the Gaussian process regression method and a comparison has been made between Newton method and Gaussian process regression method.

نظريه اطلاع , آنتروپي , اصل بيشينه آنتروپي , فرآيند‌گاوسي , رگرسيون فرايند گوسي

Information Theory , Entropy , Maximum Entropy Principle , Gaussian Process , Gaussian Process Regression

Mahdieh Mojahed

Dr. Gholamhossein Yari