20383

۲۰۳۸۳

برآوردگرهاي‌ ناپارامتري آنتروپي بر مبناي رگرسيون خطي ساده

كارشناسي ارشد

آمار رياضي

۹۷-۹۸

۱۳۹۷/۱۰/۳۰

دكتر رحمان فرنوش - دكتر غلامحسين ياري

دكتر رضا احمدي

رياضي

چكيده برآوردكننده‌هاي مربوط به آنتروپي انتگرال‌پذير معرفي ‌شده‌اند. اين برآوردكننده‌ها بر اساس بسط مرتبه دوم تابع جرم احتمال و رگرسيون خطي ساده مطرح شده است. رگرسيون ساده‌ي خطي براي برآورد مقادير تابع چگالي و مشتق دوم آن در يك نقطه مورداستفاده قرار گرفته است. بعد از برآورد مقادير تابع چگالي احتمالي در هر يك از نقاط نمونه‌برداري ارائه‌شده، با گرفتن ميانگين تجربي لگاريتم منفي برآوردهاي چگالي، دو برآورد كننده‌ي آنتروپي به دست مي‌آيند. برآورد كننده‌هاي ديگر آنتروپي كه آنتروپي را به‌وسيله‌ي رگرسيون خطي برآورد مي‌كنند، نيز مطرح‌ شده‌اند. از طريق آزمايش‌هاي عددي نشان داده‌ شده است كه چهار برآورد كننده‌ي پيشنهادي براي توزيع‌هاي مختلف احتمالي به‌خوبي عمل مي‌كنند. واژه‌هاي كليدي: برآورد آنتروپي، ناپارامتري، رگرسيون ساده‌ي خطي

1397/12/20

Non-parametric entropy estimators based on simple linear regression

3/11/2019 12:00:00 AM

Abstract Estimators for differential entropy are proposed. The estimators are based on the second order expansion of the probability mass around the inspection point with respect to the distance from the point. Simple linear regression is utilized to estimate the values of density function and its second derivative at a point. After estimating the values of the probability density function at each of the given sample points, by taking the empirical average of the negative logarithm of the density estimates, two entropy estimators are derived. Other entropy estimators which directly estimate entropy by linear regression, are also proposed. The proposed four estimators are shown to perform well through numerical experiments for various probability distributions.