Оцінювання параметрів лінійної регресії з експоненційним степеневим розподілом помилок методом максимізації поліномів

Автор(и)

DOI:

https://doi.org/10.15587/1729-4061.2021.225525

Ключові слова:

регресія, експоненціальний степеневий розподіл, оцінка параметрів, моменти, метод максимізації поліномів

Анотація

Розглядається застосування методу максимізації поліномів для знаходження оцінок параметрів багатофакторної лінійної регресії за умови, що випадкові помилки регресійній моделі мають експоненціальне степеневий розподіл. Метод, що використовується, концептуально близький до методу максимальної правдоподібності оскільки заснований на максимізації вибіркової статистики в околі істинних значень оцінюваних параметрів. Однак на відміну від класичного параметричного підходу він використовує частковий ймовірнісний опис у вигляді обмеженої кількості статистик вищих порядків.

Синтезований адаптивний алгоритм статистичного оцінювання, що враховує властивості регресійних залишків і дозволяє знаходити уточнені значення оцінок параметрів лінійної багатофакторної регресії з використанням чисельної ітераційної процедури Ньютона-Рафсона. На основі апарату кількості добутої інформації отримано аналітичні вирази, що дозволяють аналізувати теоретичну точність (асимптотичні дисперсії) оцінок методу максимізації поліномів в залежності від величини параметрів експоненціального степеневого розподілу.

Шляхом статистичного моделювання проведено порівняльний аналіз дисперсії оцінок, які отримуються за допомогою методу максимізації поліномів з точністю класичних методів: найменших квадратів і максимальної правдоподібності. Побудовано області найбільшої ефективності для кожного з досліджуваних методів в залежності від величини параметра форми експоненціального степеневого розподілу і обсягу вибірки. Показано, що оцінки методу максимізації поліномів можуть мати значно меншу дисперсію порівняно з оцінками методу найменших квадратів. А в ряді випадків (для плосковершинних розподілів та при відсутності апріорної інформації) за точністю перевищувати оцінки методу максимальної правдоподібності.

Біографії авторів

Сергій Васильович Заболотній, Черкаський державний бізнес-коледж

Доктор технічних наук, доцент

Кафедра комп'ютерної інженерії та інформаційних технологій

Владислав Ігорович Хотунов, Черкаський державний бізнес-коледж

Кандидат педагогічних наук

Кафедра комп'ютерної інженерії та інформаційних технологій

Анатолій Володимирович Чепинога, Черкаський державний бізнес-коледж

Кандидат технічних наук, доцент

Кафедра комп'ютерної інженерії та інформаційних технологій

Олександр Миколайович Ткаченко, Черкаський державний бізнес-коледж

Аспірант

Кафедра комп'ютерної інженерії та інформаційних технологій

Посилання

  1. Subbotin, M. T. (1923). On the law of frequency of error. Mat. Sb., 31 (2), 296–301.
  2. Varanasi, M. K., Aazhang, B. (1989). Parametric generalized Gaussian density estimation. The Journal of the Acoustical Society of America, 86 (4), 1404–1415. doi: https://doi.org/10.1121/1.398700
  3. Nadarajah, S. (2005). A generalized normal distribution. Journal of Applied Statistics, 32 (7), 685–694. doi: https://doi.org/10.1080/02664760500079464
  4. Giller, G. L. (2005). A Generalized Error Distribution. SSRN Electronic Journal. doi: https://doi.org/10.2139/ssrn.2265027
  5. Krasilnikov, A. I. (2019). Family of Subbotin Distributions and its Classification. Electronic modeling, 41 (3), 15–32. doi: https://doi.org/10.15407/emodel.41.03.015
  6. Hassan, M. Y., Hijazi, R. H. (2010). A bimodal exponential power distribution. Pakistan Journal of Statistics, 26 (2), 379–396.
  7. Komunjer, I. (2007). Asymmetric power distribution: Theory and applications to risk measurement. Journal of Applied Econometrics, 22 (5), 891–921. doi: https://doi.org/10.1002/jae.961
  8. Zhu, D., Zinde-Walsh, V. (2009). Properties and estimation of asymmetric exponential power distribution. Journal of Econometrics, 148 (1), 86–99. doi: https://doi.org/10.1016/j.jeconom.2008.09.038
  9. Crowder, G. E., Moore, A. H. (1983). Adaptive Robust Estimation Based on a Family of Generalized Exponential Power Distributions. IEEE Transactions on Reliability, R-32 (5), 488–495. doi: https://doi.org/10.1109/tr.1983.5221739
  10. Mineo, A. M. (2003). On the estimation of the structure parameter of a normal distribution of order p. Statistica, 63(1), 109–122. doi: https://doi.org/10.6092/issn.1973-2201/342
  11. Olosunde, A. A., Soyinka, A. T. (2019). Interval Estimation for Symmetric and Asymmetric Exponential Power Distribution Parameters. Journal of the Iranian Statistical Society, 18 (1), 237–252. doi: https://doi.org/10.29252/jirss.18.1.237
  12. Pogány, T. K., Nadarajah, S. (2010). On the characteristic function of the generalized normal distribution. Comptes Rendus Mathematique, 348 (3-4), 203–206. doi: https://doi.org/10.1016/j.crma.2009.12.010
  13. Novitskiy, P. V., Zograf, I. A. (1991). Otsenka pogreshnostey rezul'tatov izmereniy. Leningrad: Izdatel'stvo Energoatomizdat, 304.
  14. Lindsey, J. K. (1999). Multivariate Elliptically Contoured Distributions for Repeated Measurements. Biometrics, 55 (4), 1277–1280. doi: https://doi.org/10.1111/j.0006-341x.1999.01277.x
  15. Sheluhin, O. I. (1999). Negaussovskie protsessy v radiotehnike. Moscow: Radio i svyaz', 310.
  16. Sharifi, K., Leon-Garcia, A. (1995). Estimation of shape parameter for generalized Gaussian distributions in subband decompositions of video. IEEE Transactions on Circuits and Systems for Video Technology, 5 (1), 52–56. doi: https://doi.org/10.1109/76.350779
  17. Dominguez-Molina, J. A., Gonzalez-Farias, G., Rodriguez-Dagnino, R. M. (2001). A practical procedure to estimate the shape parameter in the generalized Gaussian distribution. Available at: http://www.cimat.mx/reportes/enlinea/I-01-18_eng.pdf
  18. Saatci, E., Akan, A. (2010). Respiratory parameter estimation in non-invasive ventilation based on generalized Gaussian noise models. Signal Processing, 90 (2), 480–489. doi: https://doi.org/10.1016/j.sigpro.2009.07.015
  19. Olosunde, A. A. (2013). On exponential power distribution and poultry feeds data: a case study. Journal of The Iranian Statistical Society, 12 (2), 253–269.
  20. Giacalone, M. (2020). A combined method based on kurtosis indexes for estimating p in non-linear Lp-norm regression. Sustainable Futures, 2, 100008. doi: https://doi.org/10.1016/j.sftr.2020.100008
  21. Chan, J. S. K., Choy, S. T. B., Walker, S. G. (2021). On The Estimation Of The Shape Parameter Of A Symmetric Distribution. Journal of Data Science, 18 (1), 78–100. doi: https://doi.org/10.6339/jds.202001_18(1).0004
  22. Olosunde, A. A., Adegoke, A. M. (2016). Goodness-of-fit-test for Exponential Power Distribution. American Journal of Applied Mathematics and Statistics, 4 (1), 1–8.
  23. Giacalone, M., Panarello, D. (2020). Statistical hypothesis testing within the Generalized Error Distribution: Comparing the behavior of some nonparametric techniques. Book of Short Papers SIS 2020, 1338–1343.
  24. Johnson, M. E. (1979). Computer Generation of the Exponential Power Distributions. Journal of Statistical Computation and Simulation, 9, 239–240.
  25. Nardon, M., Pianca, P. (2009). Simulation techniques for generalized Gaussian densities. Journal of Statistical Computation and Simulation, 79 (11), 1317–1329. doi: https://doi.org/10.1080/00949650802290912
  26. Kalke, S., Richter, W.-D. (2013). Simulation of the p-generalized Gaussian distribution. Journal of Statistical Computation and Simulation, 83 (4), 641–667. doi: https://doi.org/10.1080/00949655.2011.631187
  27. Mineo, A. M., Ruggieri, M. (2005). A Software Tool for the Exponential Power Distribution: The normalp Package. Journal of Statistical Software, 12 (4). doi: https://doi.org/10.18637/jss.v012.i04
  28. Rao, C. R. (1945). Information and the accuracy attainable in the estimation of statistical parameters. Bulletin of Calcutta Mathematical Society, 37, 81–89.
  29. Koenker, R., Bassett, G. (1978). Regression Quantiles. Econometrica, 46 (1), 33–50. doi: https://doi.org/10.2307/1913643
  30. Barrodale, I., Roberts, F. D. K. (1973). An Improved Algorithm for Discrete $l_1 $ Linear Approximation. SIAM Journal on Numerical Analysis, 10 (5), 839–848. doi: https://doi.org/10.1137/0710069
  31. Zeckhauser, R., Thompson, M. (1970). Linear Regression with Non-Normal Error Terms. The Review of Economics and Statistics, 52 (3), 280–286. doi: https://doi.org/10.2307/1926296
  32. Mineo, A. (1989). The Norm-P Estimation of Location, Scale and Simple Linear Regression Parameters. Lecture Notes in Statistics, 222–233. doi: https://doi.org/10.1007/978-1-4612-3680-1_26
  33. Agrò, G. (1992). Maximum likelihood and Lp-norm estimators. Statistica Applicata, 4 (2), 171–182.
  34. Tarassenko, P. F., Tarima, S. S., Zhuravlev, A. V., Singh, S. (2014). On sign-based regression quantiles. Journal of Statistical Computation and Simulation, 85 (7), 1420–1441. doi: https://doi.org/10.1080/00949655.2013.875176
  35. Yang, T., Gallagher, C. M., McMahan, C. S. (2018). A robust regression methodology via M-estimation. Communications in Statistics - Theory and Methods, 48 (5), 1092–1107. doi: https://doi.org/10.1080/03610926.2018.1423698
  36. Galea, M., Paula, G. A., Bolfarine, H. (1997). Local influence in elliptical linear regression models. Journal of the Royal Statistical Society: Series D (The Statistician), 46 (1), 71–79. doi: https://doi.org/10.1111/1467-9884.00060
  37. Liu, S. (2002). Local influence in multivariate elliptical linear regression models. Linear Algebra and Its Applications, 354 (1-3), 159–174. doi: https://doi.org/10.1016/s0024-3795(01)00585-7
  38. Ganguly, S. S. (2014). Robust Regression Analysis for Non-Normal Situations under Symmetric Distributions Arising In Medical Research. Journal of Modern Applied Statistical Methods, 13 (1), 446–462. doi: https://doi.org/10.22237/jmasm/1398918480
  39. Bartolucci, F., Scaccia, L. (2005). The use of mixtures for dealing with non-normal regression errors. Computational Statistics & Data Analysis, 48 (4), 821–834. doi: https://doi.org/10.1016/j.csda.2004.04.005
  40. Seo, B., Noh, J., Lee, T., Yoon, Y. J. (2017). Adaptive robust regression with continuous Gaussian scale mixture errors. Journal of the Korean Statistical Society, 46 (1), 113–125. doi: https://doi.org/10.1016/j.jkss.2016.08.002
  41. Tiku, M. L., Islam, M. Q., Selçuk, A. S. (2001). Nonnormal Regression. II. Symmetric Distributions. Communications in Statistics - Theory and Methods, 30 (6), 1021–1045. doi: https://doi.org/10.1081/sta-100104348
  42. Andargie, A. A., Rao, K. S. (2013). Estimation of a linear model with two-parameter symmetric platykurtic distributed errors. Journal of Uncertainty Analysis and Applications, 1 (1). doi: https://doi.org/10.1186/2195-5468-1-13
  43. Stone, C. J. (1975). Adaptive Maximum Likelihood Estimators of a Location Parameter. The Annals of Statistics, 3 (2), 267–284. doi: ttps://doi.org/10.1214/aos/1176343056
  44. Montfort, K., Mooijaart, A., Leeuw, J. (1987). Regression with errors in variables: estimators based on third order moments. Statistica Neerlandica, 41 (4), 223–238. doi: https://doi.org/10.1111/j.1467-9574.1987.tb01215.x
  45. Dagenais, M. G., Dagenais, D. L. (1997). Higher moment estimators for linear regression models with errors in the variables. Journal of Econometrics, 76 (1-2), 193–221. doi: https://doi.org/10.1016/0304-4076(95)01789-5
  46. Cragg, J. G. (1997). Using Higher Moments to Estimate the Simple Errors-in-Variables Model. The RAND Journal of Economics, 28, S71. doi: https://doi.org/10.2307/3087456
  47. Gillard, J. (2014). Method of Moments Estimation in Linear Regression with Errors in both Variables. Communications in Statistics - Theory and Methods, 43 (15), 3208–3222. doi: https://doi.org/10.1080/03610926.2012.698785
  48. Wang, L., Leblanc, A. (2007). Second-order nonlinear least squares estimation. Annals of the Institute of Statistical Mathematics, 60 (4), 883–900. doi: https://doi.org/10.1007/s10463-007-0139-z
  49. Chen, X., Tsao, M., Zhou, J. (2010). Robust second-order least-squares estimator for regression models. Statistical Papers, 53 (2), 371–386. doi: https://doi.org/10.1007/s00362-010-0343-4
  50. Kim, M., Ma, Y. (2011). The efficiency of the second-order nonlinear least squares estimator and its extension. Annals of the Institute of Statistical Mathematics, 64 (4), 751–764. doi: https://doi.org/10.1007/s10463-011-0332-y
  51. Huda, S., Mukerjee, R. (2016). Optimal designs with string property under asymmetric errors and SLS estimation. Statistical Papers, 59 (3), 1255–1268. doi: https://doi.org/10.1007/s00362-016-0819-y
  52. Kunchenko, Yu. P., Lega, Yu. G. (1991). Otsenka parametrov sluchaynyh velichin metodom maksimizatsii polinoma. Kyiv: Naukova dumka, 180.
  53. Zabolotnii, S., Warsza, Z. L., Tkachenko, O. (2018). Polynomial Estimation of Linear Regression Parameters for the Asymmetric PDF of Errors. Advances in Intelligent Systems and Computing, 758–772. doi: https://doi.org/10.1007/978-3-319-77179-3_75
  54. Zabolotnii, S. W., Warsza, Z. L., Tkachenko, O. (2019). Estimation of Linear Regression Parameters of Symmetric Non-Gaussian Errors by Polynomial Maximization Method. Advances in Intelligent Systems and Computing, 636–649. doi: https://doi.org/10.1007/978-3-030-13273-6_59
  55. Warsza, Z. (2017). Ocena niepewności pomiarów o rozkładzie trapezowym metodą maksymalizacji wielomianu. Przemysł Chemiczny, 1 (12), 68–71. doi: https://doi.org/10.15199/62.2017.12.6
  56. Warsza, Z. L., Zabolotnii, S. W. (2017). A Polynomial Estimation of Measurand Parameters for Samples of Non-Gaussian Symmetrically Distributed Data. Advances in Intelligent Systems and Computing, 468–480. doi: https://doi.org/10.1007/978-3-319-54042-9_45
  57. Zabolotnii, S. V., Kucheruk, V. Yu., Warsza, Z. L., Khassenov, А. K. (2018). Polynomial Estimates of Measurand Parameters for Data from Bimodal Mixtures of Exponential Distributions. Vestnik Karagandinskogo universiteta, 2 (90), 71–80.
  58. Warsza, Z. L., Zabolotnii, S. (2018). Estimation of Measurand Parameters for Data from Asymmetric Distributions by Polynomial Maximization Method. Advances in Intelligent Systems and Computing, 746–757. doi: https://doi.org/10.1007/978-3-319-77179-3_74
  59. Zabolotnii, S. W., Warsza, Z. L. (2016). Semi-parametric Estimation of the Change-Point of Parameters of Non-gaussian Sequences by Polynomial Maximization Method. Advances in Intelligent Systems and Computing, 903–919. doi: https://doi.org/10.1007/978-3-319-29357-8_80
  60. Zabolotnii, S. V., Chepynoha, A. V., Bondarenko, Y. Y., Rud, M. P. (2018). Polynomial parameter estimation of exponential power distribution data. Visnyk NTUU KPI Seriia - Radiotekhnika Radioaparatobuduvannia, 75, 40–47, 75, 40–47. doi: https://doi.org/10.20535/radap.2018.75.40-47
  61. Zabolotnii, S. V., Chepynoha, A. V., Chorniy, A. M., Honcharov, A. V. (2020). Сomparative Analysis of Polynomial Maximization and Maximum Likelihood Estimates for Data with Exponential Power Distribution. Visnyk NTUU KPI Seriia - Radiotekhnika Radioaparatobuduvannia, 82, 44–51. doi: https://doi.org/10.20535/radap.2020.82.44-51
  62. Liu, M., Bozdogan, H. (2008). Multivariate regression models with power exponential random errors and subset selection using genetic algorithms with information complexity. European Journal of Pure and Applied Mathematics, 1 (1), 4–37. Available at: https://www.researchgate.net/publication/264947828_Multivariate_regression_models_with_power_exponential_random_errors_and_subset_selection_using_genetic_algorithms_with_information_complexity
  63. Atsedeweyn, A. A., Srinivasa Rao, K. (2013). Linear regression model with new symmetric distributed errors. Journal of Applied Statistics, 41 (2), 364–381. doi: https://doi.org/10.1080/02664763.2013.839638
  64. Ferreira, M. A., Salazar, E. (2014). Bayesian reference analysis for exponential power regression models. Journal of Statistical Distributions and Applications, 1 (1), 12. doi: https://doi.org/10.1186/2195-5832-1-12
  65. Levine, D. M., Krehbiel, T. C., Berenson, M. L. (2000). Business Statistics: A First Course. Prentice-Hall.

##submission.downloads##

Опубліковано

2021-02-26

Як цитувати

Заболотній, С. В., Хотунов, В. І., Чепинога, А. В., & Ткаченко, О. М. (2021). Оцінювання параметрів лінійної регресії з експоненційним степеневим розподілом помилок методом максимізації поліномів. Eastern-European Journal of Enterprise Technologies, 1(4 (109), 64–73. https://doi.org/10.15587/1729-4061.2021.225525

Номер

Том 1 № 4 (109) (2021): Математика та кібернетика - прикладні аспекти

Розділ

Математика та кібернетика - прикладні аспекти

Ліцензія

Авторське право (c) 2021 Сергей Васильевич Заболотный, Владислав Игоревич Хотунов, Анатолий Владимирович Чепинога, Александр Николаевич Ткаченко

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.

Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.