Огляд методів статистичного аналізу багатовимірних даних

Автор(и)

  • Makrufa Sharif Hajirahimova Інститут Інформаційних Технологій НАНА вул. Б. Вахабзаде, 9, м. Баку, Азербайджанська Республіка, AZ1141, Азербайджан
  • Aybeniz Salman Aliyeva Інститут Інформаційних Технологій НАНА вул. Б. Вахабзаде, 9, м. Баку, Азербайджанська Республіка, AZ1141, Азербайджан

DOI:

https://doi.org/10.15587/1729-4061.2015.51603

Ключові слова:

великі дані, статистичний аналіз, методи статистичного аналізу, бутстрап, передискретизації

Анотація

Проблеми статистичних обчислень, пов'язані з обсягом і багатомірністю даних, їх різноманітністю і високою швидкістю, та вимагають нових поглядів на парадигми статистичних і обчислювальних методів. Проаналізовано основні проблеми, пов'язані з використанням традиційних статистичних методів для аналізу багатовимірних даних, і показані області їх застосування. Розглянуто останні методичні досягнення в галузі статистики, що стосуються аналізу великих даних.

Біографії авторів

Makrufa Sharif Hajirahimova, Інститут Інформаційних Технологій НАНА вул. Б. Вахабзаде, 9, м. Баку, Азербайджанська Республіка, AZ1141

Кандидат технічних наук

Aybeniz Salman Aliyeva, Інститут Інформаційних Технологій НАНА вул. Б. Вахабзаде, 9, м. Баку, Азербайджанська Республіка, AZ1141

Науковий співробітник

Посилання

  1. Alguliyev, R. M., Hajirahimova, M. S. (2014). "Big Data" phenomenon: Challenges and Opportunities. Problems of Information Technology, 2, 3–16.
  2. Philip Chen, C. L., Zhang, C.-Y. (2014). Data-intensive applications, challenges, techniques and technologies: A survey on Big Data. Information Sciences, 275, 314–347. doi: 10.1016/j.ins.2014.01.015
  3. Soares, S. (2012). Big Data Governance, An Emerging Imperative. MC Press Online, LLC. 1st edition, 368.
  4. Kambatla, K., Kollias, G., Kumar, V., Grama, A. (2014). Trends in big data analytics. Journal of Parallel and Distributed Computing, 74 (7), 2561–2573. doi: 10.1016/j.jpdc.2014.01.003
  5. Fan, J., Han, F., Liu, H. (2014). Challenges of Big Data analysis. National Science Review, 1 (2), 293–314. doi: 10.1093/nsr/nwt032
  6. Jordan J. M., Lin D. J. (2014). Statistics for big data: Are statisticians ready for big data? International Chinese Statistical Association Bulletin, 26, 59–66.
  7. Yu, B. (2014). Let us own data science. IMS Bulletin Online, 43 (7).
  8. Chun,W. C., Chen, M. H., Schifano, E., Wu, J., Yan, J. (2015). A Survey of Statistical Methods and Computing for Big Data. Available at: http://de.arxiv.org/abs/1502.07989v1
  9. Lin, N., Xi, R. (2011). Aggregated estimating equation estimation. Statistics and Its Interface, 4 (1), 73–83. doi: 10.4310/sii.2011.v4.n1.a8
  10. Chen, M. H., Craiu, R., Liang, F., Liu, C. Statistical and Computational Theory and Methodology for Big Data Analysis. Available at: https://www.birs.ca/workshops/2014/14w5086
  11. Liang, F., Cheng, Y., Song, Q., Park, J., Yang, P. (2013). A Resampling-Based Stochastic Approximation Method for Analysis of Large Geostatistical Data. Journal of the American Statistical Association, 108 (501), 325–339. doi: 10.1080/01621459.2012.746061
  12. Liang, F., Kim, J. (2013). A bootstrap Metropolis–Hastings algorithm for Bayesian analysis of big data. Tech. rep., Department of Statistics, Texas A & M University.
  13. Liang, F., Liu, C., Carroll, R. J. (2010). Advanced Markov chain Monte Carlo methods: learning from past samples. Wiley, New York, 378.
  14. Hastie, T., Tibshirani, R., Friedman, J. (2009). The Elements of Statistical, Learning: Data Mining Inference and Prediction. Second edition. Springer. doi: 10.1007/978-0-387-84858-7
  15. Bennett, J., Grout, R., Pebay, P., Roe, D., Thompson, D. (2009). Numerically stable, single-pass, parallel statistics algorithms. Proceedings of the IEEE International Conference on Cluster Computing and Workshops, 1–8. doi: 10.1109/clustr.2009.5289161
  16. Sysoev, O., Burdakov, O., Grimvall, A. (2011). A segmentation-based algorithm for large-scale partially ordered monotonic regression. Computational Statistics & Data Analysis, 55 (8), 2463–2476. doi: 10.1016/j.csda.2011.03.001
  17. Pébay, P., Thompson, D., Bennett, J., Mascarenhas, A. (2011). Design and performance of a scalable, parallel statistics toolkit /Proceedings of the International Symposium on Parallel and Distributed Processing Workshops and Phd Forum, 1475–1484. doi: 10.1109/ipdps.2011.293
  18. Lizhe, W., Hui, Z., Ranjan, R., Zomaya, A., Peng Liu. (2014). Estimating the Statistical Characteristics of Remote Sensing Big Data in the Wavelet Transform Domain. IEEE Transactions on Emerging Topics in Computing, 2 (3), 324–337. doi: 10.1109/tetc.2014.2356499
  19. Jin, X., Wah, B. W., Cheng, X., Wang, Y. (2015). Significance and Challenges of Big Data Research. Big Data Research, 2 (2), 59–64. doi: 10.1016/j.bdr.2015.01.006
  20. ITU-T Technology Watch. Big data: Big today, normal tomorrow, 2013. Available at: http://unstats.un.org/unsd/trade/events/2014/beijing/documents/other/ITU.pdf
  21. Big Data, Big Impact: New Possibilities for International Development. Available at: http://www.weforum.org/reports/big-data-big-impact-new-possibilities-international-development
  22. 8 top challenges big data brings to statisticians. Available at: http://www.fiercebigdata.com/story/8-top-challenges-big-data-brings-statisticians/2014-07-14
  23. 2013 International Year of Statistics. Available at: http://www.isi-web.org/recent-pages/490-2013-international-year-of-statistics
  24. Kleiner, A., Talwalkar, A., Sarkar, P., Jordan, M. I. (2014). A scalable bootstrap for massive data. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 76 (4), 795–816. doi: 10.1111/rssb.12050
  25. Basiri, S., Ollila, E. (2015). Robust, scalable and fast bootstrap method for analyzing large scale data. Available at: http://arxiv.org/pdf/1504.02382‎
  26. Ma, P., Sun, X. (2014). Leveraging for big data regression. WIREs Comput Stat, 7 (1), 70–76. doi: 10.1002/wics.1324
  27. Schifano, E. D., Wu, J., Wang, C., Yan, J., Chen, M.-H. (2014). Online updating of statistical inference in the big data setting. Tech. Rep. University of Connecticut, Storrs, Connecticut.
  28. Di Ciaccio, A., Coli, M., Angulo Ibanez, J. M. (Eds.) (2012). Advanced Statistical Methods for the Analysis of Large Data-Sets. Springer. doi: 10.1007/978-3-642-21037-2
  29. Computational statistics. Available at: https://en.wikipedia.org/wiki/Computational_statistics
  30. Wilkinson, L. (2008). The Future of Statistical Computing. Technometrics, 50 (4), 418–435. doi: 10.1198/004017008000000460
  31. James, G., Witten, D., Hastie, T., Tibshirani, R. An Introduction to Statistical Learning with Applications in R. Available at: http://www-bcf.usc.edu/
  32. Schbidberger, M., Morgan, M., Eddelbuettel, D. et. al. (2009). State of the art in parallel computing with R. Journal of Statistical Software, 31 (1), 1–27.

##submission.downloads##

Опубліковано

2015-10-20

Як цитувати

Hajirahimova, M. S., & Aliyeva, A. S. (2015). Огляд методів статистичного аналізу багатовимірних даних. Eastern-European Journal of Enterprise Technologies, 5(3(77), 23–30. https://doi.org/10.15587/1729-4061.2015.51603

Номер

Том 5 № 3(77) (2015): Процеси управління

Розділ

Процеси управління

Ліцензія

Авторське право (c) 2015 Makrufa Sharif Hajirahimova, Aybeniz Salman Aliyeva

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.

Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.