Порівняльний аналіз методів прогнозування неперервних числових ознак на великих наборах даних

Анотація

Об'єктом дослідження є процес вибору методу прогнозування неперервних числових ознак на великих наборах даних. Важливість дослідження зумовлена тим, що на сьогодні в різних предметних галузях необхідним є вирішення задачі прогнозування показників діяльності на основі даних, зібраних з різних джерел та представлених у різних форматах, що є задачею аналізу великих даних. Для вирішення поставленої задачі було розглянуто методи статистичного аналізу, а саме множинної лінійної регресії, дерева рішень та випадкового лісу. Побудовано масив великих даних без вказання предметної області, проведено його попередню обробку, аналіз для встановлення кореляції між ознаками. Обробка масиву великих даних здійснювалася з використанням технології паралельних обчислень засобами бібліотеки Dask мови Python. Оскільки робота з великими даними потребує значних обчислювальних ресурсів, такий підхід не потребує застосування потужної комп’ютерної техніки. Побудовано моделі прогнозування за методами множинної лінійної регресії, дерева рішень та випадкового лісу, виконано візуалізацію результатів прогнозування та аналіз достовірності побудованих моделей. За результатами обчислення похибки прогнозування було встановлено, що найбільшу точність прогнозування серед розглянутих методів має метод випадкового лісу. При застосуванні цього методу точність прогнозування для набору даних числових ознак склала приблизно 97 %, що свідчить про високу достовірність побудованої моделі. Таким чином, можна зробити висновок, шо метод випадкового лісу є придатним для вирішення задач прогнозування з використанням великих масивів даних, він може використовуватися для наборів даних з великим числом ознак та не чутливий до масштабування даних. Розроблений програмний додаток мовою Python може бути використаний для прогнозування числових ознак з різних предметних областей, результати прогнозування імпортуються у текстовий файл.