DOI: https://doi.org/10.15587/1729-4061.2015.36646

Development of multibase data storages on the basis of data and queries structuredness

Андрій Юрійович Яцишин

Abstract


The study focuses on building multibase data storages that consider a correlation between the data properties and performed queries. This type of data storaging has been neither viewed as an approach nor researched before. Lack of attention especially concerns presentation of data by various models for optimizing query response.We suggest a method of designing multibase data storages on the basis of data structuredness, which allows posting the reference data in storage media the data models of which facilitate performing queries on them. The efficiency of the designed data storage is optimized on the basis of the statistics on queries processing and consists in storing data as well as saving the data in storage media with the help of indexing, materialized submission, fragmentation, and merger. We have studied both the impact of design phases and optimization on storage performance and the parameters of the modified genetic algorithm, including the threshold of gene adaptation.

The research has proved that application of the suggested approach increases the integral index of query processing by 10 %. The storage building time can be reduced to 50 %, which significantly impacts data storage building of a huge amount of data. An important advantage of the approach is flexibility: any storage media and optimization mechanisms can be used while applying the suggested models.


Keywords


multibase data storages; building; data structuredness; queries; genetic algorithms; gene-based adaptation of search

References


Inmon, W. H. Corporate Information Factory Components.Inmon Data Systems. available at: http://www.inmoncif.com/view/26

Kimball, R. (2002). The data warehouse toolkit: the complete guide to dimensional modeling. Wiley, 436.

Hackney, D. Architectures and Approaches for Successful Data Warehouses. Available at: http://www.egltd.com/presents/ArchitecturesApproaches.pdf

Tomashevskyi, V. M., Yatsyshyn, A. Yu. (2011). Osoblyvosti proektuvannia hibrydnykh skhovyshch danykh z vrakhuvanniam dzherel danykh . Informatsiini systemy ta merezhi: zbirnyk naukovykh prats. Vistnik Natsionalnogo universytetu "Lvivska politekhnika", 715, 246–254.

Thusoo, A., Sarma, J. S., Jain, N., Shao, Z., Chakka, P., Zhang, N. et. al. (2010). Hive – a petabyte scale data warehouse using Hadoop. Data Engineering (ICDE), 2010 IEEE 26th International Conference, 996–1005. doi: 10.1109/icde.2010.5447738

Shakhovska, N. B. (2012). Organizatsiya prostoriv danih u skladnyh informatsiinyh sistemah. Natsionalnyi universytet "Lvivska polItehnika", 39.

Zhou, L., He, X., Li, K. (2012),. An Improved Approach for Materialized View Selection Based on Genetic Algorithm. Journal of Computers, 7 (7), 1591–1598. doi: 10.4304/jcp.7.7.1591-1598

Mami, I., Bellahsene, Z. (2012). A survey of view selection methods. ACM SIGMOD Record, 41 (1), 20–29. doi: 10.1145/2206869.2206874

Dimovski, A., Velinov, G., Sahpaski, D. (2010). Advances in Databases and Information Systems. Lecture Notes in Computer Science, 6295, 164–175. doi: 10.1007/978-3-642-15576-5_14

Elmansouri, R., Ziyati, E., Elbeqqali, O., Aboutajdine, D. (2013). The fragmentation of data warehouses. An approach based on principal components analysis. 2012 International Conference on Multimedia Computing and Systems (ICMCS), 18–23. doi: 10.1109/icmcs.2012.6320319

Jarke, M., Jeusfeld, M. A., Quix, C., Vassiliadis, P. (2013). Architecture and Quality in Data Warehouses. Seminal Contributions to Information Systems Engineering, 161–181. doi: 10.1007/978-3-642-36926-1_13

Siebert, J. C., Munsil, W., Rosenberg-Hasson, Y., Davis, M. M., Holden, T., Maecker, J. (2013). The Stanford Data Miner: a novel approach for integrating and exploring heterogeneous immunological data. Journal of Translational Medicine, 10 (1), 62. doi: 10.1186/1479-5876-10-62

Yatsyshyn, A. Yu. (2012). Proektuvannia multybazovykh skhovyshch danykh na osnovi dvokhfaznoho alhorytmu Visnyk NTUU «KPI». Informatyka, upravlinnia ta obchysliuvalna tekhnika : zbirnyk naukovykh prats, 55, 125–134.

Yatsyshyn, A. Yu. (2012). Proektuvannia hibrydnykh skhovyshch danykh z vrakhuvanniam strukturovanosti danykh.Upravlinnia rozvytkom skladnykh system, 9, 59–65.

Azarov, M. Ya. (Ed.) (2011). Rol virtualnoho universytetu u zabezpechenni prozorosti biudzhetnoho protsesu v monohrafii Derzhavnyi biudzhet i biudzhetna stratehiia v umovakh ekonomichnykh reform: u 4 t. Vol. 2. DNNU «Akad. fin. upravlinnia», 878–902.

Azarov, M. Ya. (2011). Sotsialna tekhnolohiia «Prozoryi biudzhet» yak innovatsiia v monohrafii Derzhavnyi biudzhet i biudzhetna stratehiia v umovakh ekonomichnykh reform: u 4 t. Vol. 4. DNNU «Akad. fin. upravlinnia»; 327–381.


GOST Style Citations


Inmon,W. H. Corporate Information Factory Components [Electronic resource] / W. H. Inmon.– Inmon Data Systems. – Available at: http://www.inmoncif.com/view/26

Kimball,R.The data warehouse toolkit: the complete guide to dimensional modeling [Text] / R. Kimball.– New York, Wiley, 2002. – 436 p.

Hackney,D.Architectures and Approaches for Successful Data Warehouses[Electronic resource] / D. Hackney.– Available at: http://www.egltd.com/presents/ArchitecturesApproaches.pdf

Томашевський, В. М. Особливості проектування гібридних сховищ даних з врахуванням джерел даних [Текст] / В. М. Томашевський, А. Ю. Яцишин // Вісник Національного університету «Львівська політехніка». Інформаційні системи та мережі: збірник наукових праць. – 2011. – № 715. – С. 246–254.

Thusoo, A. Hive – a petabyte scale data warehouse using Hadoop [Текст] / A. Thusoo, J. S. Sarma, N. Jain, Z. Shao, P. Chakka, N. Zhang et. al. // Data Engineering (ICDE), 2010 IEEE 26th International Conference, 2010. – P. 996–1005. doi: 10.1109/icde.2010.5447738 

Шаховська, Н. Б. Організація просторів даних у складних інформаційних системах [Текст] : автор. ... дис. ... д-р техн. наук : 05.13.06 / Н. Б. Шаховська. – Національний університет "Львівська політехніка", 2012. – 39 с.

Zhou,L.An Improved Approach for Materialized View Selection Based on Genetic Algorithm [Text]/ L. Zhou, X. He, K. Li // Journal of Computers. – 2012. – Vol 7, Issue 7. –P. 1591–1598.doi: 10.4304/jcp.7.7.1591-1598 

Mami,I.A survey of view selection methods [Text] / I. Mami, Z. Bellahsene //ACM SIGMOD Record. – 2012. – Vol. 41, Issue 1. – P. 20–29.doi: 10.1145/2206869.2206874 

Dimovski,A.Horizontal partitioning by predicate abstraction and its application to data warehouse design [Text] / A. Dimovski, G. Velinov, D. Sahpaski// Advances in Databases and Information Systems. Lecture Notes in Computer Science. – 2010. – Vol. 6295. – P 164–175.doi: 10.1007/978-3-642-15576-5_14 

Elmansouri, R. The fragmentation of data warehouses: An approach based on principal components analysis [Text] /R.Elmansouri,E. Ziyati, O.Elbeqqali, D. Aboutajdine // International Conference on Multimedia Computing and Systems (ICMCS), 2012. – P. 18–23.doi: 10.1109/icmcs.2012.6320319 

Jarke,M.Architecture and Quality in Data Warehouses [Text] / M. Jarke, M. A. Jeusfeld, C. Quix, P. Vassiliadis //Seminal Contributions to Information Systems Engineering, 2013. – P.161–181. doi: 10.1007/978-3-642-36926-1_13 

Siebert,J. C.The Stanford Data Miner: a novel approach for integrating and exploring heterogeneous immunological data [Text] /J. C. Siebert,W. Munsil,Y. Rosenberg-Hasson,M. M. Davis, H. T. Maecker // Journal of Translational Medicine. – 2012. – Vol. 10, Issue 1. – P. 62. doi: 10.1186/1479-5876-10-62 

Яцишин, А. Ю. Проектування мультибазових сховищ даних на основі двохфазного алгоритму [Текст]/ А. Ю. Яцишин // Вісник НТУУ «КПІ». Інформатика, управління та обчислювальна техніка : збірник наукових праць. – 2012. – № 55. – С. 125–134.

Яцишин, А. Ю. Проектування гібридних сховищ даних з врахуванням структурованості даних [Текст] / А. Ю. Яцишин // Управління розвитком складних систем. – 2012. – Вип. 9. – С. 59–65.

Роль віртуального університету у забезпеченні прозорості бюджетного процесу в монографії Державний бюджет і бюджетна стратегія в умовах економічних реформ: у 4 т. Т. 2 [Текст] / за заг. ред. М.Я. Азарова. – ДННУ «Акад. фін. управління». К, 2011. – С. 878–902.

Соціальна технологія «Прозорий бюджет» як інновація в монографії Державний бюджет і бюджетна стратегія в умовах економічних реформ: у 4 т. Т. 4 [Текст] / за заг. ред. М.Я. Азарова. – ДННУ «Акад. фін. управління». К,2011. – С. 327–381.







Copyright (c) 2015 Андрій Юрійович Яцишин

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

ISSN (print) 1729-3774, ISSN (on-line) 1729-4061