Keywords
big data
data description language for hydrometeorological data
data processing technologies
data conversion technologies
How to Cite
Abstract
we considered the records of the National Hydrometeorological Archive (NHMA) as Big Data and presented the technologies and tools for processing the NHMA data. The NHMA stores information on hydrometeorology and related areas (meteorology, aerology, hydrology, oceanology, etc.) both on paper and digitally. Digital primary data are of particular interest to data analysts. The data are divided into layers. This paper presents the rationale for considering the USDF records as big data and describes their features.
We used the publicly available climate research records stored and replenished by the All-Russia Research Institute of Hydrometeorological Information, World Data Center as an example of big data. The paper also lists the technologies and tools to be applied for more efficient handling of the NHMA data.
References
РД 52.19.143 –2019 Перечень документов архивного фонда данных о состоянии окружающей среды, ее загрязнении. Режим доступа: http://meteo.ru/egfd/145-metodical.
Постановление Правительства РФ от 21.12.1999 № 1410 «О создании и ведении Единого государственного фонда данных о состоянии окружающей природной среды, ее загрязнении». Режим доступа: https://www.meteorf.gov.ru/services/gosuslugi/29/doclist29/142/11985/.
Ведение ЕГФД, архивация данных, обслуживание данными и информацией ЕГФД. Сведения о составе Госфонда Росгидромета. Режим доступа: http://meteo.ru/egfd/142-about-egfd.
Кофтан Ю. Р., Перетятько Л. О. К построению технологии взаимной конвертации баз данных различной структуры для пополнения и верификации данных ЕГФД, а также для обслуживания потребителей. Труды ВНИИГМИ-МЦД. 2018;181:162–174.
Manyika J. et al. Big Data: The Next Frontier for Innovation, Competition, and Productivity. McKinsey Global Institute; 2011.
Alba Diaz. The Four V’s of Big Data. Режим доступа: https://opensistemas.com/en/the-four-vs-of-big-data.
Niel Biehn. The Missing V’s in Big Data: Viability and Value. Режим доступа: https://www.wired.com/insights/2013/05/the-missing-vs-in-big-data-viability-and-value/.
Eileen McNulty. Understanding Big Data: the Seven V’s. Режим доступа: https://dataconomy.com/2014/05/seven-vs-big-data.
Булыгина О. Н., Коршунова Н. Н., Разуваев В. Н. Специализированные массивы данных для климатических исследований. Труды ВНИИГМИ-МЦД. 2014;177:136–148.
Специализированные массивы. Режим доступа: http://meteo.ru/data.
Перетятько Л. О., Кофтан Ю. Р. Система взаимной конвертации данных различной структуры для обслуживания потребителей ЕГФД. Труды ВНИИГМИ-МЦД. 2020;186:163–175.