Лекция: «БОЛЬШИЕ ДАННЫЕ И ИХ РАЗВИТИЕ В УСЛОВИЯХ ЦИФРОВОЙ ЭКОНОМИКИ» кафедра информатики, Санкт-Петербургский государственный экономический университет (СПБГЭУ) ПОЯВЛЕНИЕ БОЛЬШИХ ДАННЫХ Причина 1 – информационный взрыв, как социальноэкономический феномен развития общества «Информационный взрыв – лавинообразное нарастание разнообразной информации в современном обществе» массы Аркадий Дмитриевич Урсул, ученый, специалист в сфере кибернетики ПОЯВЛЕНИЕ БОЛЬШИХ ДАННЫХ Причина 1 – информационный взрыв, как социальноэкономический феномен развития общества I, байт За всю историю человечества до 2001 года человечество накопило примерно 12х1018 байт = 12 Экзабайт 10000 до н.э. 0 2001 2013 2020 2027 ПОЯВЛЕНИЕ БОЛЬШИХ ДАННЫХ Причина 1 – информационный взрыв, как социальноэкономический феномен развития общества I, байт 440х1021 байт = 440 Зеттабайт За всю историю человечества до 2001 года человечество накопило примерно 12х1018 байт = 12 Экзабайт 10000 до н.э. 0 2001 44х1021 байт = 50 Зеттабайт 4,4х1021 байт = 4,4 Зеттабайт 2013 2020 2027 ПОЯВЛЕНИЕ БОЛЬШИХ ДАННЫХ Причина 1 – информационный взрыв, как социальноэкономический феномен развития общества Особенностью роста данных в XXI веке становится резко возрастающая доля автоматически генерируемых цифровых данных от общего объема мировых данных: с 11% в 2005 г. до более 40% в 2021 г. ПОЯВЛЕНИЕ БОЛЬШИХ ДАННЫХ Причина 1 – информационный взрыв, как социальноэкономический феномен развития общества Причина 2 – значительное увеличение технологического потенциала общества для хранения, передачи и обработки цифровых данных ПОЯВЛЕНИЕ БОЛЬШИХ ДАННЫХ Причина 2 – значительное увеличение технологического потенциала общества для хранения, передачи и обработки цифровых данных промышленные революции сопровождаются сменой технологических укладов Индустрия 1.0 Индустрия 2.0 Индустрия 3.0 Индустрия 4.0 ✓ Индустрия 4.0: проникновение киферфизических систем в производства и обслуживание человеческих потребностей ✓ Индустрия 4.0: развитием конвергентных цифровых технологий для работы с данными, большими данными ПОЯВЛЕНИЕ ТЕРМИНА BIGDATA 1997-2007 гг. редкие факты появления термина 2008 г. активное использование после публикации «Как могут повлиять на будущее науки технологии, открывающие возможности работы с большими объемами данных?» 2011 г. большие данные трендом №2 в ИТ- инфраструктуре по версии Gartner Group 2015 г. – настоящее время большие данные включены в программы цифровой экономики и другие документы по цифровизации «БОЛЬШИЕ ДАННЫЕ»: от 3V до 7V ПРАВИЛО 3V • VOLUME — объем данные измеряются объема по величине физического • VELOCITY — скорость данные регулярно увеличиваются с возрастающей скоростью • VARIETY — разнообразие структурированные, неструктурированные или слабоструктурированные данные Определение больших данных через правило 3V было впервые предложено в 2001 году аналитиком Gartner Inc. Дугом Лэйни «БОЛЬШИЕ ДАННЫЕ»: от 3V до 7V ПРАВИЛО 3V + VOLUME — объем + VELOCITY — скорость + VARIETY — разнообразие ПРАВИЛО 5V + VERACITY — достоверность + VALUE — ценность ПРАВИЛО 7V + VARIABILITY — изменчивость + VISUALIZATION – визуализация СТАНДАРТЫ БОЛЬШИХ ДАННЫХ первый Международный стандарт в области больших данных ISO/IEC 20546:2019 В 2019 году принят первый Международный стандарт в области больших данных ISO/IEC 20546:2019 Information technology — Big data — Overview and vocabulary ✓ содержит набор терминов и определений в области больших данных. ✓ обеспечивает терминологическую основу для стандартов, связанных с большими данными. СТАНДАРТЫ БОЛЬШИХ ДАННЫХ первый Международный стандарт в области больших данных ISO/IEC 20546:2019 первый национальный стандарт в России о больших данных ГОСТ Р ИСО/МЭК 20546-2021 В 2021 году в России принят первый национальный стандарт в области больших данных. ГОСТ Р ИСО/МЭК 20546-2021 «Информационные технологии. Большие данные. Обзор и словарь» ✓ идентичен ISO/IEC 20546:2019 Information technology – Big data – Overview and vocabulary. ✓ термины, перевод англоязычных терминов и понятия, которым должны следовать участники рынка больших данных СТАНДАРТЫ БОЛЬШИХ ДАННЫХ первый Международный стандарт в области больших данных ISO/IEC 20546:2019 первый национальный стандарт в России о больших данных ГОСТ Р ИСО/МЭК 20546-2021 Основные термины и понятия Большие данные (анг. Big Date) – большие массивы данных, отличающиеся главным образом такими характеристиками объем, разнообразие, скорость обработки и/или вариативность, которые требуют использования технологии масштабирования для эффективного хранения, обработки, управления и анализа СТАНДАРТЫ БОЛЬШИХ ДАННЫХ первый Международный стандарт в области больших данных ISO/IEC 20546:2019 первый национальный стандарт в России о больших данных ГОСТ Р ИСО/МЭК 20546-2021 Основные термины и понятия Объем данных (анг. data volume) – количественная характеристика данных, влияющая на выбор ресурсов для вычислений и хранения, а также на управление данными в процессе обработки. Скорость обработки данных (анг. data velocity) – скорость потока с которой данные создаются, передаются, сохраняются анализируются или визуализируются. СТАНДАРТЫ БОЛЬШИХ ДАННЫХ первый Международный стандарт в области больших данных ISO/IEC 20546:2019 первый национальный стандарт в России о больших данных ГОСТ Р ИСО/МЭК 20546-2021 Основные термины и понятия Объем данных (анг. data volume) – количественная характеристика данных, влияющая на выбор ресурсов для вычислений и хранения, а также на управление данными в процессе обработки. Скорость обработки данных (анг. data velocity) – скорость потока с которой данные создаются, передаются, сохраняются анализируются или визуализируются. СТАНДАРТЫ БОЛЬШИХ ДАННЫХ первый Международный стандарт в области больших данных ISO/IEC 20546:2019 первый национальный стандарт в России о больших данных ГОСТ Р ИСО/МЭК 20546-2021 Основные термины и понятия Разнообразие данных (анг. data variety) – диапазон форматов, логических моделей, временных шкал и семантики массива данных. Вариативность данных (анг. data variability) – изменения в скорости передачи, формате или структуре, семантике или качестве массива данных. ИСТОЧНИКИ БОЛЬШИХ ДАННЫХ Корпоративные (внутренние) данные • • • • Базы данных организации ERP CRM Системы электронного документооборота • Архивы • другие Внешние данные • Интернет: соцсети, блоги, СМИ, форумы, сайты • Внешние набора данных • другие Данные устройств • Показания устройств (датчики, приборы, данные сотовой связи, метеорологические данные и др.) • Данные мобильных устройств (частота использования приложений, геолокация и др.) • Данные IoT-устройств BIGDATA и ЦИФРОВАЯ ЭКОНОМИКА В национальных программах и документах по цифровизации ✓ 2017 г. БОЛЬШИЕ ДАННЫЕ выделены как одна из девяти сквозных технологий цифровой экономики, согласно программе "Цифровая экономика Российской Федерации" от 28.07.2017 г. (с 2019 г недействующая) ✓ 2019 г. Большие данные включены как субкатегория сквозной прорывной технологии «Нейротехнологии и искусственный интеллект» в рамках дорожной карты "Нейротехнологии и искусственный интеллект» (срок реализации до 2024 г. включительно) ✓ 2021 г. Системы сбора, хранения, обработки, анализа, моделирования и визуализации массивов данных выделены в качестве приоритетные направления поддержки цифровой экономики.осольших данных BIGDATA и ЦИФРОВАЯ ЭКОНОМИКА Развитие больших данных ✓ Рынок больших данных растет со среднегодовым темпом роста примерно 10%-13% ✓ Технологии работы с большими данными отраслях экономики применяются практически во всех ✓ Компании используют большие данные для поддержания и усиления своих конкурентных преимуществ ✓ Развиваются цифровые платформы и сервисы на основе больших данных платформы и сервисы на основе больших данных ✓ Растет спрос на специалистов по большим данными, аналитиков больших данных, которые считаются одними из самых востребованных современными компаниями.а основе больших данных Тестовая съемка
