Большие данные: мир в котором мы живем Владимир Люлька, Big Data Expert Мир изменился ″Каждые 2 дня мы создаем столько информации, сколько было создано с момента появления цивилизации до 2003г.″ – CEO Google, Eric Schmidt Факты • Google в 2008 обрабатывал 20 Петабайт данных в день • Facebook в 2009 хранил 2.5 Петабайт данных и +15 Терабайт в день • eBay в 2007 хранил 6.3 Петабайта данных о пользователях и + 50 Терабайт прибавлялось в день • Объем данных во всем мире в 2007 году составлял 295 Экзабайт (295 миллиардов гигабайт) • В 2014 объем данных увеличился в 138(!) раз 640K ought to be enough for anybody. Эволюция данных SolidFire kaggle Pandora salesforce.com AppFog Xactly SAP HP CRM MRM Engineering Ariba Quickbooks Order Entry Inventory EMC OpenText HCM Hitachi cloudability HP ePrint Workbrain Мобильные у-ва, Социа, облака, Big Data Gigabytes Megabytes NEC Cash Management ERP Bull Time and Expense Fijitsu Payroll Microsoft HCM ADP VirtualEdge Adobe Rostering Commissions PPM Kinaxis BrainPOP Softscape IntraLinks Toggl Fring Exact Online FinancialForce.com Volusion News Xing Cookie Doodle Utilities Zynga MobilieIron Flickr Twitter Paint.NET PingMe BeyondCore Productivity Fed Ex Mobile Rackspace dotCloud New Relic Mozy Associatedcontent Atlassian Qzone Tumblr. MailChimp TripIt 1,820TB данных создано Jive Software Amazon Ah! Fasion Girl SmugMug CYworld Business 168 million+ emails отправлено Viber Social Networking YouTube myHomework NetSuite Softscape 698,445 Google поиск Yammer Answers.com RightScale MobileFrame.com Sonar6 Photo & Video Entertainment Atlassian Sonar6 Quadrem Saba Intacct Education Saba Cornerstone onDemand Mixi Heroku Zillabyte Renren SugarCRM Kenexa Database Data Warehousing PaperHost Yandex Navigation Khan Academy SuccessFactors Yahoo Microsoft iSchedule SCM CyberShift Corel PLM Time & Attendance Service Workday Baidu Yahoo! 11 млн. сообщений Zynga SLI Systems Avid Billing Sales tracking & Marketing Zettabytes Elemica Accounts Receivable Activity Management Training Serif Xerox OpSource Fixed Assets Costing Claim Processing Интернет Клиент\сервер 695,000 апдейтов статусов Pinterest Twitter Unisys Мейнфрейм Kilobytes Sport ScaleXtreme Games CloudSigma nebula CyberShift box.net Yandex Sage Workscape Cost Management LimeLight Hootsuite Qvidian Datapipe Alterian Quality Control Burroughs Amazon Web Services Foursquare Zoho NetDocuments Lifestyle Atlassian Splunk Scanner Pro NetReach 98,000+ твиттов Taleo Reference PingMe Bromium buzzd Tata Communications Bills of Material SCM GoGrid Hyland Hosting.com CCC Product Configurator IBM UPS Mobile eBay Manufacturing Projects Parse LinkedIn Facebook Google Travel Dragon Diction Plex Systems DCC Finance Urban NetSuite Joyent SmugMug DocuSign Snapfish SuperCam Каждые 60 секунд Scribd. Amazon iHandy Music 217 новых моб. пользователей Yottabytes Big Data: информационный вызов Объем (Volume) • 10% организаций обрабатывают 1+ Пб данных • Социальные сети – миллионы транзакций в минуту Скорость (Velocity) • 30% организаций имеют 100+ Гб/день • Данные обновляются и нужны раз в день, час Вызов: извлечь из Big Data важное для бизнеса Цели: • • • • Эффективность Удовлетворение клиентов Снижение риска Расширение бизнеса Разнообразие (Variety) • Тексты, Аудио и видео файлы • Блоги, сообщения в сетях – для изучения клиентов • Внутренние источники данных Объем Разнообразие Скорость Сложность Сложность • Осмысленные связи • Преобразование • Очистка Типы информации Ежегодный рост данных 62% 22% Неструктурированные Структурированные HRMS Документы Изображения Supply Chain Management/ Inventory Mgmt Email CRM ERP Видео Текст Социальные медиа 90% Transactional Data Procurement Logs 10% Clickstream Data Кейс: Telecom 3.0 Real Time Deсisioning Marketing на основе поведения клиента Социальные сети как канал информации о клиентах, связях между собой, TextMining Big Data Социальные сети, как канал маркетинговых коммуникаций – выделение «лидеров мнений» Альтернативные каналы коммуникаций •Mobile Campaign Management, GeoTargeting Кейс: Bank 3.0 Дистанционный банкинг и революция дистанционных сервисов Банки без отделений, все операции через Internet, Mobile и Курьеров Сокращают штат и сети отделений из-за дистанционных сервисов Миграция из Desktop Internet в Mobile Internet Кейс: Кредитный скоринг / Fraud Detection / Collection • Персональная информация • Демографическая информация • Информация/контроль друзей • Личные интересы, группы, подписки, комментарии, likes и пр • Check-ins (fb, foursquare, instagram) • Персональные сообщения (early, soft) • Публичные сообщения на стене • Отслеживание перемещений (check-ins) real-time • Отслеживание сообщений/комментариев/статуса • Воздействие через «лидеров мнений», родственников, друзей Кейс: Выявление интересов клиента. Text-mining Кейс: Идентификация «лидеров мнений • Идентификация «лидеров мнений» клиента • Является ли клиент для кого-то «лидером мнений» • Воздействие через OL, администраторов групп • Таргетированное воздействие Критерии • Подписчики, друзья • Количество likes, comments, re-posts • Администрирование групп • Активность в группах и т.д. Кейс: выявить наиболее посещаемые места клиента 1. Вводные для анализа 2. 3. 4. Репрезентативность (требования к количеству check-in в месяц) Очистка данных Точность GPS координат – округление до 3 знаков: round(x,3) Национальные праздники – учитывать как не-рабочие дни Интеграция c Google Maps API d=3.2 km Таргетированный маркетинг • Воздействие на клиента в нужное время • Распознать интересы пользователей (page likes, комментарии, сообщения /textmining/) • Определение локаций (check-in on Foursquare/Instagram, facebook, vkontakte etc) • Каналы: phone, email, push notifications, Ads, inbox message О НАС • Международная компания специализирующаяся на управлении и реализации комплексных проектов в областях Cloud Computing, Big Data & Analytic и IT Assurance/Consulting • Наша миссия оказать поддержку организациям в их стремлении к улучшению эффективности, продуктивности и гибкости используя инновации и огромный опыт нашей команды • Основными ценностями компании являются Целостность и Прозрачность • Список наших клиентов включает банки, телеком операторы, компании разработчики, ритейл, и т.д. • Работая в партнерстве с привлеченными консультантами и партнерами из Германии, Финляндии, Украины и ОАЭ, мы строим наше предложение на основе практического международного опыта опирающегося на лучшие в своем классе технологии • Основана в Словакии и Украине, большой опыт работы на рынках Центральной и Восточной Европы & СНГ, понимание бизнес ситуации, подходов к ведению бизнеса. КОМАНДА Владимир Люлька Управляющий партнер Александр Кариченский Управляющий партнер Алексей Белошицкий Data Science & Big Data Юрий Кучер ICT Competency Center Профессиональный ИТ предприниматель с 15+ летним опытом в ИТ сфере и практическим зрелым опытом в решениях Cloud и Big Data. Высшее образование в сфере ИТ и профессиональные сертификации. Международный опыт в управлении ИТ проектов и ИТ трансформации ИТ профессионал с 15+ летним опытом в ИТ, телекоммуникациях и финансовой сферах. Глубокие знания и практический опыт в различных аспектах ИТ, облачных вычислений, датацентров, разработки ПО для финансовой и телекоммуникационной отраслей. Алексей имеет 12+ лет успешного опыта в областях Big Data, BI и Machine Learning. Работая с клиентами в Европе и США. Специализация: Data Science, Big Data, Text Mining, Data Mining, Hadoop, BI Алексей является PhD в ИТ профессионал с 10+ опытом, имеет опыт в CRM, Remote Digital Banking, и проектах Big Data. Опыт работы в передовых компаниях – банки, телеком операторы и ретейлеры в CEE и Азии. Высшее экономическое образование и управление бизнесом. Специализация : CRM, Digital Banking, Big Data, IT strategy, Project Management. области компьютерных наук. Михаил Магун Информационная безопасность Является экспертом по информационной безопасности/CISO с 10+ лет опыта. Знание международных стандартов безопасности и ИТ (ISO 27K, Cobit, ITIL, PCI DSS). Опыт управления проектами, а также проведение аудитов безопасности. THANK YOU