Поделиться
Аналитика и большие данные должны приносить прибыль
Большие данные уже перешли из разряда хайповых технологий в категорию решений, без которых сложно представить эффективно развивающийся бизнес. Сегодня основная задача состоит в том, как монетизировать такие решения. Своим опытом поделились участники организованной CNews Conferences конференции «Аналитика и большие данные 2019: как получить эффективное решение».
Задача BI
Основные задачи внедрения BI–это увеличение скорости доступа к данным и отчетам, оценка эффективности ключевых бизнес-процессов, возможность получения единой версии правды, детальный анализ информации и ее наглядная визуализация. Олег Костерин, директор InfoVizion, рассказал о предлагаемом его компанией BI-решении для розничных, дистрибуторских и производственных компаний. С его помощью можно управлять ассортиментной матрицей, ее ценовым позиционированием, выстроить эффективный процесс заказа товаров, получить аналитику по ключевым направлениям деятельности компании и оценить финансовые результаты.
Олег Костерин предложил участникам конференции перейти от внедрения традиционных BI-систем к созданию ситуационного центра компании. В нем должен накапливаться опыт идентификации бизнес-инцидентов. Там же должны происходить формирование регламентных задач по предотвращению инцидентов в системах управления, проверяться ключевые условия по бизнес-инцидентам, осуществляться мониторинг динамики бизнес-инцидентов и контроль исполнительской дисциплины по регламентным задачам.
«Организация, обладающая данными, может монетизировать их и получить конкурентное преимущество», – уверен Юрий Сирота, старший вице-президент, руководитель департамента анализа данных и искусственного интеллекта, руководитель центра компетенций BI банка «УралСиб». Он поделился с участниками конференции опытом организации работы с данными в банке. По его мнению, для решения этой задачи необходимо объединить роли Chief Analytics Officer (CAO) и Chief Data Officer (CDO) в одну. Он должен быть и генератором бизнес-инициатив, и продавцом идей и аналитических приложений заказчику, и ИТ-специалистом, и проектным менеджером, и стратегом, способным разложить цели организации на методологии и инструменты анализа и компоновки данных.
По мнению Юрия Сироты, успех развития аналитической компетенции зависит от того, насколько руководство организации и бизнес-подразделений разделяют стратегическое видение аналитической функции, как быстро аналитика начинает приносить реальную пользу, насколько точно создаваемые ИТ-решения отвечают потребностям бизнеса. Для этого используемые для анализа данные должны быть доступны и надежны. В компании должен существовать стэк инструментов по сбору, профилированию, аналитике данных и соответствующие компетенции для их правильной обработки. И, конечно, результаты аналитики должны быть интегрированы в бизнес-процессы.
Данные становятся одним из основных капиталов компании, уверен Эдуард Федечкин, ведущий эксперт по системам бизнес-аналитики «Терн». Речь идет не только об информации, содержащейся во внутренних ИТ-системах, но и о данных из внешних источников, например, ЕГРЮЛ, ЕГРИП, реестра недобросовестных поставщиков, картотеки арбитражных дел, базы данных ФССП и т.д. Компания предлагает воспользоваться сервисом TernAnalytics для комплексного анализа благонадежности контагентов.
С его помощью можно проанализировать историю компаний и их аффилированных структур, оценить финансовую устойчивость, оценить риски и оперативно отслеживать изменения ключевой информации. Также система дает возможность самостоятельного оперативного формирования произвольных аналитических сводок. TernAnalytics может быть интегрирована с внутренними источниками данных компании. К ней можно также подключать новые внешние источники данных.
Идеи и кейсы
Александр Евсин, заместитель руководителя ГКУ ЦОДД – начальник Ситуационного центра рассказал о роли больших данных в организации дорожного движения. Интеллектуальная транспортная система Москвы получает данные от более чем 2800 светофоров, 2156 камерам телеобзора, 177 дорожных табло, 1800 табло на остановках, 3000 радиолокационных детекторов движения и 1788 камер фотовидеофиксации. Каждые 20 сек в нее поступают данные с 33 тыс объектов городского транспорта, а также с такси и автомобилей каршеринга.
Обработка и анализ этих данных позволяет контролировать работу городского транспорта, оценивать пассажиропоток и формировать прогнозы движения в городе, а также заниматься его оптимизацией. Развитие технологий машинного обучение дает возможность оптимизировать работу светофоров и графики движения транспорта практически в режиме реального времени.
В ходе разработки BI-решений для обеспечения сервисных потребностей «Газпром Нефть» было создано множество разрозненных инструментов и отчетов. Каждый выполнял определенный перечень задач. Однако со временем такой подход перестал быть эффективным – потребовалась систематизация и классификация имеющихся данных, рассказал Антон Сметанников, руководитель направления инфраструктуры и сервисов «Газпром Нефть». В компании был создан единый инструмент «Айсберг», который объединил сервисные и инфраструктурные инструменты анализа и отчетности в одну структуру, в которой четко определена роль каждого уровня представления информации.
Антон Сметанников подробно рассказал о том, как создавалась система «Айсберг» и что она представляет собой в настоящее время. В ближайших планах создание единого хранилища данных и интеграция «Айсберг» со всеми связанными системами, а также развитие предиктивной аналитики и машинного обучения, которые позволят прогнозировать изменение основных сервисных показателей в зависимости от меняющихся потребностей бизнеса.
Об использовании аналитической платформы Atom на базе MS Power BI рассказала Варвара Новожилова, руководитель направления продуктов отчетности компании «Аэроклуб». В состав платформы входит единое хранилище данных, множество консолей и внутренних справочников компании; 9 кубов со статическими параметрами и расчетными показателями, а также глоссарии с описаниями, понятными не только ИТ, но и сотрудникам других департаментов. С платформой работают сотрудники практически всех подразделений и уровней – начиная от рядовых менеджеров по работе с клиентами и заканчивая руководителями компании.
Варвара Новожилова отметила ряд сложностей, которые возникают в процессе работы. Иногда процесс построения отчетности занимает 2-3 минуты, что не слишком удобно пользователям. Кроме того, освоить работу с платформой для некоторых сотрудников оказалось непросто. Однако, оно того стоит, уверена Варвара Новожилова.
Не только BI
О перспективах использования SSD в ЦОДах рассказал Игорь Макаров, менеджер по развитию бизнеса Toshiba Memory Europe GMBH. Компания является изобретателем flash-памяти. Сегодня Toshiba предоставляет корпоративным клиентам и центрам обработки данных все необходимые твердотельные устройства хранения данных. В начале апреля компания добавила в свое программное обеспечение KumoScale поддержку транспорта TCP. Это позволяет реализовать развертывание технологии NVM Express over Fabrics (NVMe-oF) в сети Ethernet.
KumoScale предоставляет доступ к устройствам хранения данных на основе флеш-памяти по сети центра обработки данных. NVMe over Fabrics соединяет вычислительные узлы с хранилищем NVMe через сеть ЦОД, сохраняет производительность и низкий уровень задержек обычного NVMe, использует RDMA с привязкой к различным транспортным протоколам. NVMe over Fabrics может быть использовано при создании блочных СХД для облачных IaaS/PaaS платформ, реализации масштабируемого интерфейса для интерактивных веб-сервисов, буфера для распределенных файловых систем HPC или быстрого дезагрегированного стоечного хранилища.
Анатолий Поляков, главный архитектор аналитических решений PwC Россия, посвятил свое выступление тому, как будет развиваться искусственный интеллект в ближайшие годы. Около 20% опрошенных PwC руководителей крупных компаний намерены развернуть решения на базе ИИ уже в 2019 г. Своими главными задачами они видят обеспечение надежности и безопасности ИИ, обучение сотрудников работе с такими решениями, управление конвергенцией ИИ с другими продуктами, оценку доходности инвестиций в ИИ и запуск в производство инициатив в сфере ИИ, прошедших пилотную стадию.
В списке основных направлений развития искусственного интеллекта в 2019 г. создание организационной структуры и подготовка кадров для работы с ИИ, внедрение надежных алгоритмов и проверенных данных для систем машинного обучения, разработка и реализация планов по увлечению дохода и прибыли с использованием ИИ и интеграция с существующими и новыми технологиями.
Илья Мунерман, директор «Интерфакс-ЛАБ», рассказал о скоринговых сервисах, которые активно развивает «Интерфакс» на базе данных системы «Спарк». Это индексы платежной дисциплины – Paydex, кредитные истории; данные о судебных решениях и исполнительных производствах, исковой нагрузке; данные о персонале компании, анализ налогового бремени и производительности; тендерная информация, рекомендательные системы, удельные показатели; данные о недвижимости, объектах интеллектуальной собственности; интернет-данные, новости и социальные сети, даркнет; транзакции и данные онлайн-касс; традиционные финансовые коэффициенты.
О том, как развивались интерфейсы для SSD и в чем основные преимущества NVMe-oF, рассказал Игорь Макаров, менеджер по развитию бизнеса Toshiba Memory Europe GMBH.
CNews: В чем, на ваш взгляд, преимущества использования SSD в ЦОД?
Игорь Макаров: Для начала стоит понять, что такое SSD. SSD (Solid State Drive) или твердотельный накопитель состоит из микросхем памяти, как правило флэш, хотя имеются и другие типы, а так же контроллера, управляющего этими микросхемами и обеспечивающего связь накопителя с хост-системой по интерфейсам. Основными интерфейсами для SSD на данный момент служат: SATA, SAS, NVMe.
Игорь Макаров: Мы готовы внедрить NVMe-oF с минимальными затратами
О том, как развивались интерфейсы для SSD и в чем основные преимущества NVMe-oF, рассказал Игорь Макаров, менеджер по развитию бизнеса Toshiba Memory Europe GMBH.
CNews: В чем, на ваш взгляд, преимущества использования SSD в ЦОД?
Игорь Макаров: Для начала стоит понять, что такое SSD. SSD (Solid State Drive) или твердотельный накопитель состоит из микросхем памяти, как правило флэш, хотя имеются и другие типы, а так же контроллера, управляющего этими микросхемами и обеспечивающего связь накопителя с хост-системой по интерфейсам. Основными интерфейсами для SSD на данный момент служат: SATA, SAS, NVMe.
Интерфейсы SATA и SAS были позаимствованы от традиционных накопителей с вращающими магнитными дисками, так называемыми HDD (Hard Disk Drive) или накопителей на жестких магнитных дисках, скорее для совместимости с уже имеющимися хост-системами. Интерфейс NVMe появился позднее и на данный момент быстро и динамично развивается.
Внедрение принципиально нового интерфейса было обусловлено спецификой работы SSD накопителей, отсутствием необходимости в обмене большим количеством сервисной и управляющей информацией, необходимой для поддержания работы HDD. Задачей нового интерфейса стало снижение задержек, повышение скорости передачи данных, масштабируемость подключаемых устройств – то есть всего того, чем SSD превосходят HDD.
Каждый новый процессор становится совершеннее в пересчете на основные показатели, физические размеры, потребляемую мощность. Однако жесткие диски, увеличивая свою емкость, постоянно снижали свои удельные характеристики производительности, а именно количество операций ввода-вывода на единицу емкости. По сути, емкость HDD росла существенно быстрее их способности обрабатывать данные. Таким образом сложилась ситуация, когда объединение нескольких HDD в единый массив с целью увеличения их производительности стало так нагружать процессор, что потребовало внедрения твердотельных накопителей.
Проникновение SSD в ЦОД началось как раз по причине отсутствия возможности обеспечить требуемые скорости обработки данных на основе HDD. Дополнительными факторами, повлиявшими на внедрение SSD, стали их габаритные показатели и энергопотребление. Плотность установки компонентов в стойке, количество операций на ватт потребленной энергии, затраты на охлаждение являются важнейшими индикаторами эффективности ЦОД. На сегодняшний день SSD уже вырвались вперед по емкости, а именно SSD предлагают 15ТБ в компактном форм факторе 2.5”, обеспечивая порядка 700-800 тысяч операций ввода-вывода против нескольких терабайт емкости и порядка 180-200 операций ввода-вывода. Вывод очевиден: если требуется обрабатывать данные, то это дешевле и эффективнее делать на SSD. Хранить же данные пока еще выгоднее на HDD формата 3.5”.
CNews: Что такое технология NVMe-oF?
Игорь Макаров: NVMe-oF или NVMe Over Fabrics – технология, позволяющая передавать команды и данные между хост-системами и NVMe накопителями через Ethernet, Fibre Channel (FC) или InfiniBand. NVMe Over Fabrics определяет общую архитектуру, которая поддерживает ряд сетевых структур хранения для протокола блочного хранения NVMe через сетевую структуру хранения. Она включает в себя наличие внешнего интерфейса системы хранения, возможность масштабирования до большого количества устройств NVMe и увеличение расстояния в пределах ЦОД, на котором можно получить доступ к устройствам NVMe и подсистемам NVMe.
Работа над спецификацией NVMe over Fabrics началась в 2014 году с целью распространить NVMe на такие структуры, как Ethernet, Fiber Channel и InfiniBand. NVMe over Fabrics предназначена для работы с любой подходящей сетью хранения данных. В настоящее время разрабатываются два типа сетевых транспортов для NVMe: NVMe Over Fabrics c использованием RDMA и NVMe Over Fabrics c использованием Fibre Channel (FC-NVMe). Цель NVMe Over Fabrics – обеспечить дистанционное подключение к устройствам NVMe с дополнительной задержкой не более 10 мкс по сравнению с устройством NVMe, находящимся непосредственно внутри сервера.
Существует несколько вариантов использования NVMe Over Fabrics. Можно легко представить систему хранения, состоящую из множества устройств NVMe, использующих NVMe Over Fabrics с интерфейсом RDMA или Fibre Channel, образующих законченное решение для хранения данных. Такая система обеспечит чрезвычайно высокую производительность при сохранении очень низкой задержки, присущей NVMe. Другая реализация будет использовать NVMe Over Fabrics для достижения низкой задержки при подключении только к подсистеме хранения, которая использует традиционные протоколы взаимодействия с SSD. Это позволит получить преимущество от упрощенного стека программного обеспечения хоста и более низкой задержки при передаче по проводам, совместно с существующей технологией подсистемы хранения.
CNews: Как вы оцениваете перспективы использования NVMe Over Fabrics?
Игорь Макаров: Исходя из повышенного интереса именно к NVMe oF, я оцениваю перспективы развития этой технологии весьма высоко. Ведь сама технология позволяет в кратчайший срок развернуть высокоскоростную, масштабируемую систему хранения данных с очень низкими задержками. Технология позволяет эффективно использовать дорогие серверные NVMe накопители и разделять их ресурсы среди огромного количества серверов. Решение Toshiba Kumoscale позволяет внедрить эту технологию с минимальными затратами уже сейчас.
Поделиться
Короткая ссылка
