Корпоративные мессенджеры

От 200 руб/мес

Передовое

решение

IaaS

от 249,95 руб.

Для любых задач

Оплата pay-as-you-go

IBP

по запросу

Универсальная CPM/EPM

self-service платформа

BPM

от 12 000 руб/год

Цифровые процессы

с комфортом для людей

IP-телефония

от 0 руб.

Продуманная связь

для вашего бизнеса

ВКС

от 250 руб/мес

Платформа корпоративных

коммуникаций

  • IaaS

    от 249,95 руб.

    Для любых задач

    Оплата pay-as-you-go

  • IBP

    по запросу

    Универсальная CPM/EPM

    self-service платформа

  • BPM

    от 12 000 руб/год

    Цифровые процессы

    с комфортом для людей

  • IP-телефония

    от 0 руб.

    Продуманная связь

    для вашего бизнеса

  • ВКС

    от 250 руб/мес

    Платформа корпоративных

    коммуникаций

  • HRM

    от 0 руб.

    Готовая HRM

    от ФАКТ

  • IaaS

    По запросу

    ЦОД Tier III

    ФЗ-152 УЗ-1 К1 и Г1 ФЗ-187

  • Корпоративные мессенджеры

    от 250 руб/мес

    Защищенная платформа

    коммуникаций

  • IaaS

    от 490руб./мес

    VMware / ПО РФ

    SLA 99,95% Pay-as-you-go

HRM

от 0 руб.

Готовая HRM

от ФАКТ

IaaS

По запросу

ЦОД Tier III

ФЗ-152 УЗ-1 К1 и Г1 ФЗ-187

Корпоративные мессенджеры

от 250 руб/мес

Защищенная платформа

коммуникаций

IaaS

от 490руб./мес

VMware / ПО РФ

SLA 99,95% Pay-as-you-go

HRM

от 8500 руб.

HCM-платформа

для автоматизации HR

Low-code

от 667 руб.

Цифровая трансформация

с ELMA365

Что важно учесть при построении BI-платформы: взгляд провайдера инфраструктуры

Маркет

C 2022 г. зарубежные сервисы по организации корпоративной аналитики и BI начали покидать отечественный рынок. И тренд на импортозамещение стал частью повседневной практики для многих российских компаний.

Сегодня сложно прогнозировать развитие BI-направления, но наличие плана Б может снизить риски для организаций. Мы в Selectel следим за тенденциями на рынке и готовы предложить альтернативные платформенные решения для размещения аналитических систем.

В этом тексте расскажем, что важно учитывать компаниям при выборе, обслуживании и развитии BI-платформы. А в конце рассмотрим доступные решения и тренды.

Путь организации BI-платформы

Первом делом необходимо определить, какой путь для организации BI-платформы вы хотите пройти. От этого будет зависеть степень погружения в альтернативные инструменты, которые предлагает российский рынок и Open source культура

В текущих условиях компаниям пришлось частично или полностью отказаться от лицензированных BI-решений зарубежных вендоров. Каждая организация адаптировалась и перестраивала стек по-своему.

Есть компании, которые отказались от миграции и продолжают использовать западные инструменты, обходя сложности с закупкой или напрямую игнорируя лицензионные соглашения. Это накладывает определенные риски в случае, если вендоры вернутся на российский рынок.

C 2022 г. зарубежные сервисы по организации корпоративной аналитики и BI начали покидать отечественный рынок

Другие компании мигрировали на российские и китайские решения. И если в России выбор среди вендоров большой, то в Китае ситуация противоположная. Тем не менее китайские поставщики явно готовы выходить на рынок с помощью российских интеграторов.

В третьем сценарии компании мигрируют на Open source решения (например, Superset, Metabase и Redash) или разрабатывают собственные инструменты. Этот путь больше свойственен технологическим компаниям с компетенциями инженеров и организациям, которые используют преднастроенную инфраструктуру вроде виртуальных серверов для аналитики и ML.

И последняя категория компаний — организации, которые перешли на гибридную схему и сочетают элементы каждого из подходов. Они могут использовать, например, Open source инструменты в связке с коробочными решениями для отдельных команд аналитики.

Функциональность BI-платформы

Если вы задумались о написании своих инструментов, поиске готовых Open source решений или использовании преднастроенной инфраструктуры, нужно определиться с необходимой вам функциональностью. Есть инструменты с разной «начинкой», но некоторые возможности особенно востребованы и являются скорее обязательными, чем опциональными.

В современном инструменте для BI и аналитики должны быть доступны, как минимум:

  • миграция данных и моделей, а также ETL/ELT-процессов из старых в новые системы;
  • горизонтальное масштабирование при росте нагрузок;
  • гибкая лицензионная политика
  • возможность совместной работы.

Чтобы в инструмент можно было подгружать информацию из разных источников, должны быть встроенные коннекторы, базы данных и хранилища для выгруженных данных. Вместе с этим — инструменты для преобразования данных, чтобы их можно было не только забирать из источников, но и агрегировать, фильтровать и использовать для создания моделей.

Приятным дополнением будет, если BI-инструмент поддерживает настройки прав доступа (RBAC), интеграцию в веб-приложения и сайты (embedded analytics), а также возможность организации self-service аналитики.

Модели организации BI-платформы

После того, как вы определились с подходом к организации BI-платформы и ее функциональностью, нужно оценить, насколько вы готовы заниматься обслуживанием инфраструктуры. Работы будет много: если смотрите в сторону Open source решений, развернутых на базе on-premise, настраивать драйверы и софт придется самостоятельно. Если выбираете полностью готовое решение, будьте готовы к работе с «черным ящиком».

Рассмотрим модели организации BI-платформы подробнее. Их можно разделить по способу развертывания инфраструктуры.

На базе облачной платформы (по модели SaaS)

Данные и визуализации с дашбордами находятся в облаке поставщика, у клиента нет полного контроля над ними. Например, так работают Power BI, Tableau, Google Data Studio.

На базе «коробочных» или Open source решений

BI-платформа может быть развернута на инфраструктуре поставщика или заказчика.

На базе Open source решений и преднастроенной облачной инфраструктуры

Все данные и сервисы находятся в облаке провайдера, но у клиента есть доступ к вычислительным ресурсам и операционной системе. Он может настроить платформу под себя, но это опционально — все уже готово к использованию.

Яркий пример — DAVM, специально подготовленная виртуальная машина для работы с аналитическими задачами и машинным обучением. Она позволяет:

  • разрабатывать ML модели c помощью PyTorch, TensorFlow, Keras, XGBoost и OpenCV;
  • строить процессы обработки данных в среде Prefect;
  • визуализировать данные с помощью Apache Superset.

Как выбрать модель

Чтобы выбрать модель организации BI-платформы, нужно оценить свои компетенции и определиться с нужной функциональностью.

Определите уровень знаний и навыков в команде

В случае, если человек использует готовую платформу, набор действий для ее запуска сводится к минимуму. Достаточно арендовать платформу на нужный период и нажать кнопку «Поехали». На этом этапе клиент не обязан быть специалистом и разбираться в тонкостях настроек. Максимум, кто может понадобиться, — несколько BI-разработчиков и аналитиков для построения пайплайнов.

С коробочными и Open source решениями ситуация другая. Чтобы установить и настроить, например, ETL/ELT-процессы, правильно организовать утилизацию ресурсов и преднастроить взаимодействие сервисов между собой, понадобятся DevOps- и DataOps-инженеры.

Оцените сложность ваших задач и подберите нужную функциональность

У каждого инструмента свои возможности, но не каждый из них можно модифицировать. Если использовать готовое SaaS-решение, скорее всего, вы получите большой набор функций. Но весомую часть из них не сможете использовать в работе и будете сильно завязаны на сервисах поставщика.

Если вы решили развернуть коробочное решение на собственной инфраструктуре, вероятно, проблемы сохранятся. Платформа может быть проприетарной и несовместимой с продуктами других поставщиков. Кроме того, это закрытый код, который нельзя изменить под себя.

В случае с чистым Open source тоже непросто. Допустим, вы хотите одновременно реализовать BI и работу с моделями машинного обучения на одних и тех же данных и ваш стек — это PostgreSQL, Superset и JupyterLab с TensorFlow. Их нужно не просто установить, но и «подружить» между собой. При этом важно избежать конфликтов версий, настроить контейнеры и рабочее окружение, научиться утилизировать вычислительные мощности. Ограничения по функциональности минимальны: можно реализовать что угодно, но это требует ресурсов.

Выводы

Если у вас нет специалистов с глубокой экспертизой, стоит сделать выбор в пользу вендорских или SaaS-решений. В таком случае вы получите набор готовых функций, которые не нужно самостоятельно дорабатывать. Если такие специалисты есть, можете использовать коробочные или Open source решения. Так вы кастомизируете функциональность и инструменты под собственные нужны.

Компромиссный вариант — облачная инфраструктура с предустановленными и настроенными Open source инструментами. Например, в DAVM клиент получает готовую рабочую среду, которую может использовать без дополнительных настроек. Но если что-то нужно изменить, это всегда можно сделать самостоятельно или с помощью специалистов облачного провайдера.

Тренды развития рынка BI

Как и другие факторы, мировые тренды влияют на организацию BI-платформы. Рассмотрим их основные направления.

Миграция в облако

Облачные технологии позволяют создавать быстро масштабируемые и выгодные с точки зрения операционных затрат платформы. Вместо того чтобы закупать собственные серверы и самостоятельно их обслуживать, можно воспользоваться готовыми решениями провайдера. Например, арендовать облачный сервер и наращивать мощности при необходимости.

Помимо этого, при росте нагрузки такая платформа сможет поддерживать горизонтальное масштабирование BI-системы: можно добавлять несколько параллельно работающих серверов и гибко распределять пользовательскую нагрузку между ними.

Представьте: вам нужно подключить ML модель для аналитики больших данных. Для этой задачи лучше подойдет сервер с GPU, так как каждый датасет — это матрица из факторов и наблюдений. Чем их больше, тем заметней разница в скорости обучения на GPU и CPU. Если ваша BI-платформа развернута на on-premise и в пиковые нагрузки ее мощностей становится недостаточно, вы потратите время на закупку, доставку и установку видеокарт. С облаком ситуация другая: клиент может масштабировать платформу дополнительными GPU всего за пару минут. А если нагрузка спала, их можно легко убрать и не переплачивать за неиспользуемые ресурсы.

Если BI-платформа развернута на базе облачного сервиса, ее легко можно подключить к дополнительным продуктам и услугам, которые упрощают работу с большими данными. Например, к облачным СУБД, объектному хранилищу и другим инструментам.

Внедрение прикладных AI и ML

Компании продолжают внедрять в свои BI-платформы инструменты искусственного интеллекта и машинного обучения (Augmented Business Intelligence, ABI). Среди них можно выделить Power BI, Tableau, Qlik и ThoughtSpot. В таких решениях AI-алгоритмы очищают и структурируют данные, а ML использует их для обучения, выявления закономерностей и принятия решений.

К примеру, компании нужно проанализировать огромные массивы данных. Ручная обработка занимает много времени, а в условиях высококонкурентной цифровой среды бизнесу необходима высокая скорость. Использование ABI упрощает подготовку данных, ускоряет проверку гипотез и поиск отчетов по запросам, не используя ресурсы специалистов на выполнение рутинных задач

Platform Development

При работе с BI-системами есть две заинтересованные стороны: бизнес и аналитическая команда. Когда объем данных становится слишком большим, у команды не хватает ресурсов удовлетворять все запросы от бизнеса. Для решения этой проблемы существует модель self-service: она упрощает доступ к данным и помогает бизнес-пользователям получать ответы на запросы без участия аналитиков.

Подобный подход предполагает развитие BI-инструмента в качестве единой платформы для работы с несколькими командами. Она способна выдерживать большие нагрузки и обеспечивать прозрачное взаимодействие как с системой, так и между сотрудниками. Для ее поддержания, как правило, выделяется отдельная инфраструктурная команда. Остальные либо отвечают за функциональность системы (хранение, обработку, моделирование данных, обеспечение качества и централизованного хранения метаданных), либо их распределяют по кросс-функциональным направлениям: продажи, маркетинг, продукт и другие.

В результате современные BI-платформы перестают быть инструментом только для создания дашбордов, предлагая пользователям дополнительные возможности. Например, структурирование и хранение данных в единой системе, а также — прогнозирование результатов с помощью машинного обучения.

erid:2SDnjdPfGqvРекламодатель: ООО «Селектел»ИНН/ОГРН: 7842393933 / ОГРН 1089847357126Сайт: https://selectel.ru/

Короткая ссылка