Новый функционал BI
Современный BI-инструмент должен иметь возможность анализировать, обрабатывать и представлять данные в удобной для восприятия форме и быть разработан таким образом, чтобы каждый пользователь, независимо от его опыта и навыков, мог научиться использовать его, как любое другое ПО или приложение, используемое ежедневно. Что нужно реальному массовому пользователю? На самом деле очень важна быстрота обучения, интуитивная понятность интерфейса, или по-другому — порог входа в решение. И это один из трендов развития аналитической платформы.
Наши команда, компания, продукт развиваются уже более 10 лет в области аналитических приложений, работы с данными и их визуализации. ГК Luxms — российский разработчик аналитических приложений/BI. Центр внедрения и разработки — Санкт-Петербург.
Являясь одним из лидеров российского рынка аналитических платформ на больших данных, с другой стороны, мы понимаем, что, конечно, своим успехом и развитием мы в первую очередь обязаны нашим клиентам, их профессионализму, умению слушать и слышать не только клиентов, но и тренды рынка.
Именно этому, а также тому, как эти тренды учитываются в развитии нашего аналитического инструмента, посвящена эта статья.
Self-service
Это действительно масштабная задача последних лет. Системы нового поколения просто обязаны включать средства самообслуживания — инструменты Self-Service стали важнейшим направлением развития аналитических платформ. Это свобода экспертов, их активная работа с данными без программирования (подключение к источникам, подготовка визуализации, загрузка данных, настройка отчетов и системы оповещения). Больше не нужно просить ИТ загрузить что-то куда-то.
Самообслуживание стало проверкой на прочность архитектур всех платформ — речь идет не просто о дополнительном функционале, а о принципиальном пересмотре взглядов на подобные системы. Классическая бизнес-аналитика предполагает, что заранее понятно, какие требуются показатели, откуда брать данные, как считать, — по сути, речь идет о системе, объединяющей разрозненную информацию и помогающей ее анализировать. Такая модель взаимоотношений между пользователем аналитической системы и ИТ-подразделением предполагает, что заранее проектируется вся система управления. В системе Self-Service BI нет заранее подготовленных задач, не известно, что и где искать, а данные исследуются и анализируются в свете постоянно меняющихся гипотез.
При этом важно понимать, что самостоятельная работа «без программирования» включает многое: и работу с источниками данных, например, хранилищами или озерами данных, и работу с подготовленными витринами, настройку визуализации и/или отчетов, дэшбортов; удобные механизмы сортировки и фильтрации данных, их выгрузку и сохранение. Все это должно быть в современной BI-платформе.
Развитие работы с источниками данных
Посмотрим некоторые конкретные примеры. Новогодняя сборка нашей платформы Luxms BI v.7.5 дала клиентам большой набор востребованного интересного функционала в части работы с данными. Источники данных для визуализации — теперь любые типы дэшей могут работать с различными источниками данных (MLP, многомерные кубы, lookup таблицы). Поддержка выгрузки очень больших объемов данных из источников в различных форматах (CSV, Parquet, Arrow).
Добавлен функционал так называемых «Снэпшотов» — возможность сохранить различные версии датасета и восстановить их при необходимости.
В части дальнейшего развития функционала работа с кубами был добавлен новый интерфейс для создания кубов — функционал настройки и конфигурирования куба теперь в обновленном интерфейсе, также появились новые возможности: натаскивание таблиц и связей, ручной ввод/изменение SQL, разметка столбцов.
Actionable BI
Еще одна крупная тенденция последнего времени — это развитие функционала активных действий из аналитической платформы (так называемый Actionable BI).
Активные действия из BI и/или встраивание аналитической платформы в управленческие процессы могут включать: нормирование и контроль нормативов, информирование по нештатным ситуациям, организацию ситуационного центра или системы оповещения, автоматическое влияние на расчет KPI/мотивацию сотрудников.
Встраивание дэшбордов/аналитических функций во внутренние организационные процессы прежде всего проявляется, например, в тенденции по переводу оперативных планерок в электронный формат и их осуществлении внутри BI-платформы. Или в интеграции во внутренние порталы, где сотрудники могут увидеть рейтинги подразделений и/или собственные показатели.
Развиваются очень активно и специализированные решения на базе аналитических платформ: кэш-пулинг, контроль сметного планирования, мониторинг станков. Их объединяет одно — они дают пользователям много различной информации и удобные средства мониторинга процессов, доступные отчеты, и при этом обладают функционалом подготовки и отправки в другие системы распоряжений и документов, которые в том числе могут быть подписаны электронной подписью и являться бухгалтерскими или юридическими документами. А пользователю не нужно идти в другую систему. BI в этом случае работает как «единое окно».
AI/ML для анализа и построения моделей и прогнозирования
Апробация моделей искусственного интеллекта на озерах данных — еще одно важнейшее направление перспективного развития аналитических решений. Анализ и сравнение экспертных моделей — это то, что сейчас могут делать только специализированные системы. Далее будет требоваться их интеграция внутрь BI-платформ, например, с применением библиотек Greenplum MADlib Extension. Платформа BI должна позволять запускать AI/ML модели в массивно-параллельном режиме, накапливать результаты прогонов с различными параметрами и визуально проводить сравнительный анализ. Осуществлять обработку с использованием правил и методов машинного обучения, уметь встраивать обработку математическими методами: проводить статанализ, запускать, например, кастомные скрипты на R/Python, осуществлять текстовую аналитику методами NLP.
Недавно мы сделали реальный проект по оценке потребительского спроса и корреляционных взаимосвязей при покупке товаров. Заказчик этого проекта — интересная компания из Юго-Восточной Азии, которая ведет несколько направлений бизнеса в цифровой сфере. Одним из направлений является организация для клиентов цифровых международных рекламных кампаний по продвижению их товаров на глобальные рынки и на рынок США через Facebook.
Проект включал «AI-Driven Marketing Suite» и аналитический модуль оценки эффективности рекламных кампаний, корреляционный анализ факторов и мониторинг весов факторов, математическое моделирование оценки влияния инфлюэнсеров Facebook на доходы клиента.
Клиент получил уникальную систему контроля и мониторинга воронки продаж, ее зависимости от рекламных кампаний, математически точную оценку степени влияния факторов на эффективность цифровой рекламы в Facebook на различных рынках и в разных странах. В модели — более 80 факторов и их корреляция. Реальная BIG DATA международного масштаба, и все — на российской платформе Luxms BI.
Что в ближайшем будущем планируется у нас в Luxms BI
В наших ближайших планах — выпуск большой версии v8, в которой принципиально будет улучшен функционал Self-Service, как в части ETL, так и в части создания дэшбордов.
Ниже представлены ключевые функции, которые будут доступны в новой версии:
- Полный цикл создания аналитического приложения в привычном при работе с «большой тройкой» западных вендоров формате — от самостоятельной загрузки данных/подключения источника данных без программирования и до создания продвинутых визуализаций на современном обновленном дизайне, в том числе с возможностью выбора шрифтов, тонкой настройки других параметров — без программирования и без захода в административную панель, в интерфейсе «единого окна».
- Автоматическое формирование презентационной и физической моделей данных при загрузке Excel-совместимых файлов, на основе имеющейся в источнике информации.
- Управляющий дэш/правая панель — к возможности выбирать различные фильтры добавились поиск по ключевому слову и радиокнопки (для выбора одного показателя из списка).
Кроме того, будут доступен ряд улучшений базового функционала, таких как:
- Область на карте — теперь на карте можно мышкой выделить область, выделенная область становится фильтром, таким образом можно настроить дэши отображать информацию по выделенной области.
- Кластеризация на карте — база данных отдает кластеры при различных уровнях зума, сама рассчитывает, сколько точек на каких координатах необходимо поставить.