16.05.2022

Построение аналитической платформы в облаке Yandex Cloud

Создание аналитических платформ для быстрого принятия решений, построения прогнозов и оптимизации процессов актуально для бизнесов различных отраслей – от ритейла до промышленных производств. Разворачивать решения быстро и без лишних затрат позволяют облачные сервисы Yandex Cloud.

Описание задачи

Необходимо построить на предприятии аналитическую платформу данных.

Аналитическая платформа должна:

  1. Обеспечить автоматизированный сбор и хранение данных из различных источников данных.
  2. Обеспечить гибкий доступ для получения данных и построения аналитических отчетов.
  3. Предоставить пользователям возможность исследовать данные в системе Business Intelligence (далее BI).

Источниками данных могут быть:

  1. Управленческая база данных ERP-система;
  2. Технологические данные из АСУ ТП;
  3. Данные из системы MES;
  4. Система АСКУЭ;
  5. Данные видеонаблюдения;
  6. Электронные таблицы в подразделениях;
  7. Внешние источники структурированных и неструктурированных данных (биржевые, котировки, тендеры и пр.).

 

Преимущества облачной архитектуры для построения аналитической платформы

Для достижения целей проекта предлагается развертывание аналитической платформы с использованием вычислительных и аналитических облачных ресурсов Yandex Cloud.

Среди преимуществ использования облачной платформы можно назвать следующие:

  • Не требуется приобретение, установка в специально подготовленных помещениях, запуск, настройка, последующая эксплуатация серверного оборудования и модернизация СКС и ЛВС сетей заказчика;
  • Виртуальные вычислительные ресурсы и сервисы Yandex Cloud по требованию оперативно предоставляются и масштабируются;
  • Гибкое и оперативное изменение архитектуры решения;
  • Гибкое ценообразование — оплата только за то, что используется;
  • Наличие бесплатного сервиса визуализации данных Yandex DataLens;
  • Защита данных соответствует требованиям федерального закона ФЗ № 152, а также индустриальных стандартов GDPR, ISO и PCI DSS;
  • Готовая среда для ML экспериментов
  • Не нужно тратить время на установку и настройку необходимого окружения
  • Поддерживаются все популярные библиотеки, включая TensorFlow, PyTorch, Keras
  • Есть возможность установить свои библиотеки
  • Тарификация только за время вычислений.

Пример архитектуры аналитической платформы

Пример архитектуры аналитической платформы представлен на рисунке 1.

Рисунок 1.  Архитектура аналитической платформы

Предлагаемая архитектура решения строится с использованием следующих сервисов и подсистем:

Debezium – сервис для захвата изменений в базах данных (Change Data Capture) и отправки их на обработку в другие системы. В предложенной архитектуре сервис отслеживает изменения в БД заказчика, осуществляет актуализацию БД в облаке.

Managed Service for Kafka – сервис для первичного хранения потоковых данных, поступающих из различных источников.

Managed Service for ClickHouse – сервис для хранения структурированных данных и быстрого доступа к ним.

Object Storage – универсальное масштабируемое облачное объектное хранилище. В предложенной архитектуре используется для хранения данных различного типа и форматов в неограниченном объеме.

Yandex Data Proc – сервис для обработки многотерабайтных массивов данных с использованием инструментов с открытым исходным кодом, например, таких как Apache Spark™, Apache Hadoop®. В предложенной архитектуре сервис используется для обработки больших данных, получения аналитических отчетов и построения ML моделей.

Yandex DataLens – сервис визуализации и анализа данных. Предоставляется бесплатно,
без ограничений на количество пользователей и запросов.

Примерная стоимость потребления облачных ресурсов в месяц из расчета 1 ТБ структурированных данных составляет 100,000 рублей*, создание видеоархива для данных объемом около 50 ТБ — 90,000 рублей*.

Результаты внедрения решения

В результате внедрения и запуска решения заказчик получает действующую аналитическую систему, построенную на облачных сервисах Yandex Cloud, которая позволяет:

  • Осуществлять автоматизированный сбор и хранение структурированных/неструктурированных данных, независимо от источника, формата и объема данных.
  • Гибко использовать различный инструментарий для обработки многотерабайтных массивов данных и внедрять решения для аналитической обработки данных с помощью современных методов анализа и обработки данных: AI, ML, и др.
  • Осуществлять визуализацию результатов обработки данных из разных источников данных в удобном и наглядном для пользователя виде (таблицы, графики, аналитические дашборды), моделировать производственные, экономические сценарии работы, развития предприятия, с визуализацией результатов моделирования для последующего анализа и принятия управляющих решений.
  • Эффективно использовать, а также по требованию оперативно и гибко наращивать, и масштабировать вычислительные ресурсы, внедрять интеллектуальные сервисы для решения производственных задач.

Дальнейшее масштабирование и развитие платформы

Аналитическая платформа, построенная на облачных сервисах Yandex Cloud, позволяет масштабировать виртуальные вычислительные и сетевые ресурсы по требованию; технологии хранения, обработки и визуализации данных не ограничены типом и объемами данных.

С помощью сервиса визуализации и анализа данных Yandex DataLens можно собирать дашборды напрямую из облачной БД для мониторинга ключевых бизнес-метрик, строить визуализации и делиться полученными результатами.

В качестве последующего развития предложенной к внедрению аналитической платформы Beltel Datanomics предлагает внедрение различных решений по исследованию и анализу собираемых данных, с целью повышения эффективности производственных процессов, повышению качества выпускаемой продукции, точности планирования и прогноза доходов и расходов.

В ходе проработки потенциальных проектов предлагается:

  • определить совместно с заказчиком и сформулировать приоритетные аналитические задачи, в том числе с использованием технологий искусственного интеллекта и машинного обучения;
  • провести сбор и предварительную обработку данных для построения аналитической модели решения;
  • выполнить исследовательский анализ данных;
  • построить модель машинного обучения, проверить ее точность и эффективность;
  • внедрить решение в промышленную эксплуатацию и предоставить дальнейшее обслуживание.

Результатами предложенных работ по развитию аналитической платформы могут являться:

  • Совершенствование технологии производства и снижение брака;
  • Улучшение качества планирования, точности прогноза доходов и расходов;
  • Оптимизация расхода материалов и снижение себестоимости;
  • Сокращение жизненного цикла продукции;
  • Увеличение количества прорабатываемых запросов;
  • Своевременное обеспечение материалами;
  • Снижение уровня неликвидных остатков.

Дополнительно

Облачная аналитика для промышленности. Как внедрять ИИ уже сегодня (datanomics.ru)

Снижение рисков инновационных проектов или как помочь проекту взлететь (datanomics.ru)

Чек лист для запуска проектов AI на производстве (datanomics.ru)

Оставьте заявку и получите бюджет и план внедрения наших решений в ваш бизнес

    Заполняя форму, Вы соглашаетесь с правилами обработки персональных данных.

    Мы используем файлы cookies, чтобы получать статистику и делать наш сайт и другие сервисы удобными для вас. Продолжая дальнейшее использование сайта и/или его сервисов, вы соглашаетесь с этим. Более подробную информацию можно прочитать в «Политика обработки персональных данных» и в «Политика Cookies»