3. Назначение программы
Datamart Platform Studio представляет собой интегрированное многокомпонентное программное обеспечение для конфигурирования и управления гетерогенным ИТ-ландшафтом (включающим публичные и частные облака, ПАКи), а также для развертывания и эксплуатации приложений распределенным способом, реализующим облачную модель предоставления рабочих нагрузок (приложений и сервисов).
Datamart Platform Studio обеспечивает автоматизацию развертывания и настройки, мониторинг и логирование, резервное копирование и восстановление, контроль доступа и защиты конфигураций установленного комплексного ПО, а также предоставляет инструменты формирования и управления многокомпонентными программными сервисами.
Ядром платформы является Программа оркестрации компонентов витрин данных Datamart Platform Studio (Свидетельство ФИПС Роспатента № 2021681309 от 21.12.2021, Единый реестр российских программ для ЭВМ и баз данных № 13423 от 29.04.2022), обеспечивающая функции CI/CD, учета ресурсов, логирования и средства защиты информации (сертификат №4726 ФСТЭК). Платформа также предоставляет модули для подключения виртуальных ресурсов инфраструктуры, сервисов мониторинга платформ виртуализации, пакетирования программных комплексов и портал самообслуживания.
3.1. Область применения
Основным предназначением Программы является автоматизация процессов и минимизация затрат на разворачивание и настройку комплексных услуг по обработке данных (в т.ч. Витрин данных).
Установщик Datamart Platform Studio оптимизирует развертывание услуг и входящих в их состав инсталляций, кластеров, баз данных, приложений, коннекторов и адаптеров с использованием отлаженных и протестированных компонентов Datamart, что позволяет существенно экономить время и избегать множества ошибок при развертывании услуг.
Datamart Platform Studio предоставляет возможность оперативного развертывания из поддерживаемых репозиториев (Gitea, Gitlab) самых свежих версий релизов (в виде бандлов) каждого компонента системы, а также пакетов обновлений. По каждому установленному приложению программа позволяет настраивать параметры, обновлять конфигурации, отслеживать логи.
Datamart Platform Studio позволяет задавать требуемые настройки конфигураций хранилищ, отслеживать статус функционирования приложений и вести контроль ключевых показателей назначения, а также производит централизованное журналирование всех отслеживаемых событий и предоставляет возможность использования инструментов анализа лог-файлов через web-интерфейс Grafana.
Datamart Platform Studio организует удобное масштабирование. Реализует функции управления сайзингом комплексных услуг, позволяя добавлять новые программные и аппаратные компоненты, конфигурировать доступ к серверам через шлюзы, а также добавлять и удалять ресурсы инфраструктуры. В том числе Datamart Platform Studio предоставляет возможность добавления и удаления ресурсов виртуальных Датацентров и управления их настройками в процессе эксплуатации, что позволит создавать и эксплуатировать комплексные информационные системы в отказоустойчивых и геораспределённых конфигурациях.
3.2. Состав компонентов ПО Datamart Platform Studio
ПО Datamart Platform Studio функционирует как набор приложений в контейнерах. Состав контейнеров приведён в таблице:
Приложение |
Имя сервиса |
Версия |
Описание |
Лицензия |
|---|---|---|---|---|
Studio App |
app |
2.7.0 |
Веб-приложение для обеспечения веб-интерфейса к Datamart Platform Studio, синхронизирует работу остальных компонентов системы. В состав контейнера также входят интерпретаторы языков Ruby (версия 3.4.2) и Python (версия 3.11.2) необходимые для выполнения скриптов Datamart Platform Studio, а также Ansible, который обеспечивает удалённое управление конфигурациями, позволяет настраивать удаленные машины и разворачивать компоненты Услуг на виртуальных машинах |
ООО «ИТ1-РТК» |
Studio App ProxyAPI |
proxy_api |
2.7.0 |
Модуль ProxyAPI программы Datamart Platform Studio, разворачивается в отдельном контейнере для обеспечения отказоустойчивости и распределения нагрузки. |
ООО «ИТ1-РТК» |
Sonatype Nexus |
nexus |
3.94.0-12 |
Хранилище объектов для Datamart Platform Studio. Интегрированная платформа управления приложениями Nexus обеспечивает хранение пакетов необходимых для Ansible-бандлов |
Свободно распространяемое ПО под лицензией Apache-2.0 |
СУБД PostgreSQL * |
db |
13.4 |
База данных, в которой хранятся служебные данные, необходимые для работы Datamart Platform Studio |
Свободно распространяемое ПО под лицензией The PostgreSQL Licence |
СУБД Pangolin * |
db |
5.2 - 6.x |
База данных, в которой хранятся служебные данные, необходимые для работы Datamart Platform Studio |
Лицензия СберТех. ПО зарегистрировано в Едином реестре №13436 от 29.04.2022 |
Gitea |
gitea |
1.23.6 |
Система управления репозиториями Git, в которой хранятся Ansible-бандлы приложений |
Свободно распространяемое ПО под лицензией MIT License |
Redis Server |
redis |
7.0.11 |
Резидентная система управления базами данных класса NoSQL с открытым исходным кодом, работающая со структурами данных типа «ключ - значение». Используется для реализации кэшей и брокеров сообщений |
Свободно распространяемое ПО под лицензией BSD-3 |
Angie |
angie, proxy_api_angie |
1.9.1 |
Масштабируемый веб-сервер, бесплатный на базе, используется для организации доступа к веб-интерфейсу Datamart Platform Studio, Proxy API, поддержки протокола http/2 и организации взаимодействия по gRPC. |
Свободно распространяемое ПО под лицензией BSD |
Fluent-bit |
fluentbit |
2.0.8 |
Многоплатформенный инструмент с открытым исходным кодом для сбора и обработки логов. Используется для отправки логов Datamart Platform Studio во внешние сервисы анализа и обработки логов. По умолчанию этот контейнер не запущен. |
Свободно распространяемое ПО под лицензией Apache 2.0 |
Примечание
для работы Datamart Platform Studio используется одна из СУБД (Postgres или Pangolin). Возможна установка в конфигурации, когда СУБД не запускается в отдельном контейнере, а подключение к СУБД производится к сервису внешней СУБД (см. конфигурацию для обеспечения SLA 99.9%).
Модуль ProxyAPI при установке Datamart Platform Studio функционирует внутри контейнера Studio App и может быть развернут в отдельных контейнерах на ВМ услуг при необходимости обеспечения повышенной отказоустойчивости и распределения нагрузки защищаемых Datamart Platform Studio обращений к API компонентов витрин данных.
имя контейнера формируется динамически по шаблону <directory>_<service>_<instance>.
- Например, имя контейнера: datamart_studio_app_1
datamart_studio - название директории, откуда запускаются контейнеры
app - имя сервиса
1 - номер инстанса
3.3. Логическая схема взаимодействия компонентов ПО Datamart Platform Studio
Логическая схема взаимодействия основных компонентов программы Datamart Platform Studio представлена на рисунке
Рисунок 3.1 Логическая схема взаимодействия компонентов
3.4. Уровень доступности
Уровень доступности Datamart Platform Studio определяется условиями доступности инфраструктуры платформы, на которой развернуто ПО.
Доступность измеряется в процентах и рассчитывается по формуле: ((СВД – ВН) / СВД) × 100, где: - СВД – согласованное время доступности Сервиса; - ВН – время недоступности Сервиса (на основании зарегистрированных обращений оператора информационной системы в период ее эксплуатации).
3.5. Диаграмма развертывания
Программа Datamart Platform Studio может быть развернута, как сервис SaaS и функционировать во взаимодействии со внешними для Datamart Platform Studio сервисами журналирования, аудита, мониторинга, логирования, авторизации и аутентификации.
Целевая архитектура развертывания представлена на диаграмме:
Рисунок 3.2 Диаграмма развертывания Datamart Platform Studio
3.6. Диаграмма развертывания для обеспечения SLA 99.5%
При заказе Datamart Platform Studio в качестве параметра «Сервис оркестрации» с показателем уровня доступности 99.5%, «Сервис оркестрации» использует в качестве БД для хранения настроек «Витрины НСУД» СУБД Pangolin, входящую в комплект поставки «Сервиса оркестрации». Для реализации потоковой обработки данных между элементами развертывания «Витрины НСУД» будет использоваться Corax, входящий в комплект поставки «Сервиса оркестрации». БД и ПО потоковой обработки данных будут развернуты в составе Витрины данных на ВМ, заказанных в рамках услуги 1.18 с параметром «Сервис оркестрации». Диаграмма развертывания «Сервиса оркестрации» Datamart Platform Studio для Витрин данных с показателем уровня доступности 99.5% и размером менее 1ТБ представлена на рисунке (см. Рисунок 3.3):
Рисунок 3.3 Диаграмма развертывания Datamart Platform Studio при заказе услуги с показателем уровня доступности 99.5%
3.7. Диаграмма развертывания для обеспечения SLA 99.9%
При заказе Datamart Platform Studio в качестве параметра «Сервис оркестрации» с показателем уровня доступности 99.9%, «Сервис оркестрации» должен использовать в качестве БД для хранения данных «Витрины НСУД» независимый сервис транзакционной СУБД, обеспечивающий SLA 99.9% и для реализации потоковой обработки данных между элементами развертывания «Витрины НСУД» должен использоваться независимый Сервис управления очередями сообщений, основанный на использовании технологий Kafka и Zookeeper, обеспечивающий SLA 99.9%.
Диаграмма развертывания «Сервиса оркестрации» Datamart Platform Studio для Витрин данных с показателем уровня доступности 99.9% и размером менее 1ТБ представлена на рисунке (см. Рисунок 3.4):
Рисунок 3.4 Диаграмма развертывания Datamart Platform Studio при заказе услуги с показателем уровня доступности 99.9%