18. Дополнительные инструменты
18.1. Визуализация компонентов и связей услуги
Во вкладке «Диаграмма» для услуги отображается список добавленных инсталляций, кластеров и связей между ними в режиме диаграммы:
Рисунок 18.1 Диаграмма компонентов и связей услуги
18.2. Данные для настройки систем ИБ и антивирусов
В меню услуги типа «Витрина данных» можно посмотреть сводные данные по серверам, ОС, директориям, ip и портам инсталляций приложений задействованных для функционирования выбранной Витрины данных (см. Рисунок 18.2).
В списке приводится необходимая информация для конфигурирования систем ИБ, антивирусов и файрволов.
Рисунок 18.2 Список директорий и портов
18.3. Лог конфигурации услуги в виде инструкции по установке
По каждой витрине данных автоматически собирается лог конфигурации в котором приводится информация по:
Общая информация по витрине;
Предварительные условия установки;
Список ЦОД и серверов, на которых разворачивается витрина;
Список компонентов для установки;
Список кластеров для установки;
Команды по настройке компонентов витрины и связям интерфейсов;
Получить данную информацию можно в меню управления витрины в разделе Лог конфигурации (см. Рисунок 18.3)
Рисунок 18.3 Инструкция по установке и настройке витрины данных
18.4. Список лицензий
В разделе «Лицензии и сертификаты» перечислен список используемых в текущей версии Datamart Platform Studio лицензий на приложения, поставляемые в наборе бандлов (см. Рисунок 18.4).
Если Вы добавляете бандлы с собственным ПО, необходимо добавить в список данные о лицензии.
Рисунок 18.4 Список лицензий
18.5. Защита и ограничение доступа к интерфейсам инсталляций и кластеров
Datamart Platform Studio предоставляет возможность организации защищенного доступа к эндпоинтам (веб-интерфейсам и API) приложений установленной услуги в закрытом контуре, когда прямой доступ к компонентам услуги заблокирован сетевым администратором.
В разделе «Карточка компонента» услуги выводится список доступных интерфейсов приложений услуги следующих категорий:
WEB / HTTP интерфейсы
API интерфейсы - эндпоинты API компонентов услуги (Раздел 16 Использование Proxy API)
Метрики - эндпоинты, предоставляющие метрики компонентов услуги в реальном времени
Защита доступа к WEB / HTTP интерфейсам инсталляций осуществляется посредством установки дополнительного приложения «Защитник».
Защита доступа к API интерфейсам осуществляется посредством встроенного в |prod|механизма Proxy API и требует авторизации по токену. При помощи настроек ролей доступа можно разграничить доступ к различным эндпоинтам нескольких приложений в рамках услуги по для разных пользователей, в соответствии с требованиями бизнес-логики.
Доступ к эндпоинтам метрик осуществляется приложением мониторинга, проксирование и авторизация запросов к метрикам не производится. Доступ приложениям мониторинга к эндпоинтам метрик настраивается сетевым администратором. В стандартной конфигурации приложение мониторинга находится в одном контуре с приложениями услуги.
Рисунок 18.5 Список доступных эндпоинтов услуги
18.5.1. WEB / HTTP интерфейсы
При клике на соответствующий веб-интерфейс открывается окно доступа к веб-интерфейсу выбранного приложения.
Разрешение на доступ к веб-интерфейсам Datamart Platform Studio предоставляются только пользователям с ролью: superadmin, web_interface
18.5.2. Средство наложенной защиты доступа к веб-интерфейсу инсталляций
Установленные в рамках услуги приложения могут не иметь собственных средств аутентификации и авторизации и предоставлять доступ к веб-интерфейсу по незащищённому протоколу HTTP.
Для выполнения требования безопасности по организации авторизованного доступа по защищённому протоколу HTTPS из Datamart Platform Studio к веб-интерфейсам инсталляций приложений в закрытом контуре, требуется установка дополнительного приложения «Защитник». Прямой доступ к веб-интерфейсам должен быть заблокирован средствами сетевого администратора.
В этом случае, доступ к веб-интерфейсам инсталляций приложений будет предоставляться только при обязательной авторизации в Datamart Platform Studio и только по протоколу HTTPS с использованием ключей, сгенерированных в Datamart Platform Studio.
Веб-интерфейсы, доступ к которым обеспечивается средствами «Защитника» в Datamart Platform Studio помечаются в списке веб-интерфейсов Услуги специальным значком.
Для доступа к веб-интерфейсам потребуется добавить соответствующий хост и сертификат в список доверенных для браузера пользователя, которому требуется использовать защищенный доступ к интерфейсу
Рисунок 18.6 Отображение веб-интерфейса инсталляции в окне «Защитника»
Примечание
IP-адрес в заголовке окна после слов «Соединение защищено» отображает адрес клиента, от имени которого происходит соединение.
18.5.3. Установка приложения «Защитник»
Установка «Защитника» (Haproxy lua protector) должна производиться на сервер, с которого есть прямой доступ к серверу, на котором установлено приложение, к которому требуется организовать авторизованный доступ по протоколу HTTPS. Haproxy lua protector может быть установлен на том же сервере, что и защищаемое приложение.
После добавления, требуется исходящий интерфейс «Защитника» связать с входящим защищаемого приложения. Если связывание интерфейсов происходит уже после установки «Защитника» на сервер, то потребуется выполнить действие «Применение конфигурации».
Примечание
При первом подключении потребуется добавить сертификат https://<хост защитника>:<порт вх интерфейса защитника> в список исключений браузера.
При необходимости установки нескольких защищённых каналов доступа к веб-интерфейсам приложений, потребуется установить несколько Защитников на разных серверах и, соответственно, добавить несколько сертификатов.
18.6. Сводная таблица услуг организации
В меню управления организации есть возможность выгрузить в формате CSV сводный список данных по всем услугам добавленным в Datamart Platform Studio для данной организации:
Рисунок 18.7 Сводная таблица услуг организации в формате CSV
Примечание
Выгрузку сводной таблицы услуг организации в формате CSV можно также получить при помощи обращения к API Datamart Platform Studio.
18.7. Интеграция с гипервизорами (платформами виртуализации)
18.7.1. Общие положения
Для взаимодействия с инфраструктурой серверов в Datamart Platform Studio может быть задействован модуль интеграции с гипервизорами (ГВ). Интеграция в гипервизорами позволяет решить следующие задачи:
синхронизировать инфраструктуру подключения в Datamart Platform Studio;
создать новые ДЦ в подключении (только для подключения к Базис.Dynamix);
настроить доступ к сетям подключения;
создать новые виртуальные машины в рамках подключения;
создать и развернуть услугу в инфраструктуре гипервизора.
В текущей конфигурации Datamart Platform Studio доступно подключение к следующим типам гипервизоров (платформ виртуализации):
Базис.Dynamix;
VMWare.
18.7.2. Настройка подключения к аккаунту
Для создания подключения к аккаунту гипервизора требуется в разделе «Гипервизоры» нажать на кнопку «Добавить гипервизор», выбрать тип подключения и внести необходимые данные аккаунта для подключения (см. Рисунок 18.8):
Рисунок 18.8 Настройка подключения к аккаунту гипервизора
18.7.3. Интеграция с гипервизором Базис.Dynamix
18.7.3.1. Создание ДЦ на базе РГ гипервизора
После успешного подключения к гипервизору, будет прочитан список доступных ресурсных групп. Эти группы могут уже содержать ВМ. Datamart Platform Studio позволяет создать новый ДЦ на базе существующей РГ, при этом все ВМ связанной РГ будут синхронизированы и добавлены в Datamart Platform Studio в качестве серверов ДЦ (см. Рисунок 18.9).
При создании нового ДЦ в организации можно выбрать доступные для данной организации подключения к Базис.Dynamix. Создаваемый ДЦ можно подключить к любой доступной РГ выбранного подключения.
Рисунок 18.9 Создание ДЦ на базе РГ
Примечание
После подключения ДЦ к конкретной ресурсной группе гипервизора, настройки подключения будут заблокированы. Выбранная ресурсная группа жёстко закрепляется за конкретным ДЦ в Datamart Platform Studio.
18.7.3.2. Создание ДЦ с созданием РГ гипервизора
При создании нового ДЦ из карточки гипервизора, пользователю будет предложено внести характеристики РГ, которая будет автоматически создана и подключена к вновь созданному ДЦ (см. Рисунок 18.10).
Рисунок 18.10 Создание ДЦ с созданием РГ гипервизора
18.7.3.3. Подключение ДЦ к РГ гипервизора
В случае необходимости подключения ранее созданного ДЦ к гипервизору, необходимо подключить данный ДЦ к одной из доступных РГ гипервизора (в которой могут быть созданы ВМ). Для этого в карточке ДЦ необходимо выбрать доступное подключение и РГ для подключения к текущему ДЦ (см. Рисунок 18.11).
После подключения будет запущена процедура синхронизации. В случае совпадения hostname сервера в ДЦ с именем ВМ в РГ гипервизора, Datamart Platform Studio связывает серверы с соответствующими ВМ подключения. IP-адрес сервера в рамках процесса синхронизации в Datamart Platform Studio будет автоматически обновлен на IP-адрес связанной ВМ в Гипервизоре. Статус серверов ДЦ, для которых при подключении не удалось найти соответствующую ВМ в рамках подключенной ресурсной группы, будут иметь статус «Отключен». Для создания ВМ необходимо через меню групповых действий выбрать отключенные серверы и выполнить команду «Создать ВМ».
Рисунок 18.11 Подключение ДЦ к РГ гипервизора
В списке дата-центров в колонке «Гипервизор» отображается статус подключения к гипервизору - ID ресурсной группы и статус этой РГ в гипервизоре, который фиксируется Datamart Platform Studio при синхронизации данных РГ подключения (см. Рисунок 18.12). Статус подключения к гипервизору также выводится в карточке ДЦ.
Рисунок 18.12 Отображение статуса подключения ДЦ к РГ
18.7.3.4. Добавление шаблона сервера
Во вкладке «Шаблон сервера» в ДЦ с РГ можно добавить параметры, используемые по умолчанию, для добавляемого сервера и связанной с ним ВМ:
Рисунок 18.13 Шаблон сервера в ДЦ с РГ
CPU - количество vCPU ВМ в Гипервизоре;
RAM - vRAM ВМ в Гипервизоре (Гб);
Размер системного диска - VDA ВМ в Гипервизоре (Гб);
Размер диска данных - VDB ВМ в Гипервизоре (Гб). Монтируется по умолчанию в /opt;
Название образа системы - имя образа ОС для создаваемой ВМ в Гипервизоре;
Тип сети - сеть в гипервизоре, в которой будет зарегистрирована ВМ;
Шаблон FQDN - шаблон, который будет использован для генерации уникального hostname сервера (соответствует имени ВМ в РГ гипервизора).
Пример шаблона FQDN:
{$server_name}.i405.cl02.{$hv_account_id}.{$hv_rg_id}.{$cod_id}.gcloud.rt.ru
, где можно указать следующие переменные для автоматической подстановки:
server_name - техническое наименование сервера;
hv_account_id - ID аккаунта в гипервизоре (указано в настройках подключения к гипервизору);
hv_rg_id - ID РГ в гипервизоре;
cod_id - ID текущего ДЦ.
18.7.3.5. Добавление серверов в ДЦ с РГ
При добавлении сервера в ДЦ, подключенном к гипервизору, Datamart Platform Studio позволяет сразу ввести характеристики связанной ВМ, которая будет создана в РГ подключения (см. Рисунок 18.14).
При добавлении потребуется ввести:
Техническое наименование - уникальное имя сервера в ДЦ, которое будет использовано для автоматической генерации имени хоста на основании шаблона сервера в ДЦ (см. раздел Раздел 18.7.3.4 Добавление шаблона сервера);
IP - адрес можно оставить пустым или указать 0.0.0.0;
CPU - количество vCPU ВМ в Гипервизоре;
RAM - vRAM ВМ в Гипервизоре (Гб);
Размер VDA - Системный диск. VDA ВМ в Гипервизоре (Гб);
Размер VDB - Диск данных. VDB ВМ в Гипервизоре (Гб). Монтируется по умолчанию в /opt;
Название образа системы - имя образа ОС в Гипервизоре, на базе которого будет создана ВМ;
Тип сети - сеть в гипервизоре, в которой будет зарегистрирована ВМ.
Если при создании для ВМ указан определенный IP-адрес, он будет назначен для этой ВМ в указанной при создании сети гипервизора. Если IP-адрес не указан, то при создании ВМ он будет назначен из выбранной сети автоматически и после создания ВМ этот адрес будет прочитан из гипервизора и записан в аккаунт сервера в ДЦ в Datamart Platform Studio.
Рисунок 18.14 Добавление сервера в ДЦ с РГ
Примечание
При создании ВМ в ДЦ с РГ ssh-ключ ДЦ добавляется на ВМ автоматически
Примечание
После создания соответствующей ВМ в гипервизоре и синхронизации в поле ID ВМ Гипервизора будет занесен идентификатор ВМ, соответствующей данному аккаунту сервера в Datamart Platform Studio.
Добавление списком
При добавлении списка серверов все вышеперечисленные параметры требуется ввести в списке (см. раздел Добавление серверов списком Раздел 3.2.2). Значение образа ОС и сети гипервизора указываются в дополнительных параметрах и устанавливаются для всего списка добавляемых серверов.
Если параметр сервера не указан в списке, он будет иметь значение, соответствующее шаблону сервера в ДЦ.
Если вместо hostname сервера указан знак «?», то hostname будет сгенерирован автоматически на основании шаблона FQDN в шаблоне ДЦ (см. раздел Раздел 18.7.3.4 Добавление шаблона сервера).
После добавления серверов списком, необходимо выбрать их и выполнить групповое действие Создать ВМ (см. Рисунок 18.15).
Рисунок 18.15 Добавление списка серверов в ДЦ с РГ
18.7.3.6. Синхронизация данных
При синхронизации данных ГВ обновляются следующие списки:
Список ресурсных групп ГВ и их статус;
Список доступных образов для создания ВМ;
Список сетей ГВ;
Список NAT-правил, установленных для сетей в ГВ;
При синхронизации ДЦ с привязанной РГ ГВ производятся следующие действия:
В ДЦ добавляются новые серверы, на основании ВМ в РГ, если они ранее не были добавлены;
Для серверов ДЦ, которые уже связаны с ВМ в ГВ производится процедура синхронизации данных сервера;
Первичная синхронизация ДЦ
При первичном выполнении процедуры синхронизации ДЦ с РГ гипервизора, когда в ДЦ присутствуют серверы, не привязанные к ВМ из РГ, из РГ будут прочитаны имена всех ВМ и поставлены в соответствие с серверами с совпадающими hostname. IP адрес сервера будет прочитан из ВМ ГВ и установлен вместо текущего IP сервера, если они отличаются.
Если в РГ гипервизора присутствуют ВМ, для которых нет соответствующих записей в списке серверов в связанном с ней ДЦ, то в процессе синхронизации создаются соответствующие записи в ДЦ Datamart Platform Studio для каждой такой ВМ.
Синхронизация серверов, связанных с ВМ
При запуске процедуры синхронизации, информация о соответствующей серверу ВМ считывается из гипервизора и данные о сервере обновляются в соответствии с параметрами ВМ.
Обновляется следующая информация сервера:
ip-адрес
hostname (соответствует имени ВМ в гипервизоре)
Количество ядер
Размер оперативной памяти
Размер дисков (общий, hda, hdb)
Изменение настроек сервера и связанной ВМ
При изменении настроек сервера, таких как hostname, FQDN, IP, Сеть соответствующие настройки асинхронно изменены будут запрошены асинхронно для соответствующей серверу ВМ в ГВ по REST API.
18.7.3.7. Действия с ВМ из аккаунта сервера
Для серверов, подключенных к ВМ гипервизора из меню управления доступны следующие действия с ВМ (см. Рисунок 18.16):
Синхронизировать;
Восстановить из корзины;
Добавить диск (с указанием размера и точки монтирования);
Запустить;
Остановить;
Пауза;
Возобновить;
Перезагрузить;
Перезапустить;
Рисунок 18.16 Управление ВМ из аккаунта сервера
18.7.3.8. Удаление сервера и связанной ВМ
При удалении сервера со связанной ВМ в ГВ у пользователя Datamart Platform Studio есть возможность выбрать несколько вариантов действий (см. Рисунок 18.17):
Для объекта сервера в Datamart Platform Studio:
Удаление сервера - удаляет запись об объекте сервера, при этом со связанной ВМ не производится никаких действий;
Сброс compute_id - отвязывает объект сервера от конкретной ВМ в Гипервизоре;
Для связанной с сервером ВМ в Гипервизоре:
Перманентное удаление - удаляет ВМ, освобождая назначенные для ВМ ресурсы;
Удаление в корзину - удаляет ВМ, оставляя зарезервированными ресурсы. ВМ можно в любой момент восстановить без потери данных;
Рисунок 18.17 Удаление сервера и связанной ВМ
18.7.3.9. Список сетей
Во вкладке «Сети» для объекта гипервизора отображается список всех доступных сетей, информация о которых получена при синхронизации.
Во вкладке «Используемые сети» для ДЦ отображаются только те сети, которые используются серверами данного ДЦ, а также сеть назначенная по умолчанию для ресурсной группы данного ДЦ.
Во вкладке «Доступные сети» для ДЦ отображаются все сети, которые могут быть потенциально задействованы для конфигурации сетевых подключений ВМ в данном ДЦ.
Рисунок 18.18 Список доступных сетей ДЦ
В карточке сервера, во вкладке «Сети» отображается список сетей, назначеннных для выбранного сервера.
18.7.3.10. Настройка NAT-правил
В случае, если ВМ в РГ гипервизора получают IP-адреса из публичного пула адресов, то к ВМ может быть осуществлен прямой доступ по IP-адресу или FQDN.
Если ВМ создаются во внутренней сети (или в сети, доступ к которой ограничен сетевым администратором), то для доступа к ним потребуется настроить шлюз. В Datamart Platform Studio для подключения к внутренней сети РГ используется ssh доступ через jump-host. В качестве jump-host необходимо выбрать одну из ВМ в РГ, к сети которой требуется организовать доступ и указать порты, для которых необходимо настроить NAT-правила для доступа по ssh. Процесс настройки доступа к ВМ в закрытой сети при помощи маршрута SSH описан в разделе Раздел 4 Настройка маршрутов SSH и доступ к сетям.
Список добавленных NAT-правил для гипервизора отображается во вкладке «Сети» (см. Рисунок 18.19).
Рисунок 18.19 Список добавленных NAT-правил для гипервизора
Если для доступа к серверам в ДЦ требуется добавить отдельные более сложные правила доступа, то это можно сделать, как описано в разделе Раздел 4 Настройка маршрутов SSH и доступ к сетям.
18.7.4. Интеграция с VMWare
18.7.4.1. Синхронизация данных подключения
После создания подключения к VMWare, выполняется синхронизация объектов подключения в Datamart Platform Studio. Синхронизация выполняется автоматически или вручную, при нажатии на кнопку «Синхронизировать» в подключении (см. Рисунок 18.20).
Рисунок 18.20 Синхронизация объектов VMWare
При запуске процедуры синхронизации, в Datamart Platform Studio создаются или обновляются следующие объекты подключения(см. Рисунок 18.21):
Дата-центры;
Хосты;
Датасторы;
Пулы ресурсов;
Сети;
Виртуальные машины;
Диски виртуальных машин.
Рисунок 18.21 Объекты подключения VMWare
Примечание
Так как создание витруальной машины в VMWare доступно только из настроенного шаблона сервера, необходимо предварительно настроить шаблоны серверов в аккаунте VMWare.
В процессе синхронизации данных вирутальных машин аккаунта VMWare в Datamart Platform Studio создаются соответствующие серверы, характеристики которых соответствуют данным виртуальных машин подключения. При синхронизации в Datamart Platform Studio обновляются следующие данные:
ip-адрес;
имя хоста;
количество ядер CPU;
размер оперативной памяти RAM;
операционная система;
технический статус;
список сетевых карт;
список дисков виртуальной машины.
18.7.4.2. Создание сервера в ДЦ VMWare
Примечание
Для корректной работы и автоматической конфигурации сетевых параметров виртуальных машин, необходимо убедиться, что во всех шаблонах виртуальных машин настроен DHCP (Dynamic Host Configuration Protocol). DHCP позволяет автоматически назначать IP-адреса, шлюзы и другие сетевые настройки, что упрощает управление сетевой инфраструктурой и предотвращает конфликты IP-адресов. Неправильная настройка DHCP может привести к проблемам с подключением виртуальных машин к сети и их взаимодействием с другими системами.
Процесс создания сервера в Datamart Platform Studio и создание связанной ВМ в дата-центре VMWare состоит из следующих шагов:
заполнение формы создания сервера в ДЦ VMWare (см. Рисунок 18.22);
выбор хоста и шаблона сервера для будущей виртуальной машины;
редактирование CPU и RAM виртуальной машины в случае необходимости;
сохранение данных сервера в Студии;
выполнение запроса на создание ВМ в VMWare в соответствии с заполненными пользователем характеристиками;
в случае успешного создания виртуальной машины, синхронизации данных созданной ВМ с созданием соответствующих связанных объектов в Datamart Platform Studio.
Рисунок 18.22 Форма создания сервера VMWare
18.7.4.3. Действия с ВМ
Управление виртуальной машиной
Для виртуальных машин подключенных к платформе виртуализации VMWare в меню управления сервером в разделе «Управление ВМ» доступен следующий список действий (см. Рисунок 18.23):
создать ВМ (только для серверов, для которых еще не создана виртуальная машина);
синхронизировать;
восстановить из корзины;
добавить диск;
запустить;
приостановить;
перезапустить;
выключить.
Рисунок 18.23 Управление виртуальной машиной VMWare
Управление характеристиками виртуальной машины
Изменить характеристики связанной ВМ в VMWare можно путем редактирования связанного с виртуальной машиной сервера в Datamart Platform Studio. Для этого необходимо открыть форму редактирования сервера и изменить данные в полях CPU и RAM (см. Рисунок 18.24). После сохранения данных сервера, будет выполнено обновление характеристик связанной ВМ в подключении VMWare.
Рисунок 18.24 Изменение характеристик виртуальной машиной VMWare
Управление дисками виртуальной машины
Во вкладке Диски карточки сервера отображаются данные дисков связанной витруальной машины VMWare (см. Рисунок 18.25). Пользователь имеет возможность добавить или удалить диск виртуальной машины.
Рисунок 18.25 Вкладка Диски виртуальной машины
При нажатии кнопки «Добавить диск» открывается форма создания нового диска (см. Рисунок 18.26). В данной форме необходимо заполнить следующие поля:
наименование диска (в процессе создания диска VMWare наименование диска может быть изменено);
тип адаптера;
объем диска.
Рисунок 18.26 Добавление диска
При необходимости удаления диска, в списке дисков у нужного диска выбрать действие Удалить и подтвердить его в диалоговом окне (см. Рисунок 18.27).
Рисунок 18.27 Удаление диска
18.7.4.4. Удаление сервера и связанной ВМ
При удалении сервера Datamart Platform Studio, имеющего связанную ВМ в гипервизоре VMWare у пользователя Datamart Platform Studio есть возможность выбрать несколько вариантов действий (см. Рисунок 18.28):
для объекта сервера в Datamart Platform Studio: - удалить сервер в Студии - выполнится удаление сервера в Datamart Platform Studio; - сбросить compute_id - сервер Datamart Platform Studio будет отвязан от связанной ВМ VMWare;
для связанной с сервером ВМ в Гипервизоре: - удалить ВМ перманентно - выполнится удаление связанной виртуальной машины в VMWare; - оставить ВМ в гипервизоре - не выполнять никаких действий в ВМ в VMWare.
Рисунок 18.28 Удаление сервера и связанной ВМ в Дата-центре VMWare
18.8. Управление автоматизацией развертывания и эксплуатации услуги
В Datamart Platform Studio реализована возможность управления автоматизацией развертывания и эксплуатации услуг с использованием шагов и сценариев.
Шаг - структурный элемент сценария, представляющий собой исполняемый код, который выполняется на основании входящего контекста шага, и возвращает, в случае необходимости, исходящий контекст.
Сценарий - объект Datamart Platform Studio, представляющий собой последовательность шагов, совокупность которых выполняет определенный процесс автоматизации, выполняющийся по определенному действию в Datamart Platform Studio (хуку).
18.8.1. Каталог шагов
В каталоге шагов Datamart Platform Studio отображаются все доступные к использованию шаги (см. Рисунок 18.29):
Рисунок 18.29 Каталог шагов Datamart Platform Studio
Шаги разделяются на системные и пользовательские:
системные шаги входят в поставку Datamart Platform Studio, полный их список доступен сразу после установки и конфигурации Datamart Platform Studio;
пользовательские шаги - шаги, реализуемые пользователями Datamart Platform Studio, которые распространяются посредством репозиториев
dms-step-*(аналогично бандлам приложений).
Шаги в каталоге поддерживают версионирование. При обновлении версии шага, в каталоге будут отображаться все доступные версии обновленного шага.
18.8.1.1. Системные шаги
К системным шагам относятся шаги, выполняющие асинхронные функции в Datamart Platform Studio, которые могут потребоваться при развертывании, установке и эксплуатации некоторых услуг.
Системные шаги в каталоге разрабатываются и редактируются разработчиками Datamart Platform Studio. Системные шаги поставляются в комплекте Datamart Platform Studio и обновляются при ее обновлении.
Шаг отправки почтовых уведомлений
Системный шаг отправки почтовых уведомлений позволяет отправить внешнее сообщение пользователю по адресу электронной почты. Заголовок, текст и почтовый адрес получателя указываются в настойках шага автоматизации в рамках сценария.
Подключение к почтовому серверу выполняется по протоколу SMTP c шифрованием SSL/TLS.
Настройки подключения к почтовому северу и адрес отправителя указываются в .env файле переменных окружения Datamart Platform Studio.
18.8.1.2. Пользовательские шаги
В случае необходимости реализации дополнительного функционала, в том числе при интеграции Datamart Platform Studio со внешними системами пользователя, допустима разработка пользовательских шагов и загрузка их в Datamart Platform Studio из репозитория.
Пользовательские шаги разрабатываются на любом удобном пользователю языке программирования и могут быть добавлены в Datamart Platform Studio посредством добавления кода шага и мета-информации о нем в хранилище репозиториев в репозитории формата dms-step-*.
Взаимодействие пользовательских шагов с объектами Datamart Platform Studio ограничено и производится только в рамках входного контекста и возвращаемых атрибутов.
Настройка параметров шага
Файл настройки шага step.yml содержит следующие данные:
Описание метаданных шага;
Описание конфигурации контейнера;
Описание объектов платформы, к которым может быть применен шаг;
Описание входящего контекста, передаваемого из Datamart Platform Studio в исполняемый код шага;
Описание выходных данных шага;
Перечень событий, для которых может выполняться шаг.
Блок описания метаданных шага содержит следующие параметры шага:
Наименование шага;
Описание шага;
Техническое наименование шага;
Версия шага;
Язык программирования, используемый в шаге;
Число повторений шага.
В блоке описания конфигурации контейнера должны быть указаны наименование образа и таймаут шага:
Блок описания входящего контекста шага содержит следующие данные:
Список необходимых атрибутов, используемых в шаге объектов Datamart Platform Studio;
Список используемых в шаге настроек, включая глобальные настройки.
Блок описания исходящего контекста шага содержит список исходящих атрибутов объектов шага, которые будут обновлены в Datamart Platform Studio.
Формат описания файла step.yml:
# Описание мета-данных шага
title: Проверка IP
description: Функция проверки доступности IP во внешней системе IPAM
name: ip-check
version: 1.0.1
language: ruby
retry_count: 3
# Описании конфигурации контейнера для запуска функции
container:
image: "ruby:3.0"
timeout: 15
run: ruby handler.rb # передача параметра context добавляется автоматически на уровне вызова
# Перечень объектов платформы, к которым может быть применима данная функция
subjects:
- server
- data_center
# Характеристики входящего контекста
context:
common:
- id
- name
- status
properties: # настройки, передаваемые из студии
global: # глобальные переменные
- platform::ipam
- platform::dns
installation: # настройки для модели, в примере — installation, должны иметь такой же name среди связанных properties
- nexus
- kafka_url
server:
- ip
data_center:
- consumed_public_ips
- public_ips_limitation
installation:
- version
# Описание ожидаемых выходных результатов
outputs:
common:
- status
server:
- ip
data_center:
- public_ips_limitation
# Перечень хуков (событий) в которых может вызываться степ (any — любые)
hooks:
- any
18.8.2. Каталог сценариев
В Datamart Platform Studio реализован каталог шаблонов сценариев, в каждом из которых могут быть использованы один или несколько шагов. Любой опубликованный шаблон сценария в каталоге может быть назначен одной или нескольким услугам в Datamart Platform Studio (см Рисунок 18.30):
Рисунок 18.30 Каталог сценариев Datamart Platform Studio
Примечание
Шаблоны сценариев в каталоге могут создавать и редактировать пользователи в ролями superadmin и scenario_system_editor.
18.8.2.1. Добавление сценария в каталог
Для добавления сценария в каталог сценариев Datamart Platform Studio пользователю с соответствующей ролью необходимо выполнить следующие шаги:
В списке каталога сценариев нажать на кнопку «Добавить шаблон сценария», заполнить и сохранить данные формы (см Рисунок 18.31):
Рисунок 18.31 Форма создания сценария
Примечание
Рекомендуется не активировать чек-бокс «Опубликовано» до завершения конфигурации сценария.
Для сценария можно настроить следующее поведение в случае успешного или неуспешного выполнения:
В случае успешного выполнения сценария:
Остановка;
Переход к конкретному сценарию в цепочке сценариев;
Переход к следующему сценарию в цепочке сценариев;
В случае неуспешного выполнения сценария:
Остановка;
Пропуск (неуспешное выполнение сценария не будет останавливать следующие за ним сценарии и действия);
Переход к конкретному сценарию в цепочке сценариев;
Переход к следующему сценарию в цепочке сценариев.
Открыть список шагов сценария и добавить шаг (см Рисунок 18.32):
Рисунок 18.32 Добавление шага к сценарию
Выбрать один из доступных шагов каталога (см Рисунок 18.33):
Рисунок 18.33 Выбор шага из каталога
Заполнить данные шага, включая контекст и поведение в случае успеха или неуспеха сценария (см Рисунок 18.34):
Рисунок 18.34 Форма добавления шага к сценарию
Для шага можно настроить следующее поведение в случае успешного или неуспешного выполнения:
В случае успешного выполнения шага:
Остановка;
Переход к выбранному шагу сценария;
Переход к следующему шагу сценария;
В случае неуспешного выполнения шага:
Остановка (сценарий завершится ошибкой);
Пропуск (неуспешное выполнение шага не будет останавливать следующие за ним шаги);
Попытка выполнить шаг повторно (число допустимых повторов в случае ошибки можно также указать в настройках шага);
Переход к выбранному шагу сценария;
Переход к следующему шагу сценария.
Добавить другие шаги шаблона и определить их последовательность при выполнении сценария (см Рисунок 18.35):
Рисунок 18.35 Изменение порядка шагов в сценарии
В форме редактирования сценария активировать чек-бокс «Опубликовано», чтобы шаблон стал доступен к выборе в списке шаблонов услуги.
18.8.3. Добавление сценария к услуге
Примечание
Добавление сценариев к услуге доступно пользователям с ролями superadmin и scenario_editor.
При добавлении сценария к услуге можно определить инициирующее событие, которое будет автоматически запускать добавленный сценарий.
Список доступных инициирующих событий:
До/после смены статуса услуги;
До/после добавления инсталляции услуги;
До/после запуска плейбука инсталляции;
До/после запуска плейбука или вызова API сервера услуги.
Примечание
Если сценарий выполняется до инициирующего события, то в случае остановки сценария, выполнение события будет остановлено Datamart Platform Studio.
Для добавления сценария к услуге необходимо выполнить следующие действия:
Открыть раздел «Сценарии» и нажать кнопку «Добавить сценарий» (см Рисунок 18.36):
Рисунок 18.36 Добавления сценария к услуге
В открывшейся форме выбрать шаблон сценария и инициирующее событие, к которому будет привязан сценарий (см Рисунок 18.37) и нажать кнопку «Далее»:
Рисунок 18.37 Выбор шаблона и инициирующего события
На следующем шаге, при необходимости, изменить наименование сценария, а также настройки поведения при успешном или неуспешном выполнении сценария, указанные в шаблоне.
Примечание
При создании сценария из шаблона каталога, настройки, последовательность и контекст шагов сценария соответствует шаблону. Перед первым запуском сценария необходимо проверить и изменить в случае необходимости контекст шагов сценария и поведение в случае их успешного или неуспешного выполнения.
18.8.3.1. Добавление сценария без использования шаблона
Пользователь может добавить к услуге сценарий без использования готового шаблона. Для этого при добавлении сценария необходимо оставить пустым поле «Шаблон» и выполнить все шаги, описанные в разделе Раздел 18.8.2.1 Добавление сценария в каталог.
18.8.4. Управление сценариями услуги
Для каждого доступного события услуги можно добавить один или несколько сценариев услуги. Последовательность выполнения сценариев определена их порядком в списке сценариев инициирующего события (см Рисунок 18.38).
Список доступных действий со сценариями услуги:
Редактирование настроек сценария;
Настройка списка шагов сценария и их последовательности;
Ручной запуск сценария;
Удаление сценария.
Рисунок 18.38 Список доступных действий со сценарием услуги