3. Настройка подключений к инфраструктуре
Установка компонентов услуг может производиться на серверы (виртуальные машины) либо в POD K8s. При этом компоненты услуг могут быть распределены произвольно в по разным физическим ресурсам и сетям, в зависимости от задач конфигурации услуги.
Для настройки и установки компонентов услуг, требуется обеспечить возможность подключения Datamart Platform Studio по SSH к серверам дата-центров и/или среды K8s.
Для создания и настройки инфраструктуры может использоваться интеграция Datamart Platform Studio с различными платформами виртуализации (гипервизорами). Функции, доступные при интеграции с гипервизорами описаны в Раздел 20 Интеграция с гипервизорами (платформами виртуализации).
Подключение и взаимодействие с серверами возможно только по ssh-ключу Datamart Platform Studio. Доступ по паролю может быть использован только для загрузки ключа на сервер.
Для выполнения плэйбуков управления инсталляциями и кластерами в целях безопасности требуется загрузка на сервер открытого ssh-ключа и отключение доступа по паролю.
Примечание
Если в серверной инфраструктуре услуги служба ИБ производит периодическую ротацию паролей и/или ключей ТУЗ для доступа Datamart Platform Studio к серверам, то требуется согласование правил доступа с ИБ и возможно сохранение доступа к серверам ДЦ как по паролю, так и по ключу (во избежание потери доступа к серверам при ротации ключей).
3.1. Конфигурация дата-центров (ДЦ)
3.1.1. Общие положения
Компоненты комплексных услуг (в т.ч. Витрин данных) необходимо добавлять на серверы, объединенные в логические группы - дата-центры (ДЦ).
Серверы могут находиться в различных ДЦ с различным уровнем доступа.
Понятие ДЦ в Datamart Platform Studio является виртуальным и объединяет в себя группу серверов со схожими настройками доступа. Если внутри одного физического ДЦ есть несколько групп серверов в разных сетях, доступ к которым должен осуществляться по разным правилам, то имеет смысл разнести такие серверы в разные ДЦ.
Для доступа к серверам, добавленным в один ДЦ, по умолчанию используется один и тот же порт, логин, пароль и ssh-ключ. При необходимости можно настроить отдельные правила доступа к каждому серверу в ДЦ в карточке настройки сервера.
Примечание
Для инсталляции приложений в среду K8s нет необходимости добавлять ДЦ. Файл конфигурации подключения компонента Витрины к K8s добавляется в настройках Витрины данных (Услуги).
3.1.2. Добавление ДЦ
По умолчанию в настройках программы Datamart Platform Studio, в зависимости от комплектации, может быть уже включен компонент Локальный виртуальный ДЦ. В локальный ДЦ имеет смысл добавлять серверы, находящиеся в одной локальной сети с сервером, на котором установлена Datamart Platform Studio.
В случае отсутствия в Datamart Platform Studio предустановленных ДЦ, для управления инфраструктурой требуется добавить новые ДЦ. Допустимо использование как отдельных ДЦ для каждой комплексной услуги, чтобы исключить пересечение серверов разных услуг в одном ДЦ, так и общего дата-центра, в который будут добавлены серверы, используемые в нескольких услугах Datamart Platform Studio.
Примечание
В карточке дата-центра во вкладке Сети и маршруты администратор может указать конфигурацию шлюзов, настроенных для доступа Datamart Platform Studio в сеть данного ДЦ для установки приложений на серверы (см. Раздел 4 Настройка маршрутов SSH и доступ к сетям).
3.1.3. Конфигурация пользователя и ключа ДЦ
Для доступа к группе серверов ДЦ, может быть назначено единое имя пользователя (по умолчанию используется пользователь datamart) и пароль. Для этого при добавлении или редактировании в карточке ДЦ укажите соответствующее имя в полях «Имя пользователя» и «Пароль». На серверах данного ДЦ, используемых Datamart Platform Studio необходимо добавить пользователя с этим именем и паролем, а также можно добавить открытый ssh-ключ ДЦ из Datamart Platform Studio в каталог данного пользователя.
Примечание
Пользователю, который будет добавлен на серверы для запуска команд Ansible обязательно предоставить доступ к sudo без пароля.
При добавлении нового ДЦ приватный и публичный ssh-ключ генерируется для ДЦ автоматически. Кроме этого, автоматически генерируется пара для резервного ssh-ключа.
3.1.4. Ротация ssh-ключа ДЦ
Если для доступа к серверам требуется по соображениям безопасности сменить ключ, то в меню управления ДЦ можно выполнить функцию Ротировать ключ (см. Рисунок 3.11).
При возникновении ситуации компрометации ключа, основной публичный ключ будет удален администратором, а доступ к серверам по основному ключу заблокирован. Для разрешения данной ситуации в Datamart Platform Studio предусмотрены механизмы замены ключа (генерация нового основного ключа ДЦ) и перехода на резервный ключ (доступ к серверам происходит по резервному ключу, основной ключ удаляется и генерируется новый резервный ключ).
Рисунок 3.11 Операции с SSH-ключами в ДЦ
3.1.5. Лимиты ресурсов ДЦ
В карточке ДЦ в левом верхнем углу отображается количество серверов, зарегистрированных в текущем ДЦ и счетчик используемых ресурсов. Если для ДЦ установлены лимиты на использование ресурсов (CPU, RAM, Disk), то при превышении лимита на счетчике будет отображаться соответствующая индикация.
Рисунок 3.12 Индикация превышения лимита ресурсов ДЦ
Примечание
В текущей версии Datamart Platform Studio индикация превышения лимитов не блокирует добавление ресурсов к ДЦ при превышении лимита и носит информационный характер.
3.2. Добавление серверов в ДЦ, настройка доступа
Для инсталляции приложений необходимо добавить данные о серверах, на которые будет производиться установка компонентов услуги. Для этого необходимо указать их IP-адрес, хост, FQDN, наименование и прочие характеристики сервера.
Добавление сервера доступно как из раздела «Серверы» рабочего пространства «Управление ресурсами», так и из одноименного раздела в карточке дата-центра.
В разделе «Серверы» есть возможность добавить отдельный сервер (кнопка «Добавить сервер») или группу серверов списком (кнопка «Добавить список»)(см. Рисунок 3.13).
Рисунок 3.13 Список серверов ДЦ
3.2.1. Добавление сервера
Для добавления отдельного сервера в ДЦ необходимо выбрать действие Добавить сервер в разделе «Серверы» рабочего пространства «Управление ресурсами» или дата-центра
При добавлении сервера из рабочего пространства «Управление ресурсами», на первом шаге необходимо выбрать ДЦ для добавления, если добавление сервера происходит из карточки дата-центра, данный шаг отсутствует, так как ДЦ уже выбран. (см. Рисунок 3.14)
Рисунок 3.14 Выбор дата-центра при добавлении сервера
При добавлении сервера, фактически происходит регистрация записи о новом сервере. В карточке необходимо обязательно указать имя хоста (hostname), ip-адрес и, при наличии, FQDN добавляемого сервера (см. Рисунок 3.15).
Примечание
В случае отсутствия FQDN для подключения к серверу будет использоваться его ip-адрес и hostname. FQDN сервера может быть, в частности, указан в качестве hostname сервера.
В текущей версии Datamart Platform Studio поле hostname используется для конфигурации интерфейсов инсталляций и доступа к инсталляциям. Поэтому в hostname желательно указывать FQDN, либо заполнять на серверах услуги файл /etc/hosts для корректного связывания интерфейсов по hostname.
При добавлении каждого нового сервера в ДЦ, проверяется уникальность по параметрам: hostname, ip, FQDN. В состав одного ДЦ невозможно добавить запись о двух разных серверах с одинаковыми параметрами hostname, ip, FQDN (исключение составляет пустое поле IP с флагом «Назначить IP автоматически», в этом случае ip-адрес будет указан для серверов после создания ВМ в гипервизоре).
Примечание
При заполнении параметра FQDN в Datamart Platform Studio как для добавлении отдельного сервера, так и при добавлении списка серверов, необходимо учитывать валидацию по маске example.fqdn. Серверы, не прошедшие валидацию по данному параметру, в случае его заполнения, не будут добавлены в Datamart Platform Studio.
При необходимости ssh подключения по нестандартному порту, смените значение порта в настройках сервера (по умолчанию для доступа по ssh используется порт 22).
Рисунок 3.15 Модальное окно добавления сервера
В случае отсутствия прямого сетевого доступа Datamart Platform Studio к серверам ДЦ, в карточке сервера ДЦ в разделе «Настройки подключения» администратор может указать маршрут ssh, который будет использоваться для доступа от Datamart Platform Studio к данному серверу (см.: Раздел 4 Настройка маршрутов SSH и доступ к сетям).
Если необходимо использовать для подключения специфические параметры сервера (например, имя пользователя, пароль или порт для подключения), их можно указать в карточке редактирования сервера. По умолчанию, для доступа к серверам используется порт 22, а также имя пользователя и пароль ДЦ. В случае необходимости подключения к серверу с именем пользователя и паролем, отличными от данных ДЦ, необходимо деактивировать чек-бокс у параметра Для доступа к серверу использовать Логин ДЦ и ввести данные в поля Имя пользователя и Пароль в карточке редактирования сервера (см. Рисунок 3.16).
Рисунок 3.16 Настройки ssh подключения к серверу
Примечание
Особенности конфигурации доступа к локальному серверу, если предполагается установка приложений услуги на сервере Datamart Platform Studio, описаны в разделе: Раздел 3.3.6.1 Особенности настройки ip-адреса в ssh.config для localhost (127.0.0.1).
3.2.2. Добавление серверов списком
Если необходимо добавить группу серверов в ДЦ, можно добавить серверы списком, выбрав действие Добавить список в разделе «Серверы» (см. Рисунок 3.17).
В модальном окне добавления списка серверов, необходимо выбрать ДЦ для добавления и указать данные списка серверов в соответствующем поле, при этом данные каждого нового сервера необходимо описать на новой строке.
Список параметров добавляемого сервера указывается в следующем порядке:
<ip> - IP адрес сервера (указывается, если известен)
<hostname> - hostname сервера (может совпадать с FQDN, обязательное поле)
<fqdn> - FQDN сервера (может отсутствовать)
Пример формата:
192.168.1.1 server_hostname example.fqdn
В разделе «Дополнительные поля» указать общие настройки для добавляемых списком серверов.
После добавления, по каждому серверу можно будет дополнительно отредактировать необходимую информацию, в карточке сервера.
Рисунок 3.17 Добавление серверов списком
3.2.3. Статусная модель серверов
Серверы Datamart Platform Studio могут иметь следующие статусы:
«Новый» - статус нового сервера, на который не загружены SSH-ключи Datamart Platform Studio;
«Загрузка ключа» - промежуточный статус, в который переходит сервер при выполнении действия «Загрузка SSH-ключей»;
«Ключ загружен» - статус сервера, на котором успешно была выполнена загрузка или синхронизация SSH-ключей Datamart Platform Studio;
«Сбор фактов» - промежуточный статус, в который переходит сервер при выполнении действия «Сбор фактов»;
«Доступен» - статус сервера, который доступен по SSH из Datamart Platform Studio;
«Ошибка доступа по паролю» - сервер будет иметь данный статус в случае возникновения ошибки подкючения по паролю к серверу, например, при загрузке ключей на сервер или при проверке доступа к серверу по паролю);
«Ошибка доступа по ключу» - сервер будет иметь данный статус в случае возникновения ошибки подключения по SSH ключу к серверу, например, при сборе фактов сервера или при проверке доступа к серверу по SSH-ключу);
«Ошибка» - сервер будет иметь данный статус в случае возникновения любой другой ошибки при обращении к серверу.
3.3. Настройка SSH подключения к серверам
Для управления компонентами комплексных услуг, на добавленные в Datamart Platform Studio серверы в статусе «Новый» необходимо загрузить публичные ключи Datamart Platform Studio и успешно собрать факты с серверов, чтобы они получили статус «Доступен».
Имя пользователя и пароль, которые будут использоваться для доступа к серверам каждого отдельного ДЦ, указываются в настройках ДЦ в поле Имя пользователя и Пароль.
Примечание
При необходимости, для отдельного сервера можно указать индивидуальные настройки имени пользователя и пароля в карточке сервера (см. Раздел 3.2.1 Добавление сервера).
Публичный ключ Datamart Platform Studio на сервер можно загрузить либо из интерфейса Datamart Platform Studio, либо вручную в консоли сервера с последующей синхронизацией данных в интерфейсе Datamart Platform Studio.
Примечание
Подключение к серверами для управления компонентами комплексных услуг выполняется только по ssh-ключу Datamart Platform Studio. В связи с этим, после успешной загрузки публичного ключа на сервер рекомендуется отключить доступ по паролю. Отключение доступа по паролю выключает доступ по паролю только для пользователя сервера, который указан в настройках сервера.
3.3.1. Добавление ssh-ключа на сервер из интерфейса Datamart Platform Studio
Для добавления на сервер публичного ssh-ключа из интерфейса Datamart Platform Studio к серверу должен быть разрешен доступ по логину и паролю. По умолчанию для доступа к серверам в одном ДЦ используется единый логин и пароль, установленный в настройках ДЦ, но в настройках сервера можно его изменить и использовать для сервера специфический логин и пароль, если это требуется.
Рисунок 3.18 Настройка логина доступа к серверу
Для добавления SSH-ключей на добавленный сервер, необходимо нажать кнопку «»SSH» в меню управления или выбрать действие Добавить SSH-ключ в списке доступных действий для сервера (см: Рисунок 3.19)
Рисунок 3.19 Вызов модального окна добавления ssh-ключа на сервер
По умолчанию используется режим загрузки ключей по имени пользователя и паролю, в случае, если у сервера не заданы специфические креды доступа, то используется имя пользователя и пароль ДЦ. Если есть необходимость использовать предоставленный сотрудниками ИБ специфический приватный ssh-ключ для доступа к серверам ДЦ, его можно однократно использовать для загрузки ключей Datamart Platform Studio.
Рисунок 3.20 Модальное окно добавления ssh-ключа на сервер по паролю
Примечание
Datamart Platform Studio работает с серверами только с использованием сгенерированной пары ключей Datamart Platform Studio, в случае загрузки ключей с помощью переданного приватного ключа, он используется однократно.
После успешного добавления SSH-ключа, произойдет автоматический сбор фактов с сервера. В случае успеха, сервер будет иметь статус «Доступен».
Предупреждение
После успешного добавления SSH-ключа доступ по паролю к серверу рекомендуется отключить. Дальнейшее взаимодействие с сервером будет осуществляться только по ключу.
Если требуется сохранить доступ по паролю, необходимо при добавлении ключа деактивировать параметр Закрыть доступ по паролю.
Проверку и дальнейшее отключение доступа по паролю после добавления ssh-ключа можно выполнить из меню управления сервером или в разделе групповых действий с серверами.
3.3.2. Добавление ssh-ключа вручную из консоли сервера
Ключ требуется добавить для соответствующего пользователя в файл
/home/<username>/.ssh/authorized_keys.
Для добавления вручную необходимо выполнить следующие операции:
Создайте каталог для ключей, если такого еще нет, выполнив команду:
sudo mkdir /home/<username>/.ssh
sudo touch /home/<username>/.ssh/authorized_keys
Установите права, выполнив команду:
sudo chmod 700 /home/<username>/.ssh
sudo chmod 600 /home/<username>/.ssh/authorized_keys
Скопируйте ключ на сервер:
Для каждого сервера ДЦ сгенерирован публичный ключ, с использованием которого будет происходить установка приложений. Этот ключ можно скопировать в разделе «SSH» меню управления в карточке ДЦ или открыв на редактирование карточку сервера (см. Рисунок 3.21) и добавить в соответствующий файл authorized_keys на выбранном сервере.
Рисунок 3.21 Копируем SSH ключ для добавления на сервер
После успешного добавления SSH-ключа на сервер, необходимо синхронизировать данные между Datamart Platform Studio и сервером. Для этого необходимо нажать кнопку «SSH» в меню управления сервером или вызвать действие «Добавить SSH-ключ» (см. Рисунок 3.19) и в открывшемся модальном окне выбрать действие «Проверить» (см. Рисунок 3.22). После успешной синхронизации данных и сбора фактов, сервер перейдет в статус «Доступен».
Рисунок 3.22 Синхронизация ключей сервера
3.3.3. Проверка доступа к серверу
Для проверки доступа к серверу нужно в меню управления сервером нажать на «Проверить доступ» и в открывшемся модальном окне выбрать одно из предложенных на выбор действий: Проверка доступа по SSH-ключу или Проверка доступа по паролю (см: Рисунок 3.23).
Примечание
Проверка доступа по паролю будет успешной только если доступ по паролю для пользователя включен и в настройках сервера указаны корректный логин и пароль.
Рисунок 3.23 Проверить доступ на сервер
В списке серверов в колонке «Доступ» отображается состояние последней проверки наличия доступа:
PWS - есть доступ по паролю
SSH - есть доступ по ключу
Отсутствует - доступ к серверу отсутствует, либо проверка не проводилась.
Подробные результаты проверки доступа отображаются во вкладке логов в карточке сервера.
3.3.4. Сбор фактов с сервера
Примечание
Первый сбор фактов для сервера происходит автоматически после успешной загрузки или синхроанизации SSH-ключей
Для того чтобы убедиться, что данные доступа к серверу указаны корректно и Datamart Platform Studio может установить с ним связь по SSH, на странице «Серверы» по кнопке «Управление» можно выбрать действие Загрузить факты, которая проверяет соединение и загрузку фактических данных (фактов) с сервера.
В случае успешного сбора фактов сервера, в интерфейсе отобразится всплывающее сообщение об успешном сборе фактов. В колонке «Факты обновлены» будет проставлена текущая дата и время, а сам сервер будет иметь статус «Доступен».
Примечание
Настройка доступа к серверам в закрытом контуре через JumpHost или VPN описана в разделе Настройка маршрутов SSH и доступ к сетям.
В случае, если с сервером соединиться удалось, но обнаружено несоответствие в ip-адресе, hostname или FQDN сервера, то статус сервера будет «Доступен», в карточке сервера и логах будет отображено сообщение с указанием несоответствия.
Рисунок 3.24 Предупреждение об ошибке в настройках сервера
Если ключ добавлен на сервер, но соединение с сервером установить не удалось, то будет отображено сообщение об ошибке. Подробное описание ошибки соединения можно посмотреть в логах сервера. В колонке «Факты обновлены» для данного сервера будет прочерк.
Примечание
В случае, если на сервер не был добавлен ssh-ключ действие «Сбор фактов» в меню управления недоступно.
3.3.5. Пакетная загрузка ssh-ключа ДЦ на группу серверов
При работе со списком серверов ДЦ в Datamart Platform Studio предусмотрена возможность пакетной загрузки ключей сразу для группы серверов. Для этого в карточке ДЦ нужно перейти в раздел «Серверы» галочкой отметить серверы, которым нужно загрузить ключи SSH, затем в групповых действиях выбрать Загрузить SSH-ключи (см. Рисунок 3.25). При этом будет произведена загрузка ключей на все те сервера ДЦ, куда ключ еще не был добавлен.
Рисунок 3.25 Пакетная загрузка SSH-ключа на сервера ДЦ
Примечание
Для пакетного добавления ключей требуется, чтобы для данной группы серверов был включен доступ по паролю, при этом после загрузки доступ будет автоматически отключен командой из Datamart Platform Studio.
Примечание
Если ключи на сервера ДЦ ранее были загружены через консоль сервера, при выборе действия «Проверить» в открывшемся модальном окне, для всех серверов будет выполнена проверка наличия ключей ДЦ и синхронизация данных в Datamart Platform Studio.
3.3.6. Настройка RemoteForward
В настройках сервера возможно указание настроек туннелей SSH в параметре RemoteForward. По умолчанию для новых серверов в Datamart Platform Studio, добавлены 2 туннеля:
RemoteForward 8881 nexus:8081; RemoteForward 8882 nexus:8082
Данная настройка означает, что в момент установки SSH-соединения с сервером, будут открыты локальные порты сервера 8881 и 8882, которые будут смотреть в порты 8081 и 8082, соответственно, docker-контейнера nexus на сервере Datamart Platform Studio.
3.3.6.1. Особенности настройки ip-адреса в ssh.config для localhost (127.0.0.1)
Примечание
При необходимости добавления локального сервера (сервера, на котором установлена Datamart Platform Studio) в список серверов, требуется указывать его внешний IP адрес (вместо 127.0.0.1), чтобы избежать неоднозначности в настройках сервера. Тогда все установки и конфигурации на этот сервер будут проходить так же, как и на другие сервера.
Для локального сервера localhost в файле /dms-servers/localhost/ssh.config
автоматически будет указан адрес 127.0.0.1
Для того, чтобы Ansible мог произвести корректное соединение с локальным сервером в
файле ssh.config в поле Hostname для локального сервера необходимо указать вместо 127.0.0.1 его реальный IP, например 10.10.0.10:
Host 127.0.0.1
Hostname 10.10.0.10
StrictHostKeyChecking no
RemoteForward 8881 nexus:8081
Если в Datamart Platform Studio вы добавили несколько записей для локальных серверов, то потребуется обновить
ssh.config в каждой соответствующей локальному серверу папке.
3.4. Доступ к серверам по паролю
Стандартный протокол взаимодействия с серверами в рамках Datamart Platform Studio предполагает наличие соответствующего публичного SSH-ключа на сервере и отключение доступа к серверам по паролю. Отключение доступа по паролю не является обязательным. В случае, если с сервера будут удалены ключи ТУЗ ДЦ (технической учётной записи ДЦ, которая используется для доступа к серверам ДЦ), потребуется доступ по паролю для повторной загрузки ключей.
Выполнение ансибл-скриптов (плэйбуков), при помощи которых выполняется развертывание компонентов услуг в текущей версии Datamart Platform Studio предполагается только с использованием ключа.
3.5. Подключение к среде K8s (Kubernetes)
Для подключения услуги к среде K8s в настройках услуги необходимо добавить конфигурационный файл, предоставленный администратором K8s:
Рисунок 3.26 Настройка подключения к K8s
Во вкладке «Обзор» при этом появится информация о добавленном файле конфигурации и возможность проверить подключение. В случае, когда добавлен корректный файл и подключение к K8s проходит успешно, статус устанавливается в состояние «Подключен» (см. Рисунок 3.27).
В этом случае пользователь Datamart Platform Studio сможет производить добавление инсталляций приложений в среду K8s, к которой настроен доступ в файле конфигурации. Проверка подключения производится в карточке услуги (см. Рисунок 3.27)
Рисунок 3.27 Проверка подключения к K8s
3.6. Пользовательские SSH-ключи
Пользователь с ролью superadmin может зарегистрировать публичные SSH-ключи свои или других пользователей, отозвать их, добавить публичные ключи на сервера.
При добавлении пользовательского ключа, пользователь, чей ключ добавлен на сервер получает возможность подключаться по протоколу SSH к серверу, на который был добавлен публичный ключ его SSH-клиента.
Примечание
Подключение должно производиться, соответственно, от имени пользователя сервера, в папку которого добавлен публичный SSH-ключ.
Последовательность действий, в общем случае, следующая:
Superadmin в своём SSH-клиенте (например PuTTY) генерирует пару ключей (Private + Public);
Superadmin в Datamart Platform Studio регистрирует собственный Public SSH-ключ;
Superadmin загружает средствами Datamart Platform Studio свой Public SSH-ключ на любой доступный из Datamart Platform Studio сервер
Проверить индикацию того, что соответствующий Public SSH-ключ загружен на сервер можно в разделе «Список SSH ключей» в карточке сервера или ДЦ.
Рисунок 3.28 Добавление публичного SSH-ключа пользователя
3.6.1. Управление пользовательскими SSH-ключами доступа
Для пользователя с ролью superadmin и в карточке ДЦ в разделе групповых действий с серверами появится возможность выбрать добавление SSH-ключа пользователя на сервера или удалить уже добавленные ключи пользователей.
Рисунок 3.29 Добавление SSH-ключа пользователя на сервер