3. Настройка на состав технических средств

3.1. Общие требования

  • маршрутизатор может быть логически разделен на 2 функциональных компонента, отвечающих за решение своих задач:

  • Data Plane – уровень данных, через который проходит весь сетевой трафик.

  • Control Plane – уровень построения и обновления таблиц маршрутизации.

  • наличие одной или нескольких выделенных и обособленных одноранговых Interconnect-сетей под цели внутренней коммуникации кластера;

  • все сервера кластера должны быть подключены к Interconnect-сетям, для серверов должны быть назначены адреса, и должно быть настроено соединение между всеми серверами кластера;

  • увеличьте производительность сети с помощью Jumbo Frames, для этого установите значение MTU - 9000;

  • скорость Ethernet от 1 Гб/с (стандартом является 10 Гб/с);

  • отсутствие firewalls и другого ПО, блокирующего или замедляющего трафик;

  • внутри кластера должна быть открыта коммуникация по всем портам;

  • доступность проверки целостности и качества соединений (Ping) для всех серверов (ICMP);

  • сервисы firewalld и SELinux не должны контролироваться системой управления конфигурации (при ее наличии), поскольку они должны быть доступны процессу установки ADS для остановки и выключения (в случае использования CentOS 7.9);

  • создание новых сервисов не должно контролироваться системой управления конфигурации (при ее наличии), поскольку оно должно быть доступно процессу установки ADS (в случае использования CentOS 7.9).

При установке с подключением к сети Интернет и использовании CentOS 7.9 предъявляются дополнительные требования:

  1. Наличие доступа для серверов ADS, предварительно развернутому в сети организации на выделенном сервере.

  2. Наличие доступа для сервера ProStore к официальному репозиторию Arenadata ProStore или созданному локальному зеркалу.

3.2. Требования к серверам

3.2.1. Требования к серверу ProStore

Необходимо не менее 20ГБ свободного пространства.

3.2.2. Требования к серверу Arenadata Cluster Manager (ADCM)

При условии использования CentOS 7.9

Требуется виртуальная или физическая машина с операционной системой на базе Linux (kernel 3.10 и yum/rpm).

Необходимо не менее 5 ГБ свободного пространства в директории /home.

3.2.3. Требования к кластеру серверов Arenadata Streaming (ADS)

  1. На серверах должен быть настроен протокол NTP;

  2. Следующие файлы не должны контролироваться системой управления конфигурации (при ее наличии), поскольку они должны быть доступны процессу установки для создания и модификации:

  • /etc/hosts

  • /etc/selinux/config

  • /etc/sysctl.conf

  • файлы директории /usr/lib/systemd/system/;

  1. В кластерe должны быть открыты порты, представленные в таблице ниже (см. Таблица 3.1).

Таблица 3.1 Перечень сетевых портов, используемых серверами ADS

Номер порта

Описание использования порта

22

SSH

81

(при установке ADS без подключения к сети Интернет) TCP-порт репозиториев Arenadata Enterprise Tools

2015

TCP-порт для отправки метрик на сервер мониторинга

2016

UDP-порт для отправки метрик на сервер мониторинга

8000

TCP-порт для отправки статусов компонентов кластера в ADCM

2181

Порт доступа к сервису ZooKeeper

2888

Порт межсерверного взаимодействия для компонентов кворума ZooKeeper

3888

Порт межсерверного взаимодествия для компонентов кворума ZooKeeper

9092

HTTP-порт доступа к сервису Kafka

9093

HTTPS-порт доступа к сервису Kafka

8081

Порт доступа к сервису Schema-Registry

8082

Порт доступа к сервису Kafka REST Proxy

8088

Порт доступа к компоненту KSQL Server

9898

Порт доступа к сервису Kafka-Manager

9997

JMX-порт для доступа к метрикам сервисa Schema-Registry

9998

JMX-порт для доступа к метрикам сервисa Kafka REST Proxy

9999

JMX-порт для доступа к метрикам сервиса Kafka

3.2.4. Требования к серверу «СМЭВ3-адаптер»

  1. На серверах должен быть настроен протокол NTP.

  2. Следующие файлы не должны контролироваться системой управления конфигурации (при ее наличии), поскольку они должны быть доступны процессу установки для создания и модификации:

  • /etc/hosts;

  • /etc/selinux/config;

  • /etc/sysctl.conf;

  • /usr/lib/systemd/system/;

  • /etc/sysconfig/iptables\*;

  • /etc/firewalld/\*;

  • /etc/docker/\*.

  1. Снаружи сервер должен быть доступен по следующим портам:

  • 22 (SSH);

  1. Необходим сетевой доступ до сервера СМЭВ. Например, если используется адрес http://smev3-n0.test.gosuslugi.ru:5000/transport_1_0_2/, необходимо организовать к нему доступ.

  2. Если для шифрования и подписи сообщений используется КриптоПро JCP 2.0.41618.

  3. Необходимо так же подготовить ключи (контейнер) для КриптоПро и лицензию на JCP. В случае отсутствия лицензии будет использоваться пробная лицензия.

  4. Если для оформления цифровой подписи используется VipNet PKI необходимо обеспечить сетевой доступ до его сервера.

3.2.5. Требования к серверу «Агент ПОДД»

  1. На серверах должен быть настроен протокол NTP.

  2. Следующие файлы не должны контролироваться системой управления конфигурации (при ее наличии), поскольку они должны быть доступны процессу установки для создания и модификации:

  • /etc/hosts;

  • /etc/selinux/config;

  • /etc/sysctl.conf;

  • /usr/lib/systemd/system/;

  • /etc/sysconfig/iptables\*;

  • /etc/firewalld/\*;

  • /etc/docker/\*.

  1. Снаружи сервер должен быть доступен по следующим портам:

  • 22 (SSH);

4. Необходим сетевой доступ до сервера ПОДД. Например, если используется адрес http://smev3-n0.test.gosuslugi.ru:5000/transport_1_0_2/, то необходимо организовать доступ до хоста smev3-n0.test.gosuslugi.ru по порту 5000.

3.2.6. Требования к серверу «ETL»

  1. На серверах должен быть настроен протокол NTP;

  2. Следующие файлы не должны контролироваться системой управления конфигурации (при ее наличии), поскольку они должны быть доступны процессу установки для создания и модификации:

  • /etc/hosts;

  • /etc/selinux/config;

  • /etc/sysctl.conf;

  • /usr/lib/systemd/system/;

  • /etc/sysconfig/iptables\*;

  • /etc/firewalld/\*;

  • /etc/docker/\*.

  1. Должны быть открыты порты, представленные в таблице ниже (см. Таблица 3.2).

Таблица 3.2 Перечень сетевых портов, используемых серверами ETL

Номер порта

Описание использования порта

22

SSH

8080

TCP-порт, WEB - интерфейс для Apache Spark master

6066

TCP-порт, отправка задач в кластер через REST API для Apache Spark master

7077

TCP-порт, отправка задач в кластер регистрация исполнителей Apache Spark worker для spark master

8081

TCP-порт, WEB-интерфейс Apache Spark worker

8080

TCP-порт, WEB – интерфейс Apache Airflow

5555

TCP-порт, мониторинг задач Apache Airflow

5432

TCP-порт, Airflow Postgres для хранения метаданных

6379

TCP-порт, Redis для хранения очередей

3.2.7. Требования к серверу «REST-адаптер»

  1. На серверах должен быть настроен протокол NTP;

  2. Следующие файлы не должны контролироваться системой управления конфигурации (при ее наличии), поскольку они должны быть доступны процессу установки для создания и модификации:

  • /etc/hosts;

  • /etc/selinux/config;

  • /etc/sysctl.conf;

  • файлы директории /usr/lib/systemd/system/;

  • /etc/sysconfig/iptables\*;

  • /etc/firewalld/\*;

  • /etc/docker/\*.

  1. Снаружи сервер должен быть доступен по следующим портам:

    • 22 (SSH)

    • 8080