Настройка на состав технических средств ======================================= Общие требования ---------------- - маршрутизатор может быть логически разделен на 2 функциональных компонента, отвечающих за решение своих задач: - Data Plane – уровень данных, через который проходит весь сетевой трафик. - Control Plane – уровень построения и обновления таблиц маршрутизации. - наличие одной или нескольких выделенных и обособленных одноранговых Interconnect-сетей под цели внутренней коммуникации кластера; - все сервера кластера должны быть подключены к Interconnect-сетям, для серверов должны быть назначены адреса, и должно быть настроено соединение между всеми серверами кластера; - увеличьте производительность сети с помощью *Jumbo Frames*, для этого установите значение ``MTU`` - 9000; - скорость Ethernet от 1 Гб/с (стандартом является 10 Гб/с); - отсутствие firewalls и другого ПО, блокирующего или замедляющего трафик; - внутри кластера должна быть открыта коммуникация по всем портам; - доступность проверки целостности и качества соединений (Ping) для всех серверов (ICMP); - сервисы firewalld и SELinux не должны контролироваться системой управления конфигурации (при ее наличии), поскольку они должны быть доступны процессу установки ADS для остановки и выключения (в случае использования CentOS 7.9); - создание новых сервисов не должно контролироваться системой управления конфигурации (при ее наличии), поскольку оно должно быть доступно процессу установки ADS (в случае использования CentOS 7.9). При установке с подключением к сети Интернет и использовании CentOS 7.9 предъявляются дополнительные требования: 1. Наличие доступа для серверов ADS, предварительно развернутому в сети организации на выделенном сервере. 2. Наличие доступа для сервера :term:`ProStore` к официальному репозиторию Arenadata :term:`ProStore` или созданному локальному зеркалу. Требования к серверам --------------------- Требования к серверу ProStore ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Необходимо не менее 20ГБ свободного пространства. Требования к серверу Arenadata Cluster Manager (ADCM) ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ При условии использования CentOS 7.9 Требуется виртуальная или физическая машина с операционной системой на базе Linux (kernel 3.10 и yum/rpm). Необходимо не менее 5 ГБ свободного пространства в директории ``/home``. Требования к кластеру серверов Arenadata Streaming (ADS) ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 1. На серверах должен быть настроен протокол NTP; 2. Следующие файлы не должны контролироваться системой управления конфигурации (при ее наличии), поскольку они должны быть доступны процессу установки для создания и модификации: - ``/etc/hosts`` - ``/etc/selinux/config`` - ``/etc/sysctl.conf`` - файлы директории ``/usr/lib/systemd/system/``; 3. В кластерe должны быть открыты порты, представленные в таблице ниже (см. :numref:`tab_6_ig`). .. _tab_6_ig: .. table:: Перечень сетевых портов, используемых серверами ADS +-------------+-------------------------------------------------------+ | Номер порта | Описание использования порта | +=============+=======================================================+ | 22 | SSH | +-------------+-------------------------------------------------------+ | 81 | (при установке ADS без подключения к сети Интернет) | | | TCP-порт репозиториев Arenadata Enterprise Tools | +-------------+-------------------------------------------------------+ | 2015 | TCP-порт для отправки метрик на сервер мониторинга | +-------------+-------------------------------------------------------+ | 2016 | UDP-порт для отправки метрик на сервер мониторинга | +-------------+-------------------------------------------------------+ | 8000 | TCP-порт для отправки статусов компонентов кластера в | | | ADCM | +-------------+-------------------------------------------------------+ | 2181 | Порт доступа к сервису ZooKeeper | +-------------+-------------------------------------------------------+ | 2888 | Порт межсерверного взаимодействия для компонентов | | | кворума ZooKeeper | +-------------+-------------------------------------------------------+ | 3888 | Порт межсерверного взаимодествия для компонентов | | | кворума ZooKeeper | +-------------+-------------------------------------------------------+ | 9092 | HTTP-порт доступа к сервису Kafka | +-------------+-------------------------------------------------------+ | 9093 | HTTPS-порт доступа к сервису Kafka | +-------------+-------------------------------------------------------+ | 8081 | Порт доступа к сервису Schema-Registry | +-------------+-------------------------------------------------------+ | 8082 | Порт доступа к сервису Kafka REST Proxy | +-------------+-------------------------------------------------------+ | 8088 | Порт доступа к компоненту KSQL Server | +-------------+-------------------------------------------------------+ | 9898 | Порт доступа к сервису Kafka-Manager | +-------------+-------------------------------------------------------+ | 9997 | JMX-порт для доступа к метрикам сервисa | | | Schema-Registry | +-------------+-------------------------------------------------------+ | 9998 | JMX-порт для доступа к метрикам сервисa Kafka REST | | | Proxy | +-------------+-------------------------------------------------------+ | 9999 | JMX-порт для доступа к метрикам сервиса Kafka | +-------------+-------------------------------------------------------+ Требования к серверу «СМЭВ3-адаптер» ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 1. На серверах должен быть настроен протокол :term:`NTP`. 2. Следующие файлы не должны контролироваться системой управления конфигурации (при ее наличии), поскольку они должны быть доступны процессу установки для создания и модификации: - ``/etc/hosts``; - ``/etc/selinux/config``; - ``/etc/sysctl.conf``; - ``/usr/lib/systemd/system/``; - ``/etc/sysconfig/iptables\*``; - ``/etc/firewalld/\*``; - ``/etc/docker/\*``. 3. Снаружи сервер должен быть доступен по следующим портам: - 22 (SSH); 4. Необходим сетевой доступ до сервера СМЭВ. Например, если используется адрес http://smev3-n0.test.gosuslugi.ru:5000/transport_1_0_2/, необходимо организовать к нему доступ. 5. Если для шифрования и подписи сообщений используется КриптоПро JCP 2.0.41618. 6. Необходимо так же подготовить ключи (контейнер) для КриптоПро и лицензию на JCP. В случае отсутствия лицензии будет использоваться пробная лицензия. 7. Если для оформления цифровой подписи используется VipNet PKI необходимо обеспечить сетевой доступ до его сервера. Требования к серверу «Агент ПОДД» ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 1. На серверах должен быть настроен протокол :term:`NTP`. 2. Следующие файлы не должны контролироваться системой управления конфигурации (при ее наличии), поскольку они должны быть доступны процессу установки для создания и модификации: - ``/etc/hosts``; - ``/etc/selinux/config``; - ``/etc/sysctl.conf``; - ``/usr/lib/systemd/system/``; - ``/etc/sysconfig/iptables\*``; - ``/etc/firewalld/\*``; - ``/etc/docker/\*``. 3. Снаружи сервер должен быть доступен по следующим портам: - 22 (SSH); 4. Необходим сетевой доступ до сервера :term:`ПОДД`. Например, если используется адрес http://smev3-n0.test.gosuslugi.ru:5000/transport_1_0_2/, то необходимо организовать доступ до хоста *smev3-n0.test.gosuslugi.ru* по порту *5000*. Требования к серверу «ETL» ~~~~~~~~~~~~~~~~~~~~~~~~~~ 1. На серверах должен быть настроен протокол :term:`NTP`; 2. Следующие файлы не должны контролироваться системой управления конфигурации (при ее наличии), поскольку они должны быть доступны процессу установки для создания и модификации: - ``/etc/hosts``; - ``/etc/selinux/config``; - ``/etc/sysctl.conf``; - ``/usr/lib/systemd/system/``; - ``/etc/sysconfig/iptables\*``; - ``/etc/firewalld/\*``; - ``/etc/docker/\*``. 3. Должны быть открыты порты, представленные в таблице ниже (см. :numref:`tab_7_ig`). .. _tab_7_ig: .. table:: Перечень сетевых портов, используемых серверами ETL +-------------+-------------------------------------------------------+ | Номер порта | Описание использования порта | +=============+=======================================================+ | 22 | SSH | +-------------+-------------------------------------------------------+ | 8080 | TCP-порт, WEB - интерфейс для Apache Spark master | +-------------+-------------------------------------------------------+ | 6066 | TCP-порт, отправка задач в кластер через REST API для | | | Apache Spark master | +-------------+-------------------------------------------------------+ | 7077 | TCP-порт, отправка задач в кластер регистрация | | | исполнителей Apache Spark worker для spark master | +-------------+-------------------------------------------------------+ | 8081 | TCP-порт, WEB-интерфейс Apache Spark worker | +-------------+-------------------------------------------------------+ | 8080 | TCP-порт, WEB – интерфейс Apache Airflow | +-------------+-------------------------------------------------------+ | 5555 | TCP-порт, мониторинг задач Apache Airflow | +-------------+-------------------------------------------------------+ | 5432 | TCP-порт, Airflow Postgres для хранения метаданных | +-------------+-------------------------------------------------------+ | 6379 | TCP-порт, Redis для хранения очередей | +-------------+-------------------------------------------------------+ Требования к серверу "REST-адаптер" ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 1. На серверах должен быть настроен протокол :term:`NTP`; 2. Следующие файлы не должны контролироваться системой управления конфигурации (при ее наличии), поскольку они должны быть доступны процессу установки для создания и модификации: - ``/etc/hosts``; - ``/etc/selinux/config``; - ``/etc/sysctl.conf``; - файлы директории ``/usr/lib/systemd/system/``; - ``/etc/sysconfig/iptables\*``; - ``/etc/firewalld/\*``; - ``/etc/docker/\*``. 3. Снаружи сервер должен быть доступен по следующим портам: * 22 (SSH) * 8080