Общие сведения ============== Обозначение и наименование программы ------------------------------------ .. Подключаем раздел Название программы (typical_name_program) .. include:: /project_dtm/doc_reuse/typical_name_program.rst Назначение программы -------------------- .. Подключаем раздел Назначение программы (typical_purpose_program) .. include:: /project_dtm/doc_reuse/typical_purpose_program.rst Возможности программы --------------------- .. Подключаем раздел Возможности программы (typical_program_function) .. include:: /project_dtm/doc_reuse/typical_program_functions.rst Основные характеристики программы --------------------------------- .. Подключаем раздел Основные характеристики программы (typical_general_properties) .. include:: /project_dtm/doc_reuse/typical_general_properties.rst Рекомендуемые технические и программные средства ------------------------------------------------ В разделе приведены рекомендации по аппаратному и программному обеспечению, а также необходимая конфигурация сети для оптимального баланса между производительностью и стабильностью работы всех компонентов программы. Рекомендация основана на использовании программы в режиме стандартной рабочей нагрузки на тестовом стенде. .. note:: Следует учитывать, что невозможно дать универсальной рекомендации для развертывания программы т.к. вариантов конфигурации оборудования, характера нагрузки и других факторов может быть очень много. Предварительный расчет параметров оборудования на этапе внедрения для каждой организации должен быть рассчитан индивидуально. Советуем установить программу с приведенными ниже рекомендациями на тестовом стенде для того чтобы определить оптимальную конфигурацию для ваших сценариев работы. Рекомендуем выполнить следующее: - продумайте сценарии работы с программой необходимые для достижения ваших целей; - установите программу (см. Руководство по установке) на тестовом стенде с рекомендуемыми техническими характеристиками (:numref:`table_server_requirements_full_version`); - создайте структуру Витрины; - подготовьте тестовые данные для загрузки и определите количество загружаемых данных; - в процессе загрузки данных проведите измерение ключевых параметров нагрузки серверного оборудования; - линейно экстраполируйте эти данные на целевую систему, получив таким образом загруженность целевого оборудования; - выберете оборудование, которое будет соответствовать нагрузке для ваших задач. Ниже приведены параметры тестового стенда, на котором проверялась работоспособность программы. Серверное оборудование ~~~~~~~~~~~~~~~~~~~~~~ Рекомендованные требования к серверному оборудования приведены в :numref:`table_server_requirements_full_version`. .. _table_server_requirements_full_version: .. table:: Требования к серверному оборудованию :widths: auto .. rst-class:: longtable +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | **Сервер** | **Назначение** | **CPU** | **RAM, ГБ** | **HDD** | **NetGbit** | **Количество** | +===================+================+=========+=============+=========+=============+================+ | Arenadata | | 4 | 16 | 200 | 30 | 1 | | Cluster | | | | | | | | Manager | | | | | | | | (ADCM) | | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | Prostore | | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | | Сервис | 4 | 8 | 10 | 30 | 1 | | | исполнения | | | | | | | | запросов | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | | Сервис | 4 | 8 | 10 | 30 | 1 | | | мониторинга | | | | | | | | статусов | | | | | | | | Kafka | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | Arenadata | | | | | | | | Streaming | | | | | | | | (ADS) | | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | | Apache | 4 | 4 | 5 | 30 | 1 | | | ZooKeeper | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | | Apache | 4 | 4 | 5 | 30 | 2 | | | Kafka | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | СМЭВ3-адаптер | СМЭВ3-адаптер | 4 | 8 | 8 | 30 | 1 | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | ПОДД-адаптер - | | 4 | 8 | 20 | 30 | 2 | | Модуль | | | | | | | | исполнения | | | | | | | | запросов | | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | ПОДД-адаптер - | | 4 | 8 | 20 | 30 | 2 | | Модуль MPPR | | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | ПОДД-адаптер - | | 4 | 16 | 20 | 30 | 2 | | Модуль MPPW | | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | ПОДД-адаптер - | | 2 | 4 | 20 | 30 | 2 | | Модуль | | | | | | | | импорта ТП | | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | ПОДД-адаптер - | | 2 | 4 | 20 | 30 | 2 | | Модуль | | | | | | | | Группировки | | | | | | | | данных ТП | | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | ПОДД-адаптер - | | 2 | 4 | 20 | 30 | 2 | | Модуль | | | | | | | | Группировки | | | | | | | | репликаций | | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | ПОДД-адаптер - | | 2 | 4 | 20 | 30 | 2 | | Модуль | | | | | | | | репликаций | | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | ПОДД-адаптер - | | 4 | 32 | 200 | 30 | 2 | | Wrapper | | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | BLOB- адаптер | BLOB- адаптер | 4 | 16 | 20 | 30 | 2 | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | Сервис | | 2 | 8 | 20 | 30 | 2 | | формирования | | | | | | | | документов | | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | REST-адаптер | REST-адаптер | 2 | 4 | 20 | 30 | 1 | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | ETL | | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | | Apache | 16 | 32 | 1000 | 30 | 1 | | | Hadoop | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | | Apache | 16 | 32 | 50 | 30 | 1 | | | Spark | | | | | | | | (master) | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | | Apache | 16 | 32 | 50 | 30 | 2 | | | Spark | | | | | | | | (worker) | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | | Apache | 4 | 16 | 100 | 30 | 1 | | | Airflow | | | | | | | | (master) | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | | Apache | 4 | 16 | 100 | 30 | 1 | | | Airflow | | | | | | | | (worker) | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | | Vinyl | 16 | 32 | 1000 | 30 | 1 | | | Tarantool | | | | | | | | СУБД ETL | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | Мониторинг и | | | | | | | | администрирование | | | | | | | | (установка | | | | | | | | опциональна) | | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | | Grafana | 8 | 16 | 1000 | 30 | 1 | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | | Prometheus | 8 | 16 | 1000 | 30 | 1 | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | | Graylog | 8 | 16 | 1000 | 30 | 1 | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | | МongoDB | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | | Elasticsearch | 24 | 24 | 1000 | 30 | 3 | | | (master) | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | | Elasticsearch | 32 | 32 | 1000 | 30 | 3 | | | (data) | | | | | | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | | Filebeat | 32 | 32 | 1000 | 30 | 3 | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ | | Node Exporter | 32 | 32 | 1000 | 30 | 3 | +-------------------+----------------+---------+-------------+---------+-------------+----------------+ Программное обеспечение ~~~~~~~~~~~~~~~~~~~~~~~ .. _tab_2: .. table:: Минимальный состав программных средств +----------------------+-------------------------+------------+ | **Название** | **Описание** | **Версия** | +======================+=========================+============+ | Операционная система | CentOS | 7.9 | | | | | | | Astra Linux (уровень | 1.7 | | | защищенности "Воронеж") | | | | | | | | Альт Сервер 8 СП | 8 | | | | | | | РЕД ОС | 7.2 | +----------------------+-------------------------+------------+ | Docker | Программное обеспечение | 20.10.2 | | | для автоматизации | | | | развёртывания и | | | | управления приложениями | | +----------------------+-------------------------+------------+ | Java SE 17 | Среда разработки для | 17.0.7 | | | создания приложений с | | | | использованием языка | | | | программирования Java | | +----------------------+-------------------------+------------+ Требования к каналам связи ~~~~~~~~~~~~~~~~~~~~~~~~~~ К каналам связи сервера, на котором будет установлена программа, предъявляются следующие требования: - пропускная способность 100 Гбит/сек с протоколами TCP/IP и UDP; - отсутствие ПО, блокирующего или замедляющего трафик. К каналам связи, используемым для взаимодействия с клиентскими сетями Ведомства, предъявляются следующие требования: - пропускная способность 10 Гбит/сек с протоколами TCP/IP и UDP. Необходимо учитывать процент свободных ресурсов оборудования и пиковые нагрузки. Режим работы программы ---------------------- .. Подключаем раздел Режим работы программы .. include:: /project_dtm/doc_reuse/program_operation_mode.rst Используемые языки программирования ----------------------------------- .. Подключаем раздел Языки программирования (personal.rst) .. include:: /project_dtm/doc_reuse/programming_languages.rst Требования к персоналу ---------------------- .. Подключаем раздел Требование к персоналу (personal.rst) .. include:: /project_dtm/doc_reuse/personal.rst