5. Запуск и остановка программы

Программа «Витрина данных НСУД» не имеет графического интерфейса и запускается, как служба, автоматически в фоновом режиме при загрузке операционной системы.

При необходимости ее можно остановить и запустить заново.

5.1. Менеджер кластера ADCM

Менеджер кластера ПО ADCM представляет собой контейнер, управляемый ПО Docker. Для запуска и остановки Менеджера кластера ADCM используются команды ПО Docker.

Запуск Менеджера кластера ADCM осуществляется согласно следующим этапам:

  1. Запустить Docker с Менеджером кластера ADCM командой:: :term:`` t

    docker start adcm

  2. Подключиться через браузер к веб-интерфейсу по адресу:

    http://<ip_adress_of_server>:8000.

  3. Авторизоваться в веб-интерфейсе.

Остановка Менеджера кластера ADCM выполняется путём остановки Docker командой:

docker stop adcm

5.2. ADQM

Компонент запускается как ``systemd ``сервис автоматически при установке. Включен автозапуск сервиса при перезапуске сервера.

  1. Запуск и остановка кластера ADQM через текстовый пользовательский интерфейс программной консоли

Для ручной остановки и запуска необходимо подключиться по ssh на каждый сервер кластера и с правами sudo использовать штатный функционал systemctl.

Например:

sudo systemctl stop clickhouse-server
sudo systemctl start clickhouse-server

5.2.1. Запуск и остановка кластера ADQM через графический пользовательский интерфейс Менеджера кластера ADCM

Графический пользовательский интерфейс Менеджера кластера ADCM предоставляет возможность независимо выполнять операции запуска и остановки кластера ADQM (см. Рисунок - 5.14).

Программные кнопки запуска и остановки кластера ADQM в графическом пользовательском интерфейсе Менеджера кластера ADCM

Рисунок - 5.14 Программные кнопки запуска и остановки кластера ADQM в графическом пользовательском интерфейсе Менеджера кластера ADCM

5.2.2. Запуск кластера ADQM через графический пользовательский интерфейс Менеджера кластера ADCM

  1. Перейти на вкладку кластера ADQM.

  2. Нажать на программную кнопку Start, расположенную на верхней панели.

  3. Подтвердить действие в открывшемся диалоговом окне.

  4. Проверить успешность запуска кластера:

  • Обновить страницу графического интерфейса

  • Проверить изменение цвета пиктограммы статусов сервисов на зеленый

  • Проверить изменение текста описания состояния кластера ADQM с stopped на running.

5.2.3. Остановка кластера ADQM через графический пользовательский интерфейс Менеджера кластера ADCM

  1. Перейти на вкладку кластера ADQM.

  2. Нажать на программную кнопку Stop, расположенную на верхней панели.

  3. Подтвердить выбранное действие нажатием программной кнопки Run.44580

  4. Проверить успешность остановки кластера:

  • Обновить страницу графического интерфейса.

  • Проверить изменение цвета пиктограммы статусов сервисов на оранжевый.

  • Проверить изменение текста описания состояния кластера ADB с running на stopped.

5.2.4. Диспетчер сообщений ADS

Компонент запускается автоматически при установке как два systemd сервиса: Kafka и Zookeeper. Включен автозапуск сервисов при перезапуске сервера.

  1. Запуск и остановка сервисов ПО ADS через текстовый пользовательский интерфейс программной консоли

Сервис Kafka всегда необходимо запускать после сервиса Zookeeper. Для ручной остановки и запуска необходимо подключиться по ssh на сервер и с правами sudo использовать штатный функционал systemctl.

Например:

sudo systemctl stop kafka
sudo systemctl stop zookeeper
sudo systemctl start zookeeper
sudo systemctl start kafka

5.2.5. Запуск и остановка сервисов ПО ADS через графический пользовательский интерфейс Менеджера кластера ADCM

Графический пользовательский интерфейс Менеджера кластера ADCM предоставляет возможность независимо выполнять операции запуска, остановки и перезапуска для сервисов Kafka и Zookeeper.

5.2.5.1. Запуск сервиса Zookeeper через графический пользовательский интерфейс Менеджера кластера ADCM

  1. Перейти в пункт кластер ADS.

  2. На вкладке Services для сервиса Zookeeper в поле Actions нажать на пиктограмму и выбрать действие Start (см. Рисунок - 5.15).

Запуск сервиса Zookeeper ПО ADS из меню доступных операций в графическом пользовательском интерфейсе Менеджера кластера ADCM

Рисунок - 5.15 Запуск сервиса Zookeeper ПО ADS из меню доступных операций в графическом пользовательском интерфейсе Менеджера кластера ADCM

5.2.5.2. Остановка сервиса Zookeeper через графический пользовательский интерфейс Менеджера кластера ADCM

  1. Перейти в пункт кластер ADS.

  2. На вкладке Services для сервиса Zookeeper в поле Actions нажать на пиктограмму и выбрать действие Stop (см. Рисунок - 5.15).

5.2.5.3. Перезапуск сервиса Zookeeper через графический пользовательский интерфейс Менеджера кластера ADCM

Для перезапуска компонентов сервиса Zookeeper в графическом пользовательском интерфейс необходимо:

  1. Перейти в пункт кластер ADS.

  2. На вкладке Services для сервиса Zookeeper в поле Actions нажать на пиктограмму и выбрать действие Restart (см. Рисунок - 5.15).

5.2.5.4. Запуск сервиса Kafka через графический пользовательский интерфейс Менеджера кластера ADCM

  1. Перейти в пункт кластер ADS.

  2. На вкладке Services для сервиса Kafka в поле Actions нажать на пиктограмму и выбрать действие Start.

5.2.5.5. Остановка сервиса Kafka через графический пользовательский интерфейс Менеджера кластера ADCM

  1. Перейти в пункт кластер ADS.

  2. На вкладке Services для сервиса Kafka в поле Actions нажать на пиктограмму и выбрать действие Stop.

5.2.5.6. Перезапуск сервиса Kafka через графический пользовательский интерфейс Менеджера кластера ADCM

Для перезапуска компонентов сервиса Kafka в графическом пользовательском интерфейс необходимо:

  1. Перейти в пункт кластер ADS.

  2. На вкладке Services для сервиса Kafka в поле Actions нажать на пиктограмму и выбрать действие Restart.

5.2.5.7. Запуск и остановка диспетчера сообщений ADS на уровне кластера

ПО ADCM предоставляет через графический пользовательский интерфейс функцию запуска и остановки диспетчера сообщений ADS на уровне кластера (см. Рисунок - 5.16).

Программные кнопки запуска и остановки диспетчера сообщений ADS в графическом пользовательском интерфейсе Менеджера кластера ADCM

Рисунок - 5.16 Программные кнопки запуска и остановки диспетчера сообщений ADS в графическом пользовательском интерфейсе Менеджера кластера ADCM

5.3. ADB

Кластер автоматически запускается при первичной установке. Далее при перезапуске сервера, необходимо запускать кластер вручную.

5.3.1. Запуск и остановка кластера ADB через текстовый пользовательский интерфейс программной консоли

Кластер запускается и останавливается через специальные утилиты Greenplum. Для остановки и запуска необходимо подключиться по «ssh» на первичный мастер сервер и далее перейти в учетную запись администратора gpadmin.

Например:

sudo su - gpadmin

Запуск кластера выполняется командой gpstart.

Например:

gpstart

Остановку можно выполнить командой «gpstop» с добавлением необходимых ключей. Чаще используется ключ -M fast.

Например:

gpstop -M fast

Подробнее о параметрах можно узнать в официальной документации https://gpdb.docs.pivotal.io/6-7/admin_guide/managing/startstop.html либо в справке команды используя ключ -h.

5.3.2. Запуск и остановка кластера ADB через графический пользовательский интерфейс Менеджера кластера ADCM

Графический пользовательский интерфейс Менеджера кластера ADCM предоставляет возможность независимо выполнять операции запуска, остановки кластера ADB.

5.3.2.1. Запуск кластера ADB через графический пользовательский интерфейс Менеджера кластера ADCM

  1. Перейти на вкладку кластера ADB.

  2. Нажать на программную кнопку Start, расположенную на верхней панели (см. Рисунок - 5.17).

  3. Подтвердить действие в открывшемся диалоговом окне.

  4. Проверить успешность запуска кластера:

  • Обновить страницу графического интерфейса.

  • Проверить изменение цвета пиктограммы статусов сервисов на зеленый.

  • Проверить изменение текста описания состояния кластера ADB с stopped на running.

Запуск кластера ADB через графический пользовательский интерфейс Менеджера кластера ADCM

Рисунок - 5.17 Запуск кластера ADB через графический пользовательский интерфейс Менеджера кластера ADCM

5.3.2.2. Остановка кластера ADB через графический пользовательский интерфейс Менеджера кластера ADCM

  1. Перейти на вкладку кластера ADB.

  2. Нажать на программную кнопку Stop, расположенную на верхней панели (см. Рисунок - 5.18).

Остановка кластера ADB через графический пользовательский интерфейс Менеджера кластера ADCM

Рисунок - 5.18 Остановка кластера ADB через графический пользовательский интерфейс Менеджера кластера ADCM

  1. Выбрать режим остановки ADB:

  • для остановки кластера ADB при отсутствии клиентских соединений выбрать режим smart;

  • для принудительной остановки кластера ADB путём прерывания выполняющихся транзакций и закрытия соединений выбрать режим fast;

  • для принудительной небезопасной остановки кластера ADB путём принудительного завершения процессов postgres без корректной обработки транзакции выбрать режим immediate.

  1. Подтвердить выбранное действие нажатием программной кнопки Run (см. Рисунок - 5.19).

Выбор режима остановки кластера ADB через графический пользовательский интерфейс Менеджера кластера ADCM

Рисунок - 5.19 Выбор режима остановки кластера ADB через графический пользовательский интерфейс Менеджера кластера ADCM

  1. Проверить успешность остановки кластера:

  • Обновить страницу графического интерфейса

  • Проверить изменение цвета пиктограммы статусов сервисов на оранжевый (см. Рисунок - 5.17)

  • Проверить изменение текста описания состояния кластера ADB с running на stopped (см. Рисунок - 5.20).

Отображение через графический пользовательский интерфейс Менеджера кластера ADCM статусов остановленного кластера ADB

Рисунок - 5.20 Отображение через графический пользовательский интерфейс Менеджера кластера ADCM статусов остановленного кластера ADB

5.4. ADG

Компонент запускается как systemd сервисы автоматически при установке. Включен автозапуск сервисов при перезапуске сервера.

5.4.1. Запуск и остановка кластера ADG через текстовый пользовательский интерфейс программной консоли

Для ручной остановки и запуска необходимо подключиться по SSH на каждый сервер кластера и с правами «sudo» использовать штатный функционал systemctl. Сервисы могут устанавливаться на различных серверах кластера в зависимости от топологии. Перед тем как запустить или остановить сервис, необходимо убедиться, какие сервисы установлены на конкретном сервере. Для этого можно воспользоваться systemctl.

Например:

sudo systemctl \| grep memstorage

Далее уже можно включить или выключить найденный сервис.

Например:

sudo systemctl stop memstorage@api-1-master
sudo systemctl start memstorage@api-1-master

5.4.2. Запуск и остановка кластера ADG через графический пользовательский интерфейс Менеджера кластера ADCM

В силу того, что программная архитектура СУБД ADG значительно отличается от программных архитектур СУБД ADB и ADQM, запуск/остановка кластера ADG осуществляется в виде последовательности действий по созданию/удалению экземпляров ADG на каждом из хостов кластера.

Графический пользовательский интерфейс Менеджера кластера ADCM предоставляет возможность выполнять операции создания и удаления экземпляров ADG.

5.4.2.1. Создание экземпляра ADG через графический пользовательский интерфейс Менеджера кластера ADCM

  1. Перейти на вкладку кластера ADG в раздел SERVICES -> GRID.

  2. Нажать на программную кнопку Add_instance, расположенную на верхней панели.

  3. Подтвердить действие в открывшемся диалоговом окне (см. Рисунок 37) нажатием программной кнопки Run.

  4. Проверить успешность создания экземпляра ADG.

5.4.2.2. Удаление экземпляра ADG через графический пользовательский интерфейс Менеджера кластера ADCM

  1. Перейти на вкладку кластера ADG в раздел SERVICES -> GRID.

  2. Нажать на кнопку Remove_instance, расположенную на верхней панели.

  3. Подтвердить действие в открывшемся диалоговом окне (см. Рисунок - 5.22). Для этого нажмите кнопку Run.

  4. Проверить успешность удаления экземпляра ADG.

Добавление экземпляра ADG

Рисунок - 5.21 Добавление экземпляра ADG

Удаления экземпляра ADG

Рисунок - 5.22 Удаления экземпляра ADG

5.5. Ядро витрины  ProStore

5.5.1. Запуск ProStore

Для ручной остановки и запуска необходимо подключиться по ssh на сервер и с правами sudo использовать штатный функционал systemctl.

Например:

sudo systemctl stop query-execution
sudo systemctl start query-execution
sudo systemctl start kafka-clickhouse-reader
sudo systemctl stop kafka-clickhouse-reader
sudo systemctl start kafka-clickhouse-writer
sudo systemctl stop kafka-clickhouse-writer
sudo systemctl stop status-monitor
sudo systemctl start status-monitor

5.6. СМЭВ3-адаптер

СМЭВ3-адаптер представляет собой jar-файл.

5.6.1. Запуск СМЭВ3-адаптера

Для ручного запуска необходимо подключиться по ssh на сервер и в командной строке запустить jar-файл, указав его расположение.

Например:

*java -jar smev3-connector-fat.jar*
*-Dconfig.location=</path/to/config.yml>*
*(опционально) -Dlogging-profile=json - для логов в json формате*
*(опционально) -Dlogback.configurationFile=<logback.xml>*

Для ручной остановки необходимо подключиться по «ssh» на сервер, найти процесс, который содержит jar-файл и остановить его.

Например:

pgrep -f smev3-connector-x.x.x-fat.jar:dtm-jdbc-3.4.0.jar \`
kill «номер процесса»

5.6.2. Настройка СМЭВ3-адаптера

Для каждого verticles можно настроить количество instance’ов.

Шаблоны настраиваются в SmevReceiverVerticle и RestReceiverVerticle.

Пример конфигурации файла application.yml для СМЭВ3 коннектора см. в Приложении 1.

5.6.3. Сервисная БД СМЭВ3-адаптер

Ручной запуск и остановка сервисной БД адаптера СМЭВ3 приведены в официальной документации:

https://postgrespro.ru/docs/postgrespro/13/admin

5.7. Запуск ПОДД-адаптер

ПОДД-адаптер - Модуль исполнения запросов может быть поставлен как контейнер, управляемый Docker или как JAR-файл.

ПОДД-адаптера - Модуль исполнения запросов, как правило, представляет собой контейнер, управляемый Docker. Для запуска и остановки ПОДД-адаптера - Модуль исполнения запросов используются команды Docker.

Запуск модуля исполнения запросов выполняется командой:

docker start podd-adapter-query

Остановка ПОДД-адаптера - Модуль исполнения запросов выполняется командой:

docker stop dtm-adapter-reader-das.local

В случае, если ПОДД-адаптер - Модуль исполнения запросов поставляется как JAR-файл, то выполните команду:

java
    [-Dconfig.location=<путь до application.yml> ]
    [-Dlogging.config=logback.xml]
    -jar <путь до podd-adapter-query.jar>

где, команды заключенные в [] выполняются опционально.

Остановка модуля выполняется при помощи Docker команды:

docker stop podd-adapter-query

Для ручной остановки необходимо подключиться по SSH на сервер, найти процесс, который содержит JAR-файл и остановить его.

Пример:

ps aux | grep podd-adapter-query

5.8. ETL

5.8.1. Apache Airflow

Apache Airflow представляет собой набор контейнеров, управляемых Docker. Для запуска и остановки Apache Airflow используется файл docker-compose.yml (см. п. 3.2.15.1.2). Для запуска и установки Apache Airflow необходимо выполнить следующее:

  1. Перейти в директорию с файлом docker-compose.yml, созданным при установке Apache Airflow:

Например:

cd ~/direct

  1. Остановка Apache Airflow. В папке, где лежит файл docker-compose.yaml нужно выполнить следующую команду:

    docker-compose stop

  2. Запуск Apache Airflow. В папке, где лежит файл docker-compose.yaml нужно выполнить следующую команду:

    docker-compose start

5.8.2. Apache Spark

Apache Spark представляет собой контейнер, управляемый Docker. Для запуска и остановки Apache Apache Spark используется файл docker-compose.yml из директории Apache Spark.

  1. Перейти в директорию с файлом docker-compose.yml, созданным при установке Apache Spark.

Например:

cd ~/direct

  1. Остановка Apache Spark. В папке, где лежит файл docker-compose.yaml нужно выполнить следующую команду:

    docker-compose stop

  2. Запуск Apache Spark. В папке, где лежит файл docker-compose.yaml нужно выполнить следующую команду:

    docker-compose start

Для запуска и остановки отдельно мастера и воркера Apache Spark можно использовать команды Docker:

Запуск:

docker start spark-master
docker start spark-worker-1

Остановка:

docker stop spark-master
docker stop spark-worker-1

  1. Apache Hadoop

Apache Hadoop представляет собой набор контейнеров, управляемых Docker. Для запуска и остановки Apache Hadoop используется файл docker-compose.yml из директории Apache Hadoop.

  1. Перейти в директорию с файлом docker-compose.yml, созданным при установке Apache Hadoop:

Например:

cd ~/direct

  1. Остановка Apache Hadoop. В папке, где лежит файл docker-compose.yaml нужно выполнить следующую команду:

    docker-compose stop

  2. Запуск Apache Hadoop. В папке, где лежит файл docker-compose.yaml нужно выполнить следующую команду:

    docker-compose start

Для запуска и остановки отдельно каждого контейнера Apache Hadoop можно использовать команды Docker:

Запуск:

docker start namenode
docker start datanode
docker start resourcemanager
docker start nodemanager
docker start historyserver

Остановка:

docker stop namenode docker stop datanode docker stop resourcemanager docker stop nodemanager docker stop historyserver

5.8.3. СУБД Tarantool

СУБД Tarantool представляет собой контейнер, управляемый Docker. Для запуска и остановки СУБД Tarantool используется файл docker-compose.yml из директории СУБД Tarantool.

  1. Перейти в директорию с файлом docker-compose.yml, созданным при установке СУБД Tarantool:

Например:

cd ~/direct

  1. Остановка СУБД Tarantool. В папке, где лежит файл docker-compose.yaml нужно выполнить следующую команду:

    docker-compose stop

  2. Запуск СУБД Tarantool. В папке, где лежит файл docker-compose.yaml нужно выполнить следующую команду:

    docker-compose start

Для запуска и остановки отдельно каждого контейнера СУБД Tarantool можно использовать команды Docker:

Запуск:

docker start tarantool1
docker start tarantool2

Остановка:

docker stop tarantool1
docker stop tarantool2

5.9. REST-адаптер

REST-адаптер представляет собой контейнер, управляемый Docker. Для запуска и остановки REST-адаптер используются команды Docker.

Запуск REST-адаптер выполняется путём запуска Docker командой:

docker start rest-adapter

Остановка REST-адаптер выполняется путём остановки Docker командой:

docker stop rest-adapter