6. Проверка программы

В данном разделе приведены наглядные примеры успешной установки частей программы. В случае. Если в процессе установки возникли ошибки рекомендуется обратиться к системному администратору.

6.1. Проверка менеджера кластера ADCM

Компонент ADCM доступен по адресу http://<ip_adress_of_server>:8000 с авторизацией с помощью логина и пароля, выставленных по умолчанию как admin/ admin.

6.2. Проверка ПО ADQM

Для проверки через графический пользовательский интерфейс Менеджера кластера ADCM результатов действий над кластером ADQM необходимо:

  1. Перейти на закладку кластера ADQM и нажать кнопку Check (см. Рисунок - 6.81).

  2. Подтвердить действие в открывшемся диалоговом окне.

  3. Открыть вкладку JOBS.

  4. Выбрать последнее действие (Check) над кластером ADB и в открывшемся окне проверить результаты.

Запуск проверки состояния кластера ADQM через графический пользовательский интерфейс Менеджера кластера ADCM

Рисунок - 6.81 Запуск проверки состояния кластера ADQM через графический пользовательский интерфейс Менеджера кластера ADCM

6.3. Диспетчер сообщений ADS

6.3.1. Проверка сервиса Zookeeper через графический пользовательский интерфейс Менеджера кластера ADCM

Для проверки компонентов сервиса Zookeeper в графическом пользовательском интерфейс необходимо:

  1. Перейти в пункт кластер ADS.

  2. На вкладке Services для сервиса Zookeeper в поле Actions нажать на пиктограмму и выбрать действие Check (Рисунок 30).

6.3.2. Запуск сервиса Apache Kafka через графический пользовательский интерфейс Менеджера кластера ADCM

  1. Перейти в пункт кластер ADS.

  2. На вкладке Services для сервиса Apache Kafka в поле Actions нажать на пиктограмму и выбрать действие Check.

6.4. Проверка ПО ADB

При проверке состояния кластера ADB запускается утилита gpstate utility и выполняется распределенный запрос по базе данных.

Для проверки через графический пользовательский интерфейс Менеджера кластера ADCM результатов действий над кластером ADB необходимо:

  1. Перейти на закладку кластера ADB и нажать кнопку Check (см. Рисунок - 6.82).

Запуск проверки состояния кластера ADB через графический пользовательский интерфейс Менеджера кластера ADCM

Рисунок - 6.82 Запуск проверки состояния кластера ADB через графический пользовательский интерфейс Менеджера кластера ADCM

  1. Подтвердить действие в открывшемся диалоговом окне (см. Рисунок - 6.83).

Подтверждение в открывшемся диалоговом окне графического пользовательского интерфейса Менеджера кластера ADCM запуска проверки кластера ADB

Рисунок - 6.83 Подтверждение в открывшемся диалоговом окне графического пользовательского интерфейса Менеджера кластера ADCM запуска проверки кластера ADB

  1. Открыть вкладку JOBS (см. Рисунок - 6.84).

Отображение в графическом пользовательском интерфейсе Менеджера кластера ADCM вкладки Jobs со статусами задач, исполненных кластером ADB

Рисунок - 6.84 Отображение в графическом пользовательском интерфейсе Менеджера кластера ADCM вкладки Jobs со статусами задач, исполненных кластером ADB

  1. Выбрать последнее действие (Check) над кластером ADB и в открывшемся окне проверить результаты (см. Рисунок - 6.85).

Отображение в графическом пользовательском интерфейсе Менеджера кластера ADCM статуса проверки кластера ADB

Рисунок - 6.85 Отображение в графическом пользовательском интерфейсе Менеджера кластера ADCM статуса проверки кластера ADB

6.5. Проверка ПО ADG

Проверка ПО ADG осуществляется согласно документации на СУБД Tarantool (https://www.tarantool.io/en/doc/latest/book/monitoring/ ).

6.6. Проверка ядра витрины ProStore

Проверка ПО ProStore осуществляется путём подачи SQL-запросов к ProStore через клиентское JDBC-подключение и сопоставления ожидаемого эталонного и полученного результатов.

Проверка осуществляется согласно следующим этапам:

  1. Создать датамарт в ProStore с помощью SQL-запроса:

CREATE DATABASE <имя несуществующей логической базы>, например,
CREATE DATABASE testdb;

  1. Создать таблицу в ProStore со всеми типами колонок с помощью SQL-запрос:

CREATE TABLE <имя логической базы из п.1>.all_types (

- id int not null,
- double_col double,
- float_col float,
- char_col varchar(36),
- boolean_col boolean,
- int_col int not null,
- bigint_col bigint,
- date_col date,
- timestamp_col timestamp,
- primary key (id))
- distributed by (id)

  1. Проверить существование и структуру созданной таблицы в ProStore с помощью SQL-запросов:

select \* from <имя логической базы из п.1>.all_types
DATASOURCE_TYPE='ADG'

select \* from <имя логической базы из п.1>.all_types
DATASOURCE_TYPE='ADQM'

select \* from <имя логической базы из п.1>.all_types
DATASOURCE_TYPE='ADB'

  1. Удалить таблицу со всеми типами колонок из ProStore с помощью SQL-запроса:

DROP TABLE <имя логической базы из п.1>.all_types

  1. Удалить датамарт с помощью SQL-запроса:

DROP DATABASE <имя логической базы из п.1>.

Внимание

Наличие сообщений об ошибках, а также отличие получаемых состояний ProStore на различных этапах проверки от ожидаемых состояний является индикатором неуспешного прохождения проверки.

6.7. Проверка СМЭВ3-адаптера

Пример успешного завершения установки:

Сервисная БД(если установлена): проверить доступность подключившись к ней:

telnet <service-db-address> <port>

СМЭВ3-адаптер:

Проверить наличие в log-файле сообщения:

INFO: Succeeded in deploying verticle

Для проверки модуля ПОДД-адаптер - Модуль исполнения запросов необходимо выполнить запрос к сервису.

Пример запроса

curl -s IP:Port/metrics | grep '^liveness '

где, - IP - адрес сервера. - Port - адрес сервера. - liveness - параметр проверки работоспособности модуля.

Например:

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ 1 означает, что модуль работает.

6.8. Проверка ETL

6.8.1. Apache Airflow

После запуска кластера можно зайти в web–интерфейс. Веб-сервер доступен по адресу http://localhost:8080

Логин и пароль по умолчанию airflow

Также, можно проверить удалённое подключение с помощью http-запроса:

ENDPOINT_URL="http://localhost:8080/"
curl -X GET \\
--user "airflow:airflow" \\
"${ENDPOINT_URL}/api/v1/pools"

6.8.2. Apache Spark

После запуска Apache Spark можно зайти в web–интерфейс.

Веб-сервер Spark Master доступен по адресу http://<ваш ip-адрес>:8080 например http://localhost:8080/

Веб-сервер Spark Worker 1 доступен по адресу http://<ваш ip-адрес>:8081 например http://localhost:8081/

6.8.3. Apache Hadoop

Проверить корректность работы :term:`Apache Hadoop`можно командой:

make wordcount

или последовательно выполнить следующие команды:

docker build -t hadoop-wordcount ./submit

docker run --network docker-hadoop_default --env-file hadoop.env
bde2020/hadoop-base:master hdfs dfs -mkdir -p /input/

docker run --network docker-hadoop_default --env-file hadoop.env
bde2020/hadoop-base:master hdfs dfs -copyFromLocal -f
/opt/hadoop-3.2.1/README.txt /input/

docker run --network docker-hadoop_default --env-file hadoop.env
hadoop-wordcount

docker run --network docker-hadoop_default --env-file hadoop.env
bde2020/hadoop-base:master hdfs dfs -cat /output/\*

docker run --network docker-hadoop_default --env-file hadoop.env
bde2020/hadoop-base:master hdfs dfs -rm -r /output

docker run --network docker-hadoop_default --env-file hadoop.env
bde2020/hadoop-base:master hdfs dfs -rm -r /input

После запуска Apache Hadoop можно зайти в следующие web–интерфейсы

Namenode:
http://<dockerhadoop_IP_address>:9870/dfshealth.html#tab-overview

History server: http://<dockerhadoop_IP_address>:8188/applicationhistory

Datanode: http://<dockerhadoop_IP_address>:9864/

Nodemanager: http://<dockerhadoop_IP_address>:8042/node

Resource manager: http://<dockerhadoop_IP_address>:8088/

6.8.4. СУБД Tarantool

Проверка СУБД Tarantool осуществляется согласно документации на СУБД Tarantool: https://www.tarantool.io/en/doc/latest/book/monitoring/ .

6.9. Проверка сервера конечных точек API

Проверить удалённое подключение с помощью http-запроса

curl localhost:8080

В случае успешной установки ответ будет следующим

{"timestamp":"2021-03-15T10:22:57.325+0000","status":404,"error":"Not
Found","message":"","path":"/"}%