5. Проверка программы

5.1. Проверка Arenadata Cluster Manager (ADCM)

Внимание

При условии установки CentOS 7.9

Arenadata Cluster Manager (ADCM), при успешной установке, должен быть доступен по адресу http://<ip_adress_of_server>:8000.

Для авторизации используйте следующие данные:

логин: admin;
пароль: admin.

5.2. Проверка Arenadata Streaming (ADS)

Внимание

При условии установки CentOS 7.9

5.2.1. Проверка сервиса Zookeeper

Проверка сервиса Zookeeper осуществляется через графический пользовательский интерфейс Arenadata Cluster Manager (ADCM). Чтобы выполнить проверку, выполните следующие действия:

Выберите кластер ADS, для этого откройте вкладку Cluster-ADB.
На вкладке Services для сервиса Zookeeper, в поле Actions нажмите кнопку Run action и выберите Check.

5.2.2. Проверка сервиса Apache Kafka

Проверка сервиса Apache Kafka осуществляется через графический пользовательский интерфейс Arenadata Cluster Manager (ADCM). Чтобы выполнить проверку, выполните следующие действия:

Выберите кластер ADS, для этого откройте вкладку Cluster-ADB.
На вкладке Services для сервиса Apache Kafka, в поле Actions нажмите кнопку Run action и выберите Check.

5.3. Проверка ProStore

Проверка ПО ProStore осуществляется путём отправки SQL-запросов к ProStore через клиентское JDBC-подключение и сопоставления ожидаемого эталонного и полученного результатов.

Проверка осуществляется согласно следующим этапам:

Создать Витрину в ProStore с помощью SQL-запроса:

CREATE DATABASE <имя несуществующей логической базы>, например,
CREATE DATABASE testdb;

Создать таблицу в ProStore со всеми типами колонок с помощью SQL-запроса:

CREATE TABLE <имя логической базы из п.1>.all_types (

- id int not null,
- double_col double,
- float_col float,
- char_col varchar(36),
- boolean_col boolean,
- int_col int not null,
- bigint_col bigint,
- date_col date,
- timestamp_col timestamp,
- primary key (id)
- )
- distributed by (id)

Проверить существование и структуру созданной таблицы в ProStore с помощью SQL-запросов:

select \* from <имя логической базы из п.1>.all_types
DATASOURCE_TYPE='ADG'

select \* from <имя логической базы из п.1>.all_types
DATASOURCE_TYPE='ADQM'

select \* from <имя логической базы из п.1>.all_types
DATASOURCE_TYPE='ADB'

Удалить таблицу со всеми типами колонок из ProStore с помощью SQL-запроса:

DROP TABLE <имя логической базы из п.1>.all_types

Удалить Витрину с помощью SQL-запроса:

DROP DATABASE <имя логической базы из п.1>.

Внимание

Наличие сообщений об ошибках, а также отличие получаемых состояний ProStore на различных этапах проверки от ожидаемых состояний является индикатором неуспешного прохождения проверки.

5.4. Проверка СМЭВ QL Сервера

5.4.1. Проверки и валидации

Валидации запускаются либо на все объекты данного типа (указать all), либо только на указанные, в том числе через запятую.

Доступность источников проверяется командой:

./smevql test source <all | source-name>

Валидность моделей проверяется командой:

./smevql test model <all | model-name>

5.5. Проверка СМЭВ3-адаптера

Для проверки модуля СМЭВ3-адаптер необходимо выполнить запрос к сервису.

Пример запроса

curl -s IP:Port/metrics | grep '^liveness '

где,

IP - адрес сервера.
Port - адрес сервера.
liveness - параметр проверки работоспособности модуля.

Например

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ `` 1`` означает, что модуль работает.

5.6. Проверка ПОДД-адаптера - Модуль исполнения запросов

Для проверки модуля ПОДД-адаптер - Модуль исполнения запросов необходимо выполнить запрос к сервису.

Пример запроса

curl -s IP:Port/metrics | grep '^liveness '

где, - IP - адрес сервера. - Port - адрес сервера. - liveness - параметр проверки работоспособности модуля.

Например:

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ 1 означает, что модуль работает.

5.7. Проверка ПОДД-адаптер – Модуль MPPR

Для проверки ПОДД-адаптера - Модуль MPPR необходимо выполнить запрос к сервису.

Пример запроса

curl -s IP:Port/metrics | grep '^liveness '

где, - IP - адрес сервера. - Port - адрес сервера. - liveness - параметр проверки работоспособности модуля.

Например

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ 1 означает, что модуль работает.

5.8. Проверка ПОДД-адаптер-Модуль MPPW

Для проверки модуля ПОДД-адаптер - Модуль MPPW необходимо выполнить запрос к сервису.

Пример запроса

curl -s IP:Port/metrics | grep '^liveness '

где, - IP - адрес сервера. - Port - адрес сервера. - liveness - параметр проверки работоспособности модуля.

Например:

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ 1 означает, что модуль работает.

5.9. Проверка ПОДД-адаптер – Модуль импорта данных табличных параметров

Для проверки модуля ПОДД-адаптер – Модуль импорта данных табличных параметров необходимо выполнить запрос к сервису.

Пример запроса

curl -s IP:Port/metrics | grep '^liveness '

где, - IP - адрес сервера. - Port - адрес сервера. - liveness - параметр проверки работоспособности модуля.

Например

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ 1 означает, что модуль работает.

5.10. Проверка ПОДД-адаптер – Модуль группировки данных табличных параметров

Для проверки модуля ПОДД-адаптер – Модуль импорта данных табличных параметров необходимо выполнить запрос к сервису.

Пример запроса

curl -s IP:Port/metrics | grep '^liveness '

где, - IP - адрес сервера. - Port - адрес сервера. - liveness - параметр проверки работоспособности модуля.

Например

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ 1 означает, что модуль работает.

5.11. Проверка ПОДД-адаптер – ПОДД-адаптер – Wrapper

Для проверки модуля ПОДД-адаптер - Wrapper необходимо выполнить запрос к сервису.

Пример запроса

curl -s IP:Port/metrics | grep '^liveness '

где,

IP - адрес сервера.
Port - адрес сервера.
liveness - параметр проверки работоспособности модуля.

Например

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ 1 означает, что модуль работает.

5.12. Проверка модуля группировки чанков репликации

Для проверки Модуля группировки чанков репликации необходимо выполнить запрос к сервису.

Пример запроса

curl -s IP:Port/metrics | grep '^liveness '

где, - IP - адрес сервера. - Port - адрес сервера. - liveness - параметр проверки работоспособности модуля.

Например

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ 1 означает, что модуль работает.

5.13. Проверка DATA-uploder – Модуль исполнения асинхронных заданий

Для проверки модуля DATA-Uploader необходимо выполнить запрос к сервису.

Пример запроса

curl -s IP:Port/metrics | grep '^liveness '

где, - IP - адрес сервера. - Port - адрес сервера. - liveness - параметр проверки работоспособности модуля.

Например

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ 1 означает, что модуль работает.

5.14. Проверка REST-uploader – Модуль асинхронной загрузки данных из сторонних источников

Для проверки модуля REST-uploader необходимо выполнить запрос к сервису.

Пример запроса

curl -s IP:Port/metrics | grep '^liveness '

где, - IP - адрес сервера. - Port - адрес сервера. - liveness - параметр проверки работоспособности модуля.

Например

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ 1 означает, что модуль работает.

5.15. Проверка ПОДД-адаптер – Модуль подписки

Для проверки модуля ПОДД-адаптер - Модуль подписок необходимо выполнить запрос к сервису.

Пример запроса

curl -s IP:Port/metrics | grep '^liveness '

где, - IP - адрес сервера. - Port - адрес сервера. - liveness - параметр проверки работоспособности модуля.

Например

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ 1 означает, что модуль работает.

5.16. Проверка BLOB-адаптер

Для проверки модуля Blob-адаптер необходимо выполнить запрос к сервису.

Пример запроса:

curl -s IP:Port/metrics | grep '^liveness '

где,

IP - адрес сервера.
Port - адрес сервера.
liveness - параметр проверки работоспособности модуля.

Например:

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа:

liveness 1.0

Ответ `` 1`` означает, что модуль работает.

5.17. Проверка Сервиса формирования документов

Для проверки модуля Сервис Формирования документов необходимо выполнить запрос к сервису.

Пример запроса

curl -s IP:Port/metrics | grep '^liveness '

где,

IP - адрес сервера.
Port - адрес сервера.
liveness - параметр проверки работоспособности модуля.

Например

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ `` 1`` означает, что модуль работает.

5.18. Проверка ETL

5.18.1. Проверка Apache Airflow

Проверка сервиса Apache Airflow осуществляется через графический пользовательский интерфейс, в случае успешной установки, он должен быть доступен по адресу http://localhost:8080.

Для авторизации используйте следующие данные:

логин: airflow;
пароль: airflow.

Также, можно проверить удалённое подключение с помощью http-запроса, для этого выполните следующую команду:

ENDPOINT_URL="http://localhost:8080/"
curl -X GET \\
--user "airflow:airflow" \\
"${ENDPOINT_URL}/api/v1/pools"

5.18.2. Проверка Apache Spark

Проверка сервиса Apache Spark осуществляется через графический пользовательский интерфейс, в случае успешной установки, он должен быть доступен по адресу:

Веб-сервер Spark Master доступен по адресу:

http://<ваш ip-адрес>:8080 например http://localhost:8080/

Веб-сервер Spark Worker 1 доступен по адресу:

http://<ваш ip-адрес>:8081 например http://localhost:8081/

5.18.3. Проверка Apache Hadoop

Проверить корректность работы Apache Hadoop можно командой:

make wordcount

или последовательно выполнить следующие команды:

docker build -t hadoop-wordcount ./submit

docker run --network docker-hadoop_default --env-file hadoop.env
bde2020/hadoop-base:master hdfs dfs -mkdir -p /input/

docker run --network docker-hadoop_default --env-file hadoop.env
bde2020/hadoop-base:master hdfs dfs -copyFromLocal -f
/opt/hadoop-3.2.1/README.txt /input/

docker run --network docker-hadoop_default --env-file hadoop.env
hadoop-wordcount

docker run --network docker-hadoop_default --env-file hadoop.env
bde2020/hadoop-base:master hdfs dfs -cat /output/\*

docker run --network docker-hadoop_default --env-file hadoop.env
bde2020/hadoop-base:master hdfs dfs -rm -r /output

docker run --network docker-hadoop_default --env-file hadoop.env
bde2020/hadoop-base:master hdfs dfs -rm -r /input

После запуска Apache Hadoop можно зайти в следующие WEB–интерфейсы:

Namenode:
http://<dockerhadoop_IP_address>:9870/dfshealth.html#tab-overview

History server: http://<dockerhadoop_IP_address>:8188/applicationhistory

Datanode: http://<dockerhadoop_IP_address>:9864/

Nodemanager: http://<dockerhadoop_IP_address>:8042/node

Resource manager: http://<dockerhadoop_IP_address>:8088/

5.18.4. Проверка Tarantool(Vinyl)

Проверка СУБД Tarantool осуществляется согласно документации на СУБД Tarantool: https://www.tarantool.io/en/doc/latest/book/monitoring/ .

5.19. Проверка REST-адаптер

Проверить удалённое подключение с помощью http-запроса:

curl localhost:8080

В случае успешной установки ответ будет следующим:

{"timestamp":"2021-03-15T10:22:57.325+0000","status":404,"error":"Not
Found","message":"","path":"/"}%

5.20. Проверка Counter-provider - Сервиса генерации уникального номера

Для проверки Сервиса генерации уникального номера необходимо выполнить запрос к сервису.

Пример запроса

curl -s IP:Port/metrics | grep '^liveness '

где, - IP - адрес сервера. - Port - адрес сервера. - liveness - параметр проверки работоспособности модуля.

Например

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ 1 означает, что модуль работает.