5. Проверка программы

5.1. Проверка Arenadata Cluster Manager (ADCM)

Внимание

Проверка Arenadata Cluster Manager (ADCM) осуществляется только при условии установки CentOS 7.9

Arenadata Cluster Manager (ADCM), при успешной установке, должен быть доступен по адресу http://<ip_adress_of_server>:8000.

Для авторизации используйте следующие данные:

  • логин: admin;

  • пароль: admin.

5.2. Проверка Arenadata Streaming (ADS)

Внимание

Проверка Arenadata Streaming (ADS) осуществляется только при условии установки CentOS 7.9

5.2.1. Проверка сервиса Zookeeper

Проверка сервиса Zookeeper осуществляется через графический пользовательский интерфейс Arenadata Cluster Manager (ADCM). Чтобы выполнить проверку, выполните следующие действия:

  1. Выберите кластер ADS, для этого откройте вкладку Cluster-ADB.

  2. На вкладке Services для сервиса Zookeeper, в поле Actions нажмите кнопку Run action и выберите Check.

5.2.2. Проверка сервиса Apache Kafka

Проверка сервиса Apache Kafka осуществляется через графический пользовательский интерфейс Arenadata Cluster Manager (ADCM). Чтобы выполнить проверку, выполните следующие действия:

  1. Выберите кластер ADS, для этого откройте вкладку Cluster-ADB.

  2. На вкладке Services для сервиса Apache Kafka, в поле Actions нажмите кнопку Run action и выберите Check.

5.3. Проверка ProStore

Проверка ПО ProStore осуществляется путём отправки SQL-запросов к ProStore через клиентское JDBC-подключение и сопоставления ожидаемого эталонного и полученного результатов.

Проверка осуществляется согласно следующим этапам:

  1. Создать Витрину в ProStore с помощью SQL-запроса:

CREATE DATABASE <имя несуществующей логической базы>, например,
CREATE DATABASE testdb;

  1. Создать таблицу в ProStore со всеми типами колонок с помощью SQL-запроса:

CREATE TABLE <имя логической базы из п.1>.all_types (

- id int not null,
- double_col double,
- float_col float,
- char_col varchar(36),
- boolean_col boolean,
- int_col int not null,
- bigint_col bigint,
- date_col date,
- timestamp_col timestamp,
- primary key (id)
- )
- distributed by (id)

  1. Проверить существование и структуру созданной таблицы в ProStore с помощью SQL-запросов:

select \* from <имя логической базы из п.1>.all_types
DATASOURCE_TYPE='ADG'

select \* from <имя логической базы из п.1>.all_types
DATASOURCE_TYPE='ADQM'

select \* from <имя логической базы из п.1>.all_types
DATASOURCE_TYPE='ADB'

  1. Удалить таблицу со всеми типами колонок из ProStore с помощью SQL-запроса:

DROP TABLE <имя логической базы из п.1>.all_types

  1. Удалить Витрину с помощью SQL-запроса:

DROP DATABASE <имя логической базы из п.1>.

Внимание

Наличие сообщений об ошибках, а также отличие получаемых состояний ProStore на различных этапах проверки от ожидаемых состояний является индикатором неуспешного прохождения проверки.

5.4. Проверка СМЭВ QL Сервера

5.4.1. Проверки и валидации

Валидации запускаются либо на все объекты данного типа (указать all), либо только на указанные, в том числе через запятую.

Доступность источников проверяется командой:

./smevql test source <all | source-name>

Валидность моделей проверяется командой:

./smevql test model <all | model-name>

5.5. Проверка СМЭВ3-адаптера

5.5.1. Проверка СМЭВ3-адаптера

Для проверки модуля СМЭВ3-адаптер необходимо выполнить запрос к сервису:

curl -s IP:Port/metrics | grep '^liveness '

где,

  • IP - адрес сервера.

  • Port - адрес сервера.

  • liveness - параметр проверки работоспособности модуля.

Например:

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа:

liveness 1.0

Ответ 1 означает корректную работу модуля.

5.6. Проверка ПОДД-адаптера - Модуль исполнения запросов

5.6.1. Проверка модуля ПОДД-адаптер - Модуль исполнения запросов

Для проверки модуля ПОДД-адаптер - Модуль исполнения запросов необходимо выполнить запрос к сервису:

curl -s IP:Port/metrics | grep '^liveness '

где,

  • IP - адрес сервера.

  • Port - адрес сервера.

  • liveness - параметр проверки работоспособности модуля.

Например:

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ 1 означает корректную работу модуля.

5.7. Проверка ПОДД-адаптер – Модуль MPPR

5.7.1. Проверка модуля ПОДД-адаптера - Модуль MPPR

Для проверки ПОДД-адаптера - Модуль MPPR необходимо выполнить запрос к сервису:

curl -s IP:Port/metrics | grep '^liveness '

где,

  • IP - адрес сервера.

  • Port - адрес сервера.

  • liveness - параметр проверки работоспособности модуля.

Например:

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ 1 означает корректную работу модуля.

5.8. Проверка ПОДД-адаптер-Модуль MPPW

5.8.1. Проверка модуля ПОДД-адаптер - Модуль MPPW

Для проверки модуля ПОДД-адаптер - Модуль MPPW необходимо выполнить запрос к сервису:

curl -s IP:Port/metrics | grep '^liveness '

где,

  • IP - адрес сервера.

  • Port - адрес сервера.

  • liveness - параметр проверки работоспособности модуля.

Например:

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ 1 означает корректную работу модуля.

5.9. Проверка ПОДД-адаптер – Модуль импорта данных табличных параметров

5.9.1. Проверка модуля ПОДД-адаптер – Модуль импорта данных табличных параметров

Для проверки модуля ПОДД-адаптер – Модуль импорта данных табличных параметров необходимо выполнить запрос к сервису:

curl -s IP:Port/metrics | grep '^liveness '

где,

  • IP - адрес сервера.

  • Port - адрес сервера.

  • liveness - параметр проверки работоспособности модуля.

Например:

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ 1 означает корректную работу модуля.

5.10. Проверка ПОДД-адаптер – Модуль группировки данных табличных параметров

5.10.1. Проверка модуля ПОДД-адаптер – Модуль группировки данных табличных параметров

Для проверки модуля ПОДД-адаптер – Модуль группировки данных табличных параметров необходимо выполнить запрос к сервису:

curl -s IP:Port/metrics | grep '^liveness '

где,

  • IP - адрес сервера.

  • Port - адрес сервера.

  • liveness - параметр проверки работоспособности модуля.

Например:

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ 1 означает корректную работу модуля.

5.11. Проверка ПОДД-адаптер – ПОДД-адаптер – Wrapper

5.11.1. Проверка модуля ПОДД-адаптер - Wrapper

Для проверки модуля ПОДД-адаптер - Wrapper необходимо выполнить запрос к сервису:

curl -s IP:Port/metrics | grep '^liveness '

где,

  • IP - адрес сервера.

  • Port - адрес сервера.

  • liveness - параметр проверки работоспособности модуля.

Например:

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа:

liveness 1.0

Ответ 1 означает корректную работу модуля.

5.12. Проверка модуля группировки чанков репликации

5.12.1. Проверка Модуля группировки чанков репликации

Для проверки Модуля группировки чанков репликации необходимо выполнить запрос к сервису:

curl -s IP:Port/metrics | grep '^liveness '

где,

  • IP - адрес сервера.

  • Port - адрес сервера.

  • liveness - параметр проверки работоспособности модуля.

Например:

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа:

liveness 1.0

Ответ 1 означает корректную работу модуля.

5.13. Проверка DATA-uploder – Модуль исполнения асинхронных заданий

5.13.1. Проверка модуля DATA-Uploader

Для проверки модуля DATA-Uploader необходимо выполнить запрос к сервису:

curl -s IP:Port/metrics | grep '^liveness '

где,

  • IP - адрес сервера.

  • Port - адрес сервера.

  • liveness - параметр проверки работоспособности модуля.

Например:

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа:

liveness 1.0

Ответ 1 означает корректную работу модуля.

5.14. Проверка REST-uploader – Модуль асинхронной загрузки данных из сторонних источников

5.14.1. Проверка модуля REST-uploader

Для проверки модуля REST-uploader необходимо выполнить запрос к сервису:

curl -s IP:Port/metrics | grep '^liveness '

где,

  • IP - адрес сервера.

  • Port - адрес сервера.

  • liveness - параметр проверки работоспособности модуля.

Например:

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа:

liveness 1.0

Ответ 1 означает корректную работу модуля.

5.15. Проверка ПОДД-адаптер – Модуль подписки

5.15.1. Проверка модуля ПОДД-адаптер - Модуль подписки

Для проверки модуля ПОДД-адаптер - Модуль подписки необходимо выполнить запрос к сервису:

curl -s IP:Port/metrics | grep '^liveness '

где,

  • IP - адрес сервера.

  • Port - адрес сервера.

  • liveness - параметр проверки работоспособности модуля.

Например:

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ 1 означает корректную работу модуля.

5.16. Проверка BLOB-адаптер

5.16.1. Проверка модуля Blob-адаптер

Для проверки модуля Blob-адаптер необходимо выполнить запрос к сервису:

curl -s IP:Port/metrics | grep '^liveness '

где,

  • IP - адрес сервера.

  • Port - адрес сервера.

  • liveness - параметр проверки работоспособности модуля.

Например

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа:

liveness 1.0

Ответ 1 означает корректную работу модуля.

5.17. Проверка Сервиса формирования документов

5.17.1. Проверка модуля Сервис Формирования документов

Для проверки модуля Сервис Формирования документов необходимо выполнить запрос к сервису:

curl -s IP:Port/metrics | grep '^liveness '

где,

  • IP - адрес сервера.

  • Port - адрес сервера.

  • liveness - параметр проверки работоспособности модуля.

Например:

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа:

liveness 1.0

Ответ 1 означает корректную работу модуля.

5.18. Проверка ETL

5.18.1. Проверка статусной информации по загрузке / удалению данных (Endpoint – status)

В данном разделе производится проверка статусной информации из сервисных таблиц по requestId.

Пример запроса:

Curl -X GET "http://<ip-studio>:8088/api/v1/secure/<organization_ogrn>/<datamart_mnemonic>/<installation_name>/<installation_id>/status/<requestId>" -H "Authorization: Bearer <access_token>"

где:

  • requestId — UUID идентификатор порции изменений (дельты).

Пример ответа на такой запрос представлен ниже.

{
    "requestId": "13f2475e-f3dc-4c9e-b2f6-3a98320261f1",
    "inDeltaFlag": false,
    "dataSets": [
        "stock"
    ],
    "status": "ERROR",
    "statusMessage": "Произошла ошибка",
    "errors": [
        {
            "dataSet": "stock",
            "errorType": "PARCING",
            "message": "Неверно указан тип поля count_pieces: LONG. Ожидается: INTEGER"
        },
        {
            "dataSet": "stock",
            "errorType": "PARCING",
            "message": "Неверно указан тип поля product_id: LONG. Ожидается: INTEGER"
        }
    ]
}

где:

  • requestId — UUID идентификатор порции изменений (дельты);

  • inDeltaFlag = false — загрузка несогласованных данных производилась через endpoint /data;

  • dataSets — массив имен набора данных (имен таблиц где была допущена ошибка);

  • status — статус код результата запроса (NOT_FOUND, PROCESSING, ERROR, SUCCESS);

  • statusMessage — описание статусного сообщения;

  • errors — массив, ошибки загрузки или парсинга входящих данных;

  • dataSet — название таблицы где допущена ошибка;

  • errorType — тип ошибки;

  • message — описание ошибки.

5.18.2. Проверка Apache Airflow

Проверка сервиса Apache Airflow осуществляется через графический пользовательский интерфейс, в случае успешной установки, он должен быть доступен по адресу http://localhost:8080.

Для авторизации используйте следующие данные:

  • логин: airflow;

  • пароль: airflow.

Также, можно проверить удалённое подключение с помощью http-запроса, для этого выполните следующую команду

ENDPOINT_URL="http://localhost:8080/"
curl -X GET \\
--user "airflow:airflow" \\
"${ENDPOINT_URL}/api/v1/pools"

5.18.3. Проверка Apache Spark

Проверка сервиса Apache Spark осуществляется через графический пользовательский интерфейс, в случае успешной установки, он должен быть доступен по адресу:

Веб-сервер Spark Master доступен по адресу

http://<ваш ip-адрес>:8080 например http://localhost:8080/

Веб-сервер Spark Worker 1 доступен по адресу

http://<ваш ip-адрес>:8081 например http://localhost:8081/

5.18.4. Проверка Apache Hadoop

Проверить корректность работы Apache Hadoop можно командой

make wordcount

или последовательно выполнить следующие команды

docker build -t hadoop-wordcount ./submit

docker run --network docker-hadoop_default --env-file hadoop.env
bde2020/hadoop-base:master hdfs dfs -mkdir -p /input/

docker run --network docker-hadoop_default --env-file hadoop.env
bde2020/hadoop-base:master hdfs dfs -copyFromLocal -f
/opt/hadoop-3.2.1/README.txt /input/

docker run --network docker-hadoop_default --env-file hadoop.env
hadoop-wordcount

docker run --network docker-hadoop_default --env-file hadoop.env
bde2020/hadoop-base:master hdfs dfs -cat /output/\*

docker run --network docker-hadoop_default --env-file hadoop.env
bde2020/hadoop-base:master hdfs dfs -rm -r /output

docker run --network docker-hadoop_default --env-file hadoop.env
bde2020/hadoop-base:master hdfs dfs -rm -r /input

После запуска Apache Hadoop можно зайти в следующие WEB–интерфейсы

Namenode:
http://<dockerhadoop_IP_address>:9870/dfshealth.html#tab-overview

History server: http://<dockerhadoop_IP_address>:8188/applicationhistory

Datanode: http://<dockerhadoop_IP_address>:9864/

Nodemanager: http://<dockerhadoop_IP_address>:8042/node

Resource manager: http://<dockerhadoop_IP_address>:8088/

5.18.5. Проверка Tarantool(Vinyl)

Проверка СУБД Tarantool осуществляется согласно документации на СУБД Tarantool: https://www.tarantool.io/en/doc/latest/book/monitoring/ .

5.19. Проверка REST-адаптер

Проверить удалённое подключение с помощью http-запроса

curl localhost:8080

В случае успешной установки ответ будет следующим

{"timestamp":"2021-03-15T10:22:57.325+0000","status":404,"error":"Not
Found","message":"","path":"/"}%

5.20. Проверка Counter-provider - Сервиса генерации уникального номера

5.20.1. Проверка Сервиса генерации уникального номера

Для проверки Сервиса генерации уникального номера необходимо выполнить запрос к сервису:

curl -s IP:Port/metrics | grep '^liveness '

где,

  • IP - адрес сервера.

  • Port - адрес сервера.

  • liveness - параметр проверки работоспособности модуля.

Например

curl -s http://172.16.10.67:9837/metrics | grep '^liveness '

Пример успешного ответа

liveness 1.0

Ответ 1 означает корректную работу модуля.