Проверка программы ================== Проверка Arenadata Cluster Manager (ADCM) ----------------------------------------- .. attention:: При условии установки CentOS 7.9 Arenadata Cluster Manager (ADCM), при успешной установке, должен быть доступен по адресу ``http://:8000``. Для авторизации используйте следующие данные: - логин: ``admin``; - пароль: ``admin``. Проверка Arenadata Streaming (ADS) ---------------------------------- .. attention:: При условии установки CentOS 7.9 Проверка сервиса Zookeeper ~~~~~~~~~~~~~~~~~~~~~~~~~~ Проверка сервиса *Zookeeper* осуществляется через графический пользовательский интерфейс Arenadata Cluster Manager (ADCM). Чтобы выполнить проверку, выполните следующие действия: 1. Выберите кластер ADS, для этого откройте вкладку *Cluster-ADB*. 2. На вкладке **Services** для сервиса *Zookeeper*, в поле **Actions** нажмите кнопку **Run action** и выберите **Check**. Проверка сервиса Apache Kafka ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Проверка сервиса *Apache Kafka* осуществляется через графический пользовательский интерфейс Arenadata Cluster Manager (ADCM). Чтобы выполнить проверку, выполните следующие действия: 1. Выберите кластер ADS, для этого откройте вкладку *Cluster-ADB*. 2. На вкладке **Services** для сервиса Apache Kafka, в поле **Actions** нажмите кнопку **Run action** и выберите **Check**. Проверка ProStore ----------------- Проверка ПО :term:`ProStore` осуществляется путём отправки SQL-запросов к :term:`ProStore` через клиентское :term:`JDBC`-подключение и сопоставления ожидаемого эталонного и полученного результатов. Проверка осуществляется согласно следующим этапам: 1. Создать Витрину в :term:`ProStore` с помощью SQL-запроса: .. code-block:: sql CREATE DATABASE <имя несуществующей логической базы>, например, CREATE DATABASE testdb; 2. Создать таблицу в :term:`ProStore` со всеми типами колонок с помощью SQL-запроса: .. code-block:: sql CREATE TABLE <имя логической базы из п.1>.all_types ( - id int not null, - double_col double, - float_col float, - char_col varchar(36), - boolean_col boolean, - int_col int not null, - bigint_col bigint, - date_col date, - timestamp_col timestamp, - primary key (id) - ) - distributed by (id) 3. Проверить существование и структуру созданной таблицы в :term:`ProStore` с помощью SQL-запросов: .. code-block:: sql select \* from <имя логической базы из п.1>.all_types DATASOURCE_TYPE='ADG' select \* from <имя логической базы из п.1>.all_types DATASOURCE_TYPE='ADQM' select \* from <имя логической базы из п.1>.all_types DATASOURCE_TYPE='ADB' 4. Удалить таблицу со всеми типами колонок из :term:`ProStore` с помощью SQL-запроса: .. code-block:: sql DROP TABLE <имя логической базы из п.1>.all_types 5. Удалить Витрину с помощью SQL-запроса: .. code-block:: sql DROP DATABASE <имя логической базы из п.1>. .. attention:: Наличие сообщений об ошибках, а также отличие получаемых состояний ProStore на различных этапах проверки от ожидаемых состояний является индикатором неуспешного прохождения проверки. Проверка СМЭВ QL Сервера ------------------------ .. Подключаем файл с проверкой СМЭВ QL Сервера .. include:: ../../modules/smev-ql/doc/smev_ql_check.rst Проверка СМЭВ3-адаптера ----------------------- .. Подключаем файл с проверкой СМЭВ-адаптер .. include:: ../../modules/smev3-adapter/doc/smev3_adapter_check.rst Проверка ПОДД-адаптера - Модуль исполнения запросов --------------------------------------------------- .. Подключаем файл с проверкой ПОДД-адаптер - Модуль исполнения запросов .. include:: ../../modules/podd-adapter-query/doc/podd_adapter_query_check.rst Проверка ПОДД-адаптер – Модуль MPPR ----------------------------------- .. Подключаем файл с проверкой ПОДД-адаптер – Модуль MPPR .. include:: ../../modules/podd-adapter-mppr/doc/podd_adapter_mppr_check.rst Проверка ПОДД-адаптер-Модуль MPPW --------------------------------- .. Подключаем файл с проверкой ПОДД-адаптер-Модуль MPPW .. include:: ../../modules/podd-adapter-mppw/doc/podd_adapter_mppw_check.rst Проверка ПОДД-адаптер – Модуль импорта данных табличных параметров ------------------------------------------------------------------ .. Подключаем файл с проверкой ПОДД-адаптер – Модуль импорта данных табличных параметров .. include:: ../../modules/podd-adapter-import-tp/doc/podd_adapter_import_tp_check.rst Проверка ПОДД-адаптер – Модуль группировки данных табличных параметров ---------------------------------------------------------------------- .. Подключаем файл с проверкой ПОДД-адаптер – Модуль группировки данных табличных параметров .. include:: ../../modules/podd-adapter-import-tp/doc/podd_adapter_import_tp_check.rst Проверка ПОДД-адаптер – ПОДД-адаптер – Wrapper ---------------------------------------------- .. Подключаем файл с проверкой ПОДД-адаптер – Wrapper .. include:: ../../modules/podd-avro-defragmentator/doc/podd_avro_defragmentator_check.rst Проверка модуля группировки чанков репликации ------------------------------------------------- .. Описание модуля .. Подключаем файл с описанием модуля .. include:: ../../modules/podd-adapter-group-repl/doc/podd_adapter_group_repl_check.rst Проверка DATA-uploder – Модуль исполнения асинхронных заданий ------------------------------------------------------------- .. Подключаем файл с проверкой Data-uploder – Модуль исполнения асинхронных заданий .. include:: ../../modules/data-uploader/doc/data_uploader_check.rst Проверка REST-uploader – Модуль асинхронной загрузки данных из сторонних источников ------------------------------------------------------------------------------------ .. Подключаем файл с проверкой REST-uploader – Модуль асинхронной загрузки данных из сторонних источников .. include:: ../../modules/rest-uploader/doc/rest_uploader_check.rst Проверка ПОДД-адаптер – Модуль подписки --------------------------------------- .. Подключаем файл с проверкой ПОДД-адаптер – Модуль подписки .. include:: ../../modules/podd-adapter-replicator/doc/podd_adapter_replicator_check.rst Проверка BLOB-адаптер --------------------- .. Подключаем файл с проверкой BLOB-адаптер .. include:: ../../modules/blob-adapter/doc/blob_adapter_check.rst Проверка Сервиса формирования документов ---------------------------------------- .. Подключаем файл с проверкой Сервис формирования документов .. include:: ../../modules/printable-form-service/doc/printable_form_service_check.rst Проверка ETL ------------ Проверка Apache Airflow ~~~~~~~~~~~~~~~~~~~~~~~ Проверка сервиса **Apache Airflow** осуществляется через графический пользовательский интерфейс, в случае успешной установки, он должен быть доступен по адресу ``http://localhost:8080``. Для авторизации используйте следующие данные: - логин: ``airflow``; - пароль: ``airflow``. Также, можно проверить удалённое подключение с помощью http-запроса, для этого выполните следующую команду:: ENDPOINT_URL="http://localhost:8080/" curl -X GET \\ --user "airflow:airflow" \\ "${ENDPOINT_URL}/api/v1/pools" Проверка Apache Spark ~~~~~~~~~~~~~~~~~~~~~ Проверка сервиса *Apache Spark* осуществляется через графический пользовательский интерфейс, в случае успешной установки, он должен быть доступен по адресу: Веб-сервер *Spark Master* доступен по адресу:: http://<ваш ip-адрес>:8080 например http://localhost:8080/ Веб-сервер *Spark Worker 1* доступен по адресу:: http://<ваш ip-адрес>:8081 например http://localhost:8081/ Проверка Apache Hadoop ~~~~~~~~~~~~~~~~~~~~~~ Проверить корректность работы :term:`Apache Hadoop` можно командой:: make wordcount или последовательно выполнить следующие команды:: docker build -t hadoop-wordcount ./submit docker run --network docker-hadoop_default --env-file hadoop.env bde2020/hadoop-base:master hdfs dfs -mkdir -p /input/ docker run --network docker-hadoop_default --env-file hadoop.env bde2020/hadoop-base:master hdfs dfs -copyFromLocal -f /opt/hadoop-3.2.1/README.txt /input/ docker run --network docker-hadoop_default --env-file hadoop.env hadoop-wordcount docker run --network docker-hadoop_default --env-file hadoop.env bde2020/hadoop-base:master hdfs dfs -cat /output/\* docker run --network docker-hadoop_default --env-file hadoop.env bde2020/hadoop-base:master hdfs dfs -rm -r /output docker run --network docker-hadoop_default --env-file hadoop.env bde2020/hadoop-base:master hdfs dfs -rm -r /input После запуска :term:`Apache Hadoop` можно зайти в следующие WEB–интерфейсы:: Namenode: http://:9870/dfshealth.html#tab-overview History server: http://:8188/applicationhistory Datanode: http://:9864/ Nodemanager: http://:8042/node Resource manager: http://:8088/ Проверка Tarantool(Vinyl) ~~~~~~~~~~~~~~~~~~~~~~~~~ Проверка СУБД :term:`Tarantool` осуществляется согласно документации на СУБД Tarantool: https://www.tarantool.io/en/doc/latest/book/monitoring/ . Проверка REST-адаптер --------------------- Проверить удалённое подключение с помощью http-запроса:: curl localhost:8080 В случае успешной установки ответ будет следующим:: {"timestamp":"2021-03-15T10:22:57.325+0000","status":404,"error":"Not Found","message":"","path":"/"}% Проверка Counter-provider - Сервиса генерации уникального номера ---------------------------------------------------------------- .. Подключаем файл с проверкой Сервиса генерации уникального номера .. include:: ../../modules/counter-provider/doc/counter_provider_check.rst