.. _system_check: Проверка программы ================== Проверка Arenadata Cluster Manager (ADCM) ----------------------------------------- .. attention:: Проверка Arenadata Cluster Manager (ADCM) осуществляется только при условии установки CentOS 7.9 Arenadata Cluster Manager (ADCM), при успешной установке, должен быть доступен по адресу ``http://:8000``. Для авторизации используйте следующие данные: - логин: ``admin``; - пароль: ``admin``. Проверка Arenadata Streaming (ADS) ---------------------------------- .. attention:: Проверка Arenadata Streaming (ADS) осуществляется только при условии установки CentOS 7.9 Проверка сервиса Zookeeper ~~~~~~~~~~~~~~~~~~~~~~~~~~ Проверка сервиса **Zookeeper** осуществляется через графический пользовательский интерфейс Arenadata Cluster Manager (ADCM). Чтобы выполнить проверку, выполните следующие действия: 1. Выберите кластер **ADS**, для этого откройте вкладку **Cluster-ADB**. 2. На вкладке **Services** для сервиса **Zookeeper**, в поле **Actions** нажмите кнопку **Run action** и выберите **Check**. Проверка сервиса Apache Kafka ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Проверка сервиса **Apache Kafka** осуществляется через графический пользовательский интерфейс Arenadata Cluster Manager (ADCM). Чтобы выполнить проверку, выполните следующие действия: 1. Выберите кластер ADS, для этого откройте вкладку **Cluster-ADB**. 2. На вкладке **Services** для сервиса Apache Kafka, в поле **Actions** нажмите кнопку **Run action** и выберите **Check**. Проверка ProStore ----------------- Проверка ПО **ProStore** осуществляется путём отправки SQL-запросов к **ProStore** через клиентское JDBC-подключение и сопоставления ожидаемого эталонного и полученного результатов. Проверка осуществляется согласно следующим этапам: 1. Создать Витрину в **ProStore** с помощью SQL-запроса: .. code-block:: sql CREATE DATABASE <имя несуществующей логической базы>, например, CREATE DATABASE testdb; 2. Создать таблицу в **ProStore** со всеми типами колонок с помощью SQL-запроса: .. code-block:: sql CREATE TABLE <имя логической базы из п.1>.all_types ( - id int not null, - double_col double, - float_col float, - char_col varchar(36), - boolean_col boolean, - int_col int not null, - bigint_col bigint, - date_col date, - timestamp_col timestamp, - primary key (id) - ) - distributed by (id) 3. Проверить существование и структуру созданной таблицы в **ProStore** с помощью SQL-запросов: .. code-block:: sql select \* from <имя логической базы из п.1>.all_types DATASOURCE_TYPE='ADG' select \* from <имя логической базы из п.1>.all_types DATASOURCE_TYPE='ADQM' select \* from <имя логической базы из п.1>.all_types DATASOURCE_TYPE='ADB' 4. Удалить таблицу со всеми типами колонок из **ProStore** с помощью SQL-запроса: .. code-block:: sql DROP TABLE <имя логической базы из п.1>.all_types 5. Удалить Витрину с помощью SQL-запроса: .. code-block:: sql DROP DATABASE <имя логической базы из п.1>. .. attention:: Наличие сообщений об ошибках, а также отличие получаемых состояний **ProStore** на различных этапах проверки от ожидаемых состояний является индикатором неуспешного прохождения проверки. Проверка СМЭВ QL Сервера ------------------------ .. Подключаем файл с проверкой СМЭВ QL Сервера .. include:: ../../modules/smev-ql/doc/smev_ql_check.rst Проверка СМЭВ3-адаптера ----------------------- .. Подключаем файл с проверкой СМЭВ-адаптер .. include:: ../../modules/smev3-adapter/doc/smev3_adapter_check.rst Проверка ПОДД-адаптера - Модуль исполнения запросов --------------------------------------------------- .. Подключаем файл с проверкой ПОДД-адаптер - Модуль исполнения запросов .. include:: ../../modules/podd-adapter-query/doc/podd_adapter_query_check.rst Проверка ПОДД-адаптер – Модуль MPPR ----------------------------------- .. Подключаем файл с проверкой ПОДД-адаптер – Модуль MPPR .. include:: ../../modules/podd-adapter-mppr/doc/podd_adapter_mppr_check.rst Проверка ПОДД-адаптер-Модуль MPPW --------------------------------- .. Подключаем файл с проверкой ПОДД-адаптер-Модуль MPPW .. include:: ../../modules/podd-adapter-mppw/doc/podd_adapter_mppw_check.rst Проверка ПОДД-адаптер – Модуль импорта данных табличных параметров ------------------------------------------------------------------ .. Подключаем файл с проверкой ПОДД-адаптер – Модуль импорта данных табличных параметров .. include:: ../../modules/podd-adapter-import-tp/doc/podd_adapter_import_tp_check.rst Проверка ПОДД-адаптер – Модуль группировки данных табличных параметров ---------------------------------------------------------------------- .. Подключаем файл с проверкой ПОДД-адаптер – Модуль группировки данных табличных параметров .. include:: ../../modules/podd-adapter-group-tp/doc/podd_adapter_group_tp_check.rst Проверка ПОДД-адаптер – ПОДД-адаптер – Wrapper ---------------------------------------------- .. Подключаем файл с проверкой ПОДД-адаптер – Wrapper .. include:: ../../modules/podd-avro-defragmentator/doc/podd_avro_defragmentator_check.rst Проверка модуля группировки чанков репликации ------------------------------------------------- .. Описание модуля .. Подключаем файл с описанием модуля .. include:: ../../modules/podd-adapter-group-repl/doc/podd_adapter_group_repl_check.rst Проверка DATA-uploder – Модуль исполнения асинхронных заданий ------------------------------------------------------------- .. Подключаем файл с проверкой Data-uploder – Модуль исполнения асинхронных заданий .. include:: ../../modules/data-uploader/doc/data_uploader_check.rst Проверка REST-uploader – Модуль асинхронной загрузки данных из сторонних источников ------------------------------------------------------------------------------------ .. Подключаем файл с проверкой REST-uploader – Модуль асинхронной загрузки данных из сторонних источников .. include:: ../../modules/rest-uploader/doc/rest_uploader_check.rst Проверка ПОДД-адаптер – Модуль подписки --------------------------------------- .. Подключаем файл с проверкой ПОДД-адаптер – Модуль подписки .. include:: ../../modules/podd-adapter-replicator/doc/podd_adapter_replicator_check.rst Проверка BLOB-адаптер --------------------- .. Подключаем файл с проверкой BLOB-адаптер .. include:: ../../modules/blob-adapter/doc/blob_adapter_check.rst Проверка Сервиса формирования документов ---------------------------------------- .. Подключаем файл с проверкой Сервис формирования документов .. include:: ../../modules/printable-form-service/doc/printable_form_service_check.rst .. Проверка CSV-Uploader .. ---------------------------------------- .. Подключаем файл с проверкой CSV-Uploader .. .. include:: ../../modules/csv-uploader/doc/csv_uploader_check installation.rst Проверка ETL ------------ .. Подключаем файл с проверкой ETL .. include:: ../../modules/etl/doc/etl_check.rst Проверка Apache Airflow ~~~~~~~~~~~~~~~~~~~~~~~ Проверка сервиса **Apache Airflow** осуществляется через графический пользовательский интерфейс, в случае успешной установки, он должен быть доступен по адресу ``http://localhost:8080``. Для авторизации используйте следующие данные: - логин: ``airflow``; - пароль: ``airflow``. Также, можно проверить удалённое подключение с помощью http-запроса, для этого выполните следующую команду .. code-block:: bash ENDPOINT_URL="http://localhost:8080/" curl -X GET \\ --user "airflow:airflow" \\ "${ENDPOINT_URL}/api/v1/pools" Проверка Apache Spark ~~~~~~~~~~~~~~~~~~~~~ Проверка сервиса **Apache Spark** осуществляется через графический пользовательский интерфейс, в случае успешной установки, он должен быть доступен по адресу: Веб-сервер **Spark Master** доступен по адресу .. code-block:: bash http://<ваш ip-адрес>:8080 например http://localhost:8080/ Веб-сервер **Spark Worker 1** доступен по адресу .. code-block:: bash http://<ваш ip-адрес>:8081 например http://localhost:8081/ Проверка Apache Hadoop ~~~~~~~~~~~~~~~~~~~~~~ Проверить корректность работы **Apache Hadoop** можно командой .. code-block:: bash make wordcount или последовательно выполнить следующие команды .. code-block:: bash docker build -t hadoop-wordcount ./submit docker run --network docker-hadoop_default --env-file hadoop.env bde2020/hadoop-base:master hdfs dfs -mkdir -p /input/ docker run --network docker-hadoop_default --env-file hadoop.env bde2020/hadoop-base:master hdfs dfs -copyFromLocal -f /opt/hadoop-3.2.1/README.txt /input/ docker run --network docker-hadoop_default --env-file hadoop.env hadoop-wordcount docker run --network docker-hadoop_default --env-file hadoop.env bde2020/hadoop-base:master hdfs dfs -cat /output/\* docker run --network docker-hadoop_default --env-file hadoop.env bde2020/hadoop-base:master hdfs dfs -rm -r /output docker run --network docker-hadoop_default --env-file hadoop.env bde2020/hadoop-base:master hdfs dfs -rm -r /input После запуска **Apache Hadoop** можно зайти в следующие WEB–интерфейсы .. code-block:: bash Namenode: http://:9870/dfshealth.html#tab-overview History server: http://:8188/applicationhistory Datanode: http://:9864/ Nodemanager: http://:8042/node Resource manager: http://:8088/ Проверка Tarantool(Vinyl) ~~~~~~~~~~~~~~~~~~~~~~~~~ Проверка СУБД **Tarantool** осуществляется согласно документации на СУБД Tarantool: https://www.tarantool.io/en/doc/latest/book/monitoring/ . Проверка REST-адаптер --------------------- Проверить удалённое подключение с помощью http-запроса .. code-block:: bash curl localhost:8080 В случае успешной установки ответ будет следующим .. code-block:: bash {"timestamp":"2021-03-15T10:22:57.325+0000","status":404,"error":"Not Found","message":"","path":"/"}% Проверка Counter-provider - Сервиса генерации уникального номера ---------------------------------------------------------------- .. Подключаем файл с проверкой Сервиса генерации уникального номера .. include:: ../../modules/counter-provider/doc/counter_provider_check.rst