4. ВЫПОЛНЕНИЕ ПРОГРАММЫ

4.1. Подготовка к работе

Запуск «Витрины данных НСУД» осуществляется в автоматическом режиме при запуске операционной системы и от оператора дополнительных действий не требуется.

Перед началом работы необходимо выполнить следующие действия:

Получить у системного администратора логин и пароль для подключения к серверу.
Получить у системного администратора учетные записи для подключения к БД.
Получить SSH-ключи.
Установить клиентское приложение для управления базами данных – DBeaver (версия 7.3.4 и выше).
Установить JDBC-драйвер.
Установить ftp-клиент FileZilla.
Проверить подключение к базам данных сервера.
Проверить подключение к серверу по протоколу SSH.

4.1.1. Настройка подключения к базам данных

Для подключения к базам данных сервера необходимо выполнить следующие действия:

получить у системного программиста учетные записи для доступа к базам данных;
установить и настроить программу DBeaver (менеджер баз данных);
установить и настроить JDBC-драйвер для работы с базами данных «Витрины данных НСУД»;
выполнить проверку подключения к базам данных.

4.1.1.1. Установка программы DBeaver

DBeaver — это бесплатное программное обеспечение с открытым исходным кодом для управления базами данных (БД). Для взаимодействия с реляционными БД в программе используется программный интерфейс JDBC (через JDBC-драйвер).

С помощью программы DBeaver оператор может выполнить следующие действия:

настроить доступ и подключится к БД;
проверить работоспособность БД.

Для установки DBeaver скачайте дистрибутив программы с официального сайта https://dbeaver.io/download/.

Внимание

Необходимо выбрать дистрибутив программы для операционной системы, которая установлена на вашем компьютере.

4.1.1.2. Установка DBeaver для ОС Linux

(В данном разделе описан процесс установки DBeaver, в операционную систему Linux Ubuntu, версия 20.04).

В строке поиска Ubuntu Software введите название программы DBeaver (см. рис. ниже).

В предложенном списке (см.рис. выше) выберите программу DBeaver.
В следующем окне запустите установку программы, для этого нажмите кнопку Install (см. рис. ниже).

Дождитесь окончания процесса копирования файлов (см. рис. ниже).

Рисунок - 4.24 Процесс копирования файлов программы

После завершения копирования файлов на экране монитора отобразится окно об успешной установке программы (см. рис. ниже).

Рисунок - 4.25 Завершение установки программы

4.1.1.3. Установка DBeaver для ОС Windows

Запустите установочный файл от имени администратора (см. рис. ниже).

Рисунок - 4.26 Запуск установочного файла от имени администратора

В открывшемся окне (см. рис. ниже) выберите язык установки:

В окне «Мастер установки DBeaver Community» нажмите кнопку Далее (см. рис. ниже).

Рисунок - 4.28 Окно «Мастер установки DBeaver Community»

В открывшемся окне «Лицензионное соглашение» нажмите кнопку Принимаю (см. рис. ниже).

В окне «Выбор пользователя» выберите пользователей компьютера, которым будет доступна программа и нажмите кнопку Далее (см. рис. ниже).

Рисунок - 4.30 Выбор пользователя

В окне «Компоненты устанавливаемой программы» выберите компоненты программы, которые требуется установить (см. рис. ниже) и нажмите кнопку Далее.

Рисунок - 4.31 Выбор компонентов программы для установки

В открывшемся окне «Выбор папки установки» вы можете выбрать папку установки или оставить путь к папке установки по умолчанию. Чтобы изменить папку установки нажмите кнопку Обзор и выберите требуемую папку. Для продолжения установки нажмите кнопку Далее (см. рис. ниже).

В окне «Папка в меню «Пуск» выберите папку в меню «Пуск», в которую будет помещен ярлык программы или установите маркер в поле «Не создавать ярлыки», в этом случае ярлык программы не будет создан (см. рис. ниже). Нажмите кнопку Установить для продолжения процесса установки.

Рисунок - 4.33 Выбор папки в меню «Пуск»

В окне «Копирование файлов» можно просмотреть процесс установки программы (см. рис. ниже).

Рисунок - 4.34 Копирование файлов программы

Дождитесь окончания процесса копирования файлов. После завершения процесса установки на экране монитора отобразится окно «Завершение работы мастера установки» (см. рис. ниже). Нажмите кнопку Готово.

Рисунок - 4.35 Завершение работы мастера установки

4.1.1.4. Установка и настройка JDBC-драйвера

Для дальнейшей работы c программой оператору необходимо настроить подключение к базам данных ПО «Витрина данных НСУД». Для этого необходимо установить и настроить JDBC-драйвер Дистрибутив с актуальной версией JDBC-драйвер следует запросить у системного программиста.

4.1.1.5. Установка и настройка JDBC-драйвера для ОС Windows

Чтобы установить JDBC-драйвер и настроить подключение к базам данных в программе Dbeaver, работающей под операционной системой Windows, выполните следующие действия:

Откройте программу Dbeaver.
В главном меню программы выберите «Базы данных» и нажмите пункт Управление драйверами (см. рис. ниже).

В открывшемся окне «Менеджер драйверов» нажмите кнопку Новый (см. рис. ниже).

Рисунок - 4.37 Окно «Менеджер драйверов»

В открывшемся окне «Создать драйвер» (см. рис. ниже) заполните следующую информацию:

Имя драйвера: DtmDriver;
Имя класса: ru.datamart.prostore.jdbc.Driver;
Шаблон URL: jdbc:prostore://{host}:{port}.

Установите маркер в поле «Без авторизации» и «Пустой пароль».
Во вкладке «Библиотеки» укажите путь к jar-файлу с JDBC-драйвер.

Нажмите кнопку «Ок».
Проверьте, что драйвер был добавлен в программу. Для этого в окне «Менеджер драйверов» в поисковой строке введите название драйвера – DtmDriver (см. рис. ниже).

Рисунок - 4.40 Поиск DtmDriver в Менеджере драйверов

Для подключения к базам данных через JDBC-драйвер, выполните следующие действия:

Откройте Dbeaver.
В главном меню программы выберите пункт База данных > Новое соединение.
В окне «Создать соединение» в поисковой строке введите dtmjdbc (см. рис. ниже).

Рисунок - 4.41 Установка нового соединения с базой данных

Нажмите кнопку Далее

В окне «Настройка базового соединения» (см. рис. ниже) заполните следующие поля:

Хост: DNS-name или IP адрес Prostore (172.16.0.17:9090 (имя сервера t2-core-service-01.ru-central1.internal)

Нажмите кнопку Тест соединения для проверки подключения.

В случае успешного подключение отобразится сообщение о корректном подключении (см. рис. ниже).

Рисунок - 4.43 Сообщение об успешном подключении к БД

Нажмите кнопку Готово

4.1.1.6. Установка и настройка драйвера JDBC-драйвер для Linux

(В данном разделе описан процесс установки драйвера в Dbeaver, работающий под управлением операционной системы Linux Ubuntu, версия 20.04).

Чтобы установить драйвер и настроить подключение к базам данных, выполните следующие действия:

Откройте программу Dbeaver.
В главном меню программы выберите «Database» и нажмите пункт Driver Manager (см. рис. ниже).

В открывшемся окне «Driver Manager» нажмите кнопку New (см. рис. ниже).

В открывшемся окне «Create new driver» (см. рис. ниже) заполните следующую информацию:

Driver Name: DtmDriver;
Class Name: ru.datamart.prostore.jdbc.Driver;
URL Template: jdbc:prostore://{host}:{port}.

Рисунок - 4.46 Окно «Create new driver»

Установите маркер в поле «No authentication» и «Allow Empty Password».
Во вкладке «Libraries» укажите путь к jar-файлу с JDBC-драйвер.
Нажмите кнопку Ок.
Проверьте, что драйвер был добавлен в программу. Для этого в окне «Driver Manager» в поисковой строке введите название драйвера – DtmDriver (см. рис. ниже).

Рисунок - 4.47 Окно «Поиск DtmDriver в Driver Manager»

Для подключения к базам данных через JDBC-драйвер, выполните следующие действия:

Откройте программу Dbeaver.
В главном меню программы выберите пункт Database > Connect to a Database.
В окне «Connect to a Database» в поисковой строке введите dtmdriver (см. рис. ниже).

Рисунок - 4.48 Окно Поиск DtmDriver при создании нового подключения

Выберите DtmDriver (см. рис. ниже).

В окне «Connection Settings» (см. рис. ниже) заполните следующие поля:

Host: - DNS-name или IP адрес ядра DTM (172.16.0.17:9090 (имя сервера t2-core-service-01.ru-central1.internal)

Рисунок - 4.50 Настройка базового подключения

Нажмите кнопку «Connection test» для проверки подключения.
В случае успешного подключение отобразится сообщение об успешном подключении (см. рис. ниже).

Нажмите кнопку Ok.

4.1.2. Настройка подключения к серверу ETL

Для выполнения работ на сервере, например, для загрузки данных или просмотра log-файлов, необходимо:

установить рекомендуемое программное обеспечение (ftp-клиент) или использовать для подключения режим терминального клиента;
получить SSH-ключи;
получить у системного программиста логин пользователя;
настроить подключение к серверу по протоколу SSH;
выполнить проверку подключения к серверу.

4.1.2.1. Установка и настройка программы FileZilla

FileZilla– ftp-клиент для подключения к серверу. С помощью FileZilla оператор может выполнять следующие действия:

настроить подключение к серверу по протоколу SSH;
загружать и просматривать файлы сервера, в соответствии cо своими должностными обязанностями и предоставленными правами;
проверить работоспособность сервера.

Внимание

Перед началом установки программы FileZilla уточните у системного программиста рекомендуемый в вашем ведомстве ftp-клиент.

Для установки FileZilla скачайте дистрибутив с официального сайта: https://filezilla.ru/.

Необходимо выбрать дистрибутив программы для операционной системы, которая установлена на вашем компьютере.

4.1.2.2. Установка FileZilla для ОС Windows

Запустите установочный файл от имени администратора (см. рис. ниже).

В открывшемся окне «Лицензионное соглашение» нажмите кнопку I Agree (см. рис. ниже).

В окне «Выбор пользователя» выберите пользователей компьютера, которым будет доступна программа и нажмите кнопку Next (см. рис. ниже).

В окне «Компоненты устанавливаемой программы» выберите компоненты программы, которые требуется установить (см. рис. ниже) и нажмите кнопку Далее.

Рисунок - 4.55 Выбор компонентов программы FileZilla для установки

В открывшемся окне «Выбор папки установки» вы можете изменить папку установки, для этого нажмите кнопку Browse и выберите требуемую папку или оставьте путь к папке установки по умолчанию. Для продолжения установки нажмите кнопку Next (см. рис. ниже).

Рисунок - 4.56 Выбор папки установки FileZilla

В окне «Choose Install Location» выберите папку в меню Пуск, в которую будет помещен ярлык программы или установите маркер в поле «Do not create shortcuts», в этом случае ярлык программы не будет создан (см. рис. ниже). Нажмите кнопку Install для продолжения процесса установки.

Дождитесь окончания процесса копирования файлов. После завершения копирования файлов на экране монитора отобразится окно об успешной установке программы (см. рис. ниже). Нажмите кнопку «Finish».

4.1.2.3. Установка FileZilla для ОС Linux

(В данном разделе описан процесс установки FileZilla, в операционную систему Linux Ubuntu, версия 20.04).

В строке поиска Ubuntu Software введите название программы Filezilla (см. рис. ниже).

В предложенном списке (см. рис. выше) выберите программу FileZilla.

В следующем окне запустите установку программы, для этого нажмите кнопку Install (см. рис. ниже).

Дождитесь окончания процесса копирования файлов. После завершения
копирования файлов на экране монитора отобразится окно об успешной установке программы (см. рис. ниже).

4.1.2.4. Создание SSH-ключей

Для подключения к серверу по протоколу SSH оператору необходимо создать SSH-ключи.

Для аутентификации пользователя на сервере используются два ключа: приватный и публичный.

Публичный ключ хранится на сервере в корневом каталоге, а приватный ключ остаётся на локальном компьютере оператора в зашифрованном виде.

После того как оператор создаст пару SSH-ключей (приватный и публичный), публичный ключ следует передать системному программисту.

4.1.2.5. Создание SSH-ключей для ОС Linux

Чтобы сгенерировать SSH-ключи для операционной системы Linux, выполните следующие действия:

Откройте терминал на вашем компьютере и выполните команду:

ssh-keygen

Примечание

Если команда ssh-keygen не найдена, установите пакет openssh.

После выполнения команды вам будет предложено указать имена файлов,
в которые будут сохранены ключи и ввести пароль для закрытого ключа. По умолчанию используется имя id_rsa, ключи создаются в директории ~./ssh.

Публичная часть ключа будет сохранена в файле с названием <имя_ключа>.pub.

В окне терминала будет выведено следующее сообщение:

Generating public/private rsa key pair.

Enter file in which to save the key (/home/user/.ssh/id_rsa).

Нажмите клавишу Enter - ключ будет сохранен в указанную директорию
по умолчанию.

Далее вам будет предложено ввести кодовое слово для дополнительной защиты ключа. Вы можете пропустить данный шаг и нажать Enter.
Если вы укажете кодовое слово, то при обращении на сервер вам
потребуется его вводить. Данный способ позволяет дополнительно защитить ваш приватный ключ.

Процедура создания ключей завершена, ключи сохранены в директории ~/.ssh/ в файлах id_rsa и id_rsa.pub.

Приватный ключ (id_rsa) должен храниться на компьютере оператора. Публичный ключ (id_rsa.pub) необходимо передать системному программисту для размещения на том сервере, к которому будет настроен доступ.

4.1.2.6. Создание SSH-ключей для ОС Windows

Для создания ключей в ОС Windows необходимо установить SSH-клиент PuTTY.

Для этого выполните следующие действия:

Скачайте дистрибутив программы с официального сайта https://www.putty.org/ (ссылка актуальна на момент написания данного документа).
Запустите установочный файл.
В открывшемся окне нажмите кнопку Next (см. рис. ниже).

Рисунок - 4.62 Установка программы PuTTY

Выберите папку, в которую будет установлена программа.

Рисунок - 4.63 Выбор папки установки программы PuTTY

В следующем окне (см. рис. ниже) нажмите кнопку Install.

Дождитесь окончания процесса копирования файлов. После завершения копирования файлов на экран монитора будет выведено окно об успешной установке программы (см. рис. ниже).

Рисунок - 4.65 Окно завершения установки

Нажмите кнопку Finish.
Откройте программу для генерации ключа PuTTYgen, которая входит в состав программы PuTTY.
В открывшемся окне (см. рис. ниже) нажмите кнопку Generate.

Установите курсор мыши в область для сбора случайных данных (см. рис. ниже). Выполняйте произвольные движения курсором мыши. Индикатор загрузки (зеленая полоса) информирует о процессе формирования ключа.
После того как ключ будет создан, программа отобразит информацию о публичном и приватном ключе (см. рис. ниже).

Рисунок - 4.67 Окно с информацией о ssh-ключах

Скопируйте публичный ключ из области «Key» (см. рис. ниже) и сохраните его на локальном компьютере.
Для сохранения приватного ключа нажмите кнопку Save private key.

Внимание

Публичный ключ в формате openSSH можно сохранить, только скопировав его вручную. Ключ, сохранённый с помощью кнопки Save private key, система Linux не распознаёт.

4.1.2.7. Подключение к серверу через SSH-клиент PuTTY

SSH-клиент PuTTY применяется для удаленного администрирования Linux серверов и подключения к виртуальным серверам по протоколу SSH.

Перед настройкой программы оператору необходимо:

получить приватный и публичный ключ SSH (см. п. Создание SSH-ключей ).
передать публичный ключ системному программисту.
получить у системного программиста учетные данные для подключения к серверу.

Чтобы настроить подключение к серверу по протоколу SSH выполните следующие действия:

Откройте программу PuTTY.
В поле «Host Name (or IP address)» введите IP-адрес сервера, например:
```
172.16.0.11.
```
Во левом меню программы выберите вкладку Connection > SSH > Auth.
В поле «Private key file for authentication» укажите путь к закрытому ключу. Для этого нажмите кнопку Browse и выберите файл с ключом.
Нажмите кнопку Open (см. рис. ниже).

Рисунок - 4.68 Настройка пути к закрытому ключу в программе PuTTY

В открывшемся окне SSH-консоли в поле «login as» введите свой логин, который вам выдал системный программист (см. рис. ниже).

Рисунок - 4.69 Окно SSH-консоли программы PuTTY

Нажмите клавишу Enter.

Если вы подключаетесь к узлу в первый раз, может появиться предупреждение о неизвестном хосте:

The authenticity of host '130.193.40.101 (130.193.40.101)' can't be
established.

ECDSA key fingerprint is
SHA256:PoaSwqxRc8g6iOXtiH7ayGHpSN0MXwUfWHkGgpLELJ8.

Are you sure you want to continue connecting (yes/no)?

Введите в терминале слово «yes» и нажмите клавишу Enter.

4.1.2.8. Подключение к серверу с помощью программы FileZilla

Перед настройкой программы оператору необходимо:

получить приватный и публичный ключ SSH (см. п. Создание SSH-ключей ).
передать публичный ключ системному программисту.
получить у системного программиста учетные данные пользователя для подключения к серверу.

Чтобы настроить подключение к серверу по протоколу SSH выполните следующие действия:

Откройте программу FileZilla.
Выберите в главном меню программы пункт Редактирование > Настройки.
В окне «Настройки», в левом меню выберите «SFTP» и нажмите кнопку Добавить файл с ключом (см. рис. ниже).

В открывшемся окне укажите путь к папке, в которой расположен ваш приватный ключ (файл с расширением .ppk). Выберите ключ и нажмите кнопку Открыть.

При успешной загрузке приватный ключ отобразится в поле «Личные ключи» (см. рис. ниже).

Рисунок - 4.71 Добавление личного (приватного) ключа

4.1.2.9. Проверка подключения к серверу ETL в программе FileZilla

Для подключения к серверу выполните следующие действия:

Откройте программу FileZilla.
В главном окне программы, в панели быстрого подключения (см. рис. ниже) введите следующие данные:

Хост – введите IP-адрес сервера;
Имя пользователя – введите имя пользователя;
Пароль – введите пароль пользователя;
Порт – укажите порт подключения или оставьте пустым.

Рисунок - 4.72 Панель быстрого подключения к серверу

Нажмите кнопку Быстрое соединение.

Если подключение произошло без ошибок, в правой области окна будет отображен список файлов и директорий сервера.

В случае ошибки подключения, в правой области окна будет отображено сообщение «Не подключен к серверу» (см. рис. ниже). Рекомендуется проверить настройки подключения и повторить попытку.

Рисунок - 4.73 Ошибка подключения к серверу

4.2. Выполнение запросов к базам данных

Для выполнения запросов к базе данных необходимо выполнить следующие действия:

Откройте программу Dbeaver.
Выполните подключение к базе данных (см. п. Настройка подключения к базам данных ).
В главном окне программы выберите пункт «Редактор SQL > Выполнить SQL-выражение».
В открывшемся окне введите SQL-запрос к базе данных (см. рис. ниже).

Рисунок - 4.74 Выполнение SQL-запросов к базе данных

В нижней области окна (см. рис. выше) просмотрите результат запроса.

4.3. Работа с файлами

4.3.1. Загрузка csv-файлов на сервер

Для передачи сsv-файла на сервер выполните следующие действия:

Откройте программу FileZilla.
Подключитесь к серверу (см. п. Проверка подключения к серверу ETL в программе FileZilla ).
В левой области окна (локальный сайт) отображаются файлы и директории, на котором запущен клиент FileZilla (компьютер оператора). В правой колонке (удаленный сайт) отображаются файлы и директории сервера, к которому вы подключены.
В локальной панели (левая область окна) перейдите в директорию, в которой расположен csv-файл.
В серверной панели (правая область окна) выберите директорию на сервере, в которую требуется загрузить csv-файл.
Подведите курсор мыши к файлу и нажмите правую кнопку мыши и в контекстном меню выберите «Закачать на сервер» (см. рис. ниже). Файл будет загружен на сервер в ту директорию, которая открыта в серверной панели.

Рисунок - 4.75 Загрузка файла на сервер

Убедитесь, что файл был загружен на сервер см. рис. ниже).

Рисунок - 4.76 Проверка загрузки файла на сервер

4.3.2. Скачивание файлов с сервера

Для скачивания файлов с сервера выполните следующие действия:

Откройте программу FileZilla.
Подключитесь к серверу (см. п. Проверка подключения к серверу ETL в программе FileZilla ).
В левой области окна (локальный сайт) отображаются файлы и директории, на котором запущен клиент FileZilla (компьютер оператора). В правой колонке (удаленный сайт) отображаются файлы и директории сервера, к которому вы подключены.
В серверной панели (правая область окна) выберите директорию на сервере, в которой расположен файл.
В локальной панели (левая область окна) перейдите в директорию, в которую требуется скачать файл.
Подведите курсор мыши к файлу на сервере и нажмите правую кнопку мыши. В контекстном меню выберите «Скачать (см. рис. ниже). Файл будет загружен на локальный компьютер в ту директорию, которая открыта в левой (локальной) панели.

Рисунок - 4.77 Скачивание файла с сервера

Убедитесь, что файл был скачен на локальный компьютер (см. рис. ниже).

Рисунок - 4.78 Проверка загрузки файла на локальный компьютер

4.3.3. Работа в Airflow

Apache Airflow предназначен для создания, планирования и мониторинга рабочих процессов.

Для запуска процесса на сервере, необходимо выполнить следующие действия:

авторизоваться в Apache Airflow;
загрузить dag-файл с описанием процесса;
запустить процесс.

После запуска процесса оператор может проверить статус выполнения задачи, перезапустить или удалить процесс (список возможных действий оператора зависит от установленных системным программистом пользовательских прав).

4.3.3.1. Авторизация в Airflow

Для авторизации в Apache Airflow выполните следующие действия:

Откройте страницу авторизации < сервер Spark/AirFlow>/login/.
В окне авторизации введите свои учетные данные (см. рис. ниже).

Нажмите кнопку Sign In

При успешной авторизации отобразится главное окно программы (см. рис. ниже).

Рисунок - 4.80 Главное окно Spark/Airflow

4.3.3.2. Загрузка DAG-файла

dag-файл это файл с задачами, которые требуются выполнить в процессе эксплуатации программы.

Выполнять загрузку dag-файл следует в папку:

<сервер_Spark/AirFlow>/airflow/dags

Действия оператора по загрузке dag-файл аналогичны действиям описанным в п. Загрузка csv-файлов на сервер настоящего документа за исключением пути к папке загрузки.

Внимание

Перед началом выполнения операции по загрузке файлов уточните адрес сервера – <сервер_Spark/AirFlow>, у системного программиста.

4.3.3.3. Перезапуск процесса

Для перезапуска процесса выполните следующие действия:

В главном окне программы выберите в столбце «Dag» процесс, который требуется перезапустить. Для поиска процесса введите его название в строке «Поиск» (см. рис. ниже).

Рисунок - 4.81 Поиск в списке процессов

Нажмите кнопку Обновление.

кнопка Обновление — Рисунок - 4.82 Кнопка **Обновление**

В результате выполненных действий процесс будет перезапущен.

4.3.4. Мониторинг статуса выполнения процесса

Для просмотра статуса обработки активных процессов, выполните следующие действия:

В главном окне программы нажмите кнопку Active (см. рис. ниже).

Рисунок - 4.83 Мониторинг статуса выполнения активных процессов

Просмотрите информацию в столбцах:

Runs – статус выполненных задач:
Success – задача выполнена.
Running – задача выполняется.
Failed – задача завершена с ошибкой.
Shedule – расписание задач.
Last Run – время выполнения последней задачи.
Recent Task – недавно выполненные задачи.

4.3.5. Мониторинг и статистика работоспособности

4.3.5.1. Описание возможностей

Мониторинг и сбор статистических данных о работоспособности компонентов программы «Витрина данных НСУД» позволяет оператору отслеживать потенциальные проблемы до их возникновения.

Выбор способов и объектов мониторинга программы определяется на этапе внедрения для каждого ведомства и зависит от конфигурации сети, серверов и других параметров IT-инфраструктуры.

Мониторинг информации происходит на основании собранных в лог-файлы данных о занятости вычислительных ресурсов по каждому серверу и их последующему анализу.

Рекомендуемые для отслеживания метрики контроля работоспособности программы приведены ниже:

Сеть
- Переданные пакеты/байты
- Ошибочные/отброшенные пакеты
- Коллизии
CPU
- Load average (усредненная загрузка)
- Простой/использование CPU
- Данные утилизации CPU по отдельным процессам
Память
- Свободная/использованная память
- Утилизация swap/файла подкачки
Диск
- Свободное/занятое дисковое пространство
- I/O чтения и записи
Служба
- Состояние процесса
- Использование памяти процессом
- Состояние службы (ssh, ntp, ldap, smtp, ftp, http, pop, nntp, imap)
- Разрешение DNS
- Работоспособность TCP
- Время ответа TCP
Файл
- Размер/время файла
- Существование файла
- Контрольная сумма
- MD5 хеш
- Поиск по регулярному выражению
Журнал
- Текстовый журнал
Другое
- Время работы системы
- Системное время
- Подключенные пользователи

Периодичность обновления значений метрик и их пороговые значения определяются при внедрении и корректируется в процессе последующей эксплуатации программы, в соответствии с пороговыми значениями нагрузки.

4.3.5.2. Детализация событий в лог-файле

Обращение к лог-файлу обеспечивает оператора полной информацией о происшедших в системе событиях и позволяет в любой момент времени получить достоверную информацию о конкретном событии и времени, когда оно произошло.

События подразделяются на следующие типы:

отладочные;
информационные;
предупреждающие
иные ошибки (в соответствии с классификатором ошибок).

Возможные варианты детализации событий устанавливаются системным программистом. В зависимости от установленной детализации оператор может просматривать следующую информацию в лог-файле:

ALL – вывод всех сообщений.
DEBUG – отладочная информация.
ERROR – вывод сообщений об ошибках.
FATAL – вывод сообщений о критических ошибках, которые приводят к остановке работы приложения.
INFO – информационные сообщения.
TRACE – трассировочные сообщения.
WARN – сообщения-предупреждения в случае возникновения потенциально опасных ситуаций.

4.3.5.3. Скачивание лог-файла с сервера

Разрешение на скачивание и просмотр лог-файлов программы определяется внутренними регламентами ведомства. В случае, если оператору разрешено просматривать лог-файлы, необходимо выполнить следующие действия:

получить у системного программиста права на доступ к папке с лог-файлами.
скачать лог-файл с сервера.

Общий процесс скачивания файлов описан в настоящем документе в разделе 3.3.2. Место хранения.

4.3.5.4. Просмотр информации в лог-файле

Запись информации в лог-файлы осуществляется в формате .csv. Для просмотра информации откройте файл в тестовом редакторе (например, Блокнот или Notepad++).

Для просмотра информации с помощью текстового редактора Notepad++, выполните следующие действия:

Скачайте лог-файл на локальный компьютер см. п.3.3.5.3.
Запустите программу Notepad++.
В главном меню программы выберите пункт Файл > Открыть.
Выберите файл и нажмите кнопку Открыть.
Файл будет открыт в отдельной вкладке текстового редактора (см. рис. ниже).

Рисунок - 4.84 Просмотр лог-файла в текстовом редакторе Notepad++

4.3.5.5. Поиск информации в лог-файле

Поиск информации в лог-файле позволяет проводить всесторонний анализ происходящих событий в системе, используя различные параметры поиска: время выполнения, имя сервера, тип события и т. д.

Оператор имеет возможность осуществлять поиск событий в лог-файле используя встроенные функции текстового редактора.

Для поиска информации в лог-файле с помощью программы Notepad++, выполните следующие действия:

Откройте лог-файл в программе Notepad++.
В главном меню программы выберите пункт Поиск > Найти.
В открывшемся окне, в поисковой строке введите поисковый запрос, например, введите тип события - «Debug» (Рисунок 62).

Рисунок - 4.85 Поиск информации в текстовом редакторе Notepad++

Нажмите кнопку Найти Далее

Записи, удовлетворяющие условиям поиска, будут выделены зеленым цветом (задать стиль отображения найденных записей можно в настройках программы).

Оператор может изменять настройки параметров поиска, например, выполнять поиск с учетом регистра или задавать направление поиска.

4.3.5.6. Проверка работоспособности кластера ETL

Для проверки работоспособности кластера ETL, требуется выполнить следующие действия:

авторизоваться в Apache Spark;
просмотреть статус работы сервера.

Для проверки работоспособности сервера выполните следующие действия:

Откройте страницу авторизации <сервер Spark >/login/.
В окне авторизации введите свои учетные данные (Рисунок 63).

Рисунок 63. Окно авторизации в Apache Spark

Нажмите кнопку «Log In»

При успешной авторизации отобразится главное окно программы (Рисунок 58).

Рисунок 64. Главное окно Apache Spark

В поле «Status» просмотрите статус работы сервера:

ALIVE –работает.

DEAD – не работает.

DECOMISSIONED – отключен.

UNKNOWN – состояние неизвестно.

Во всех случаях, кроме статуса работы кластера «ALIVE», обратитесь к системному программисту.

4.3.6. Контроль результатов резервного копирования

Контроль результатов выполнения процедур резервного копирования осуществляется оператором в срок до 12:00 рабочего дня, следующего за установленной датой выполнения этих процедур. Контроль результатов резервного копирования производится путем просмотра log-файла и специализированного программного обеспечения. В случае обнаружения сбоя планового резервного копирования оператор должен сообщить об этом системному программисту.

4.3.7. Завершение работы с программой

Завершение работы с программой «Витрина данных НСУД» осуществляется в автоматическом режиме при выключении компьютера и от оператора дополнительных действий не требуется.