Потоки данных
Данное руководство описывает способы подключения различных источников данных для сбора событий (логов) и метрик в Monq.
В качестве источника данных может выступать любая информационная система, имеющая точки присоединения в виде API, или же способная передавать данные посредством Webhook.
Для быстрого доступа к интересующему вас функционалу воспользуйтесь навигацией:
Ручное создание потока данных
Для создания нового потока данных выполните следующие действия:
- Перейдите в раздел Сбор данных - Потоки данных через основное меню
- Нажмите кнопку Добавить поток в верхнем правом углу
- Заполните поля:
- Владелец - Рабочая группа, которой принадлежит поток данных
- Название (уникально в рамках Рабочей группы)
- Описание (необязательно)
- Импорт - экспортированный в
base64
формате код (экспорт Потоков данных)
- Нажмите кнопку Создать - откроется страница настройки, добавленного потока данных
- Дальнейшая настройка потока данных зависит от требований источника данных. Перейдите в раздел Интеграции для ознакомления с примерами конфигурации потоков данных под различные источники
Создание потоков данных из мастера настройки
Пользователь может установить заранее подготовленные по шаблону потоки данных (например, Zabbix, vCenter, Prometheus и другие). Каждый шаблон потока - это отдельный контент-пак в Мастере настройки системы.
В данных контент-паках уже сконфигурированы задания для получения данных через агенты Monq, добавлены необходимые обработчики, а также вынесены все необходимые параметры на вкладку "Настройки", создаваемого потока данных.
Чтобы создать поток данных по шаблону из контент-пака:
-
Перейдите в раздел Сбор данных - Потоки данных через основное меню
-
Нажмите кнопку Создать через Мастер настройки в верхнем правом углу
-
Выберите из списка нужный вам контент-пак:
-
Ознакомьтесь с содержимым контент-пака на вкладках Обзор
-
Нажмите кнопку Запустить сценарий
-
В открывшейся форме создания потока данных, вы можете опционально задать свое название потока данных, его описание и выбрать РГ владельца потока
По умолчанию, без указания данных параметров, поток данных будет создан с названием "Zabbix Stream" и описанием "Zabbix Data Stream created by Content Wizard".
-
Еще раз нажмите кно пку Запустить сценарий в форме создания потока данных
-
На вкладке "История запусков" будет отображаться процесс создания "Потока данных" по выбранному шаблону контент-пака. По завершению создания потока данных будет отображаться инструкция по дальнейшей настройке потока
Запуск, остановка и удаление потока данных
Запуск/остановка потока данных
- Перейдите в раздел Сбор данных ETL - Потоки данных через основное меню системы
- Найдите необходимый поток данных
- Воспользуйтесь вспомогательным меню ︙ для запуска/остановки соответствующего потока данных
Запустить или остановить поток данных, также, можно со страницы настроек этого потока:
- Перейдите на страницу настройки потока
- В правом верхнем углу нажмите Запустить/Остановить
Настройка потока данных
-
Откройте вкладку Настройки необходимого потока данных
-
На данной вкладке вы можете изменить:
- Общие настройки
- Название
- Владельца
- Описание
- Параметры конфигурации
- Адрес ИС
- Параметры - добавить необходимые параметры (переменные), которые можно использовать при написании "Заданий"
Пример использования переменной apiUri -
$.vars.stream.params.apiUri
или{{ vars.stream.params.apiUri }}
- Общие настройки
-
Для сохранения изменений нажмите кнопку "Сохранить"
Кнопка "Сохранить" может быть заблокирована для нажатия в двух случаях:
- Если пользователь ничего не изменил на вкладке "Настройки".
- После изменения параметров есть ошибки валидации полей в блоке "Общие настройки" на вкладке "Настройки".
Хранение данных
В случае необходимости экономии дискового пространства, укажите время хранения событий для выбранного потока данных.
Время хранения событий задается в днях от 1-го дня до бесконечности.
По умолчанию для создаваемых потоков время хранения установлено в "Бесконечность".
Если указано некорректное значение - устанавливается значение 365 дней.
При включении данной настройки для потоков, которые получают события с даты не вошедшей в интервал хранения, пользователь получает сообщение с возможностью подтвердить или отменить действие.
События с [дата первого события в потоке] по [дата первого события, которое не попало в интервал хранения] будут удалены из системы без возможности их восстановления.
События потока данных, подлежащие удалению будут удалены в течении часа.
Для включения автоматического удаления данных старше указанного количества дней:
- Перейдите на вкладку "Настройки" необходимого потока данных
- В блоке "Хранение данных" выберите из списка параметр "в течении"
- Укажите количество дней, сколько хранить события
- Нажмите "Сохранить"
Конфигурация потока
На вкладке "Конфигурация" потока данных, пользователь может настроить собственные задания по сбору данных и правила предобработки собираемых данных.
Задания
В блоке Задания отображается список настроенных заданий, если такие имеются в текущем потоке.
⚠️ Запуск сценариев заданий производится на агенте Monq
Создание задания
Чтобы добавить собственное задание, выполните следующие действия:
-
Нажмите кнопку "Добавить задание"
-
Выберите "Новое задание" или выберите задание из списка
-
Для написания сценария нового задания перейдите в окно редактирования кода справа (язык YAML)
-
Напишите сценарий Задания (справка по написанию заданий)
-
Сделайте ваш сценарий "исполняемым" - по завершению редактирования, в правом верхнем углу редактора нажмите кнопку Сделать исполняемым
-
Выберите метку агента, на котором будет производится запуск данного задания
⚠️ Метка
SharedAgents
используется для выполнения заданий на системном агенте Monq (микросервисpl-monq-agent
).⚠️ Обратите внимание, что запуск сценариев, в которых присутствует команда
run
запрещены на системно м агенте внутренней политикой безопасности. -
Установите периодичность запуска задания, используя формат CRON
По умолчанию, при добавлении задания периодический запуск выключен.
-
Нажмите кнопку "Сохранить"
Сценарий будет выполнятся на первом "свободном" агенте с выбранной меткой.
Редактирование задания
Для редактирования задания:
- Наведите курсор мыши на задание и нажмите Редактор
- В правом верхнем углу, в поле Версия скрипта выберите Черновик для создания новой версии сценария
- Внесите необходимые правки в код сценария, используя окно редактора кода (YAML)
- Нажмите кнопку Сделать исполняемой