Релиз v6.9.0

Требования

Предыдущая версия monq	6.8.1

В обновлении:

Продукт	Новая версия
pl	6.9.0
sm	6.9.0
cl	6.9.0
fm	6.9.0
plugins	6.9.0

Уровень простоя - возможна деградация интерфейса, связанная с РСМ.

Базовая информация

Релиз включает обновление различных модулей monq. Если установлен только определенный набор модулей, например: pl и cl, то разделы с остальными модулями можно проигнорировать.

Проведение миграции

Для запуска обновления требуется скачать клиент управления monq monqctl и выполнить конфигурацию контекста monqctl.

Рекомендация

Рекомендуется обновить клиент monqctl до версии 1.2.3.

Появляется возможность проверить версию установки:

monqctl instance get version --product=monq

Требования

Минимальная версия monqctl: 1.2.3

Примечание: можно настроить 2 контекста для stage и production одновременно.

Примечание 2: токен для доступа в monq ReleaseHub для скачивания обновления требуется получить, обратившись в поддержку monq, либо из письма с регистрацией лицензии.

Выполнить обновление реестра микросервисов

monqctl registry update registry --version=3.4.1

Выполнить предрелизную подготовку

1. Проверить контекст monqctl и статус реестра микросервисов.

   # Просмотреть текущий контекст, с которым работает monqctl.
   monqctl config current-context
   # Просмотреть статус реестра микросервисов из контекста.
   monqctl registry get status
   # Просмотреть статус сервисов в реестре микросервисов из контекста.
   monqctl registry get services

   Примечание: В ответе на команду monqctl registry get status вывод будет содержать

   -------------------------
   Consul         | Failed 
   -------------------------         

   На данном этапе можно проигнорировать. Сервис Consul добавлен только для возможности получить адрес и токен monqctl, который формирует файл доступа для программы-мигратора. Но для Consul в реестре микросервисов не реализованы методы генерирования шаблонов микросервисов, поэтому и выбрасывается ошибка валидации. Будет исправлено в последующих версиях.

2. Установить контекст релиза, с которым будет работать monqctl в рамках контекста установленного monq. Команда при этом скачивает и подготавливает релиз.

monqctl release use-version 6.9.0 --product=monq

При обновлении из папки

# Требуется выполнить экспорт релиза в папку
monqctl release version export 6.9.0 --product=monq --dest=<export directory>

# Выполнить команду `use-version` с аргументом `--sourceDir`.
monqctl release use-version 6.9.0 --product=monq --sourceDir=<папка с экспортированным обновлением>

Monq Platform (pl)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=pl

Выполнить конфигурацию баз данных микросервисов

monqctl release update db pgsql --module=pl --microservice=pl-i18n-service --file pl-i18n-service.sql
monqctl release update db pgsql --module=pl --microservice=pl-automaton-v2-service --file sqls/pl-automaton-v2-service.sql

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=pl

Сбросить кэш для микросервисов

monqctl instance clear cache --microservice=pl-i18n-service

Monq Service Monitor (sm)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=sm

Выполнить конфигурацию баз данных микросервисов

monqctl release update db pgsql --module=sm --microservice=sm-sla-service --file sqls/sm-sla-service.sql

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=sm

---

Monq Collector (cl)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=cl

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=cl

---

Test Forge (fm)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=fm

Выполнить конфигурацию баз данных микросервисов

monqctl release update db pgsql --module=fm --microservice=pl-userspaces-api-service --file userspace-configuration.sql
monqctl release update db pgsql --module=fm --microservice=pl-identity-service --file sqls/pl-identity-service.sql

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=fm

Сбросить кэш для микросервисов

monqctl instance clear cache --microservice=pl-userspaces-api-service
monqctl instance clear cache --microservice=pl-identity-service

Применить новую маршрутизацию

monqctl release update routing --module=fm

---

PLUGINS (plugins)

Добавить новый продукт

Добавить модуль в продукт monq:

PRODUCT="monq"
MODULE="plugins"
NAMESPACE="" # По умолчанию production. Для STAGE контуров: staging

REGISTRY_CONNECTION_STRING=$(kubectl get secret -n $NAMESPACE registry-pg-con --template={{.data.ConnectionString}} | base64 -d)
REGISTRY_DB_HOST=$(echo $REGISTRY_CONNECTION_STRING | sed -nE 's/.*(server|Host)=([^;]+)(;)?.*$/\2/p')
REGISTRY_DATABASE=$(echo $REGISTRY_CONNECTION_STRING | sed -nE 's/.*[Dd]atabase=([^;]+)(;)?.*$/\1/p')
REGISTRY_DATABASE_USER=$(echo $REGISTRY_CONNECTION_STRING | sed -nE 's/.*(uid|[Uu]sername)=([^;]+)(;)?.*$/\2/p')
REGISTRY_DATABASE_PASS=$(echo $REGISTRY_CONNECTION_STRING | sed -nE 's/.*(pwd|[Pp]assword)=([^;]+)(;)?.*$/\2/p')

PGPASSWORD=${REGISTRY_DATABASE_PASS} psql -h ${REGISTRY_DB_HOST} -U ${REGISTRY_DATABASE_USER} -w -d ${REGISTRY_DATABASE} -a -v ON_ERROR_STOP=1 \
 -c "INSERT INTO public.\"Modules\" (\"Name\", \"Version\", \"ProductName\", \"Manifest\") VALUES('${MODULE}', '1.0.0', '${PRODUCT}', '{}'::jsonb)"

Добавить common-appsettings в Consul:

PRODUCT="monq"
MODULE="plugins"
NAMESPACE="" # По умолчанию production. Для STAGE контуров: staging

CONSUL_CONNECTION_STRING=$(monqctl registry get services Consul --output json)
CONSUL_HOST=$(echo ${CONSUL_CONNECTION_STRING} | jq -r '.Host')
CONSUL_TOKEN=$(echo ${CONSUL_CONNECTION_STRING} | jq -r '.RootPassword')


curl -s -H "X-Consul-Token: ${CONSUL_TOKEN}" ${CONSUL_HOST}/v1/kv/${NAMESPACE}/pl/common-appsettings.json?raw | curl \
    -X PUT -s -H "X-Consul-Token: ${CONSUL_TOKEN}" --data-binary @- ${CONSUL_HOST}/v1/kv/${NAMESPACE}/${MODULE}/common-appsettings.json

Добавить токен авторизации в Consul:

CONSUL_ROOT_TOKEN="$(kubectl get secrets -n infra system-auth -o json | jq -r .data.system_auth | base64 --decode | jq -j .consul_connect_info.users.root_user.token)"
curl -s -X PUT -H "X-Consul-Token: ${CONSUL_ROOT_TOKEN}" ${CONSUL_HOST}/v1/acl/policy -d \
    "{\"Name\":\"${NAMESPACE}-${MODULE}-read\",\"Rules\":\"key_prefix \\\"${NAMESPACE}/${MODULE}\\\" {policy = \\\"read\\\"}\"}"
CONSUL_MODULE_TOKEN=$(curl -s -X PUT -H "X-Consul-Token: ${CONSUL_ROOT_TOKEN}" ${CONSUL_HOST}/v1/acl/token -d \
     "{\"Description\":\"${NAMESPACE}-${MODULE}-read\",\"Policies\":[{\"Name\":\"${NAMESPACE}-${MODULE}-read\"}]}" | jq -r '.SecretID')

Создать configMap для авторизации микросервиса:

cat <<EOF | kubectl apply -f -
apiVersion: v1
data:
  aspnet_consul_config.json: |
    { "Consul": { "Address": "${CONSUL_HOST}", "Token":  "${CONSUL_MODULE_TOKEN}", "RootFolder": "${NAMESPACE}/${MODULE}"}}
kind: ConfigMap
metadata:
  name: ${MODULE}-consul-auth-microservice
  namespace: ${NAMESPACE}
EOF

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=plugins

Добавление нового фронта для плагина Zabbix

monqctl release update db pgsql --module=plugins --microservice=pl-identity-service --file sqls/pl-identity-service.sql

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=plugins

Применить новую маршрутизацию

monqctl release update routing --module=plugins

Сбросить кэш для микросервисов

monqctl instance clear cache --microservice=pl-identity-service

Выполнить обновление плагинов системного агента

# Проверить, что kubectl контекст смотрит на нужный контур.
kubectl config current-context

# Обновить плагины
namespace="" # указать K8s Namespace. По умолчанию, production. Для STAGE контуров - staging.
monq_agent=$(kubectl get po -n ${namespace} -l app=pl-monq-agent -o=jsonpath='{.items[0].metadata.name}')
plugins="zabbixEventsDataFlow/v1.2.1"

mkdir ./agent-plugins
cd ./agent-plugins
kubectl exec -it -n ${namespace} ${monq_agent} -- mkdir -p /storage/plugins

for plugin in ${plugins}; do
  pluginName=$(echo ${plugin} | awk -F'/' '{print $1}')
  wget https://downloads.monqlab.com/agent-plugins/${plugin}/${pluginName}.zip
  unzip ${pluginName}.zip
  rm -f ${pluginName}.zip
  kubectl cp ${pluginName} ${namespace}/${monq_agent}:/storage/plugins
  rm -rf ${pluginName}
done

kubectl delete po -n ${namespace} -l app=pl-monq-agent

Проверка: В логе микросервиса pl-monq-agent должны отобразится загруженные плагины правильных версий

Installing 0 certificates from /certs ...
Loading plugins from /storage/plugins...
...
[Zabbix - Events Data Flow v1.2.1.0] was loaded.
...
9 plugins was loaded.