Перейти к основному содержимому

Инструкция по обновлению Monq до версии 7.3.0

Внимание - Изменение системных требований!

В связи с расширением функционала Monq для приема метрик были изменены системные требования к ресурсам.

⚠️ Перед установкой Monq 7.3.0 необходимо установить патч версию 7.2.2

Требования

Предыдущая версия Monq: 7.2.1

В обновлении:

ПродуктНовая версия
pl7.2.2

Уровень простоя - без простоя.

Патч-Релиз Monq 7.2.2

Релиз включает обновление различных модулей Monq. Если установлен только определенный набор модулей, например: pl и cl, то разделы с остальными модулями можно проигнорировать.

Проведение миграции 7.2.1 -> 7.2.2

Для запуска обновления требуется скачать клиент управления Monq monqctl и выполнить конфигурацию контекста monqctl, если ранее этого не выполнялось.

!!! MonqCtl !!!

Минимальная версия monqctl: 1.6.0

Примечание: можно настроить 2 контекста для stage и production одновременно.

Примечание 2: токен для доступа в Monq ReleaseHub для скачивания обновления требуется получить, обратившись в поддержку Monq, либо из письма с регистрацией лицензии.

Выполнить предрелизную подготовку

  1. Проверить контекст monqctl и статус реестра микросервисов.

    # Просмотреть текущий контекст, с которым работает monqctl.
    monqctl config current-context
    # Просмотреть статус реестра микросервисов из контекста.
    monqctl registry get status
    # Просмотреть статус сервисов в реестре микросервисов из контекста.
    monqctl registry get services
  2. Установить контекст релиза, с которым будет работать monqctl в рамках контекста установленного Monq. Команда при этом скачивает и подготавливает релиз.

    monqctl release use-version 7.2.2 --product=monq
При обновлении из папки
# Требуется выполнить экспорт релиза в папку
monqctl release version export 7.2.2 --product=monq --dest=<export directory>

# Выполнить команду `use-version` с аргументом `--sourceDir`.
monqctl release use-version 7.2.2 --product=monq --sourceDir=<папка с экспортированным обновлением>

Monq Platform (pl)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=pl

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=pl

Релиз Monq 7.3.0

Требования

Предыдущая версия Monq: 7.2.2

В обновлении:

ПродуктНовая версия
pl7.3.0
sm7.3.0
cl7.3.0
fm7.3.0
plugins7.2.0
mcs7.3.0

Уровень простоя - без простоя.

Релиз включает обновление различных модулей Monq. Если установлен только определенный набор модулей, например: pl и cl, то разделы с остальными модулями можно проигнорировать.

Проведение миграции 7.2.2 -> 7.3.0

Для запуска обновления требуется скачать клиент управления Monq monqctl и выполнить конфигурацию контекста monqctl, если ранее этого не выполнялось.

!!! MonqCtl !!!

Минимальная версия monqctl: 1.7.0

Примечание: можно настроить 2 контекста для stage и production одновременно.

Примечание 2: токен для доступа в Monq ReleaseHub для скачивания обновления требуется получить, обратившись в поддержку Monq, либо из письма с регистрацией лицензии.

Выполнить обновление реестра микросервисов

monqctl registry update registry --version=3.9.2
При обновлении из папки
mkdir registry
monqctl registry export registry 3.9.2 --dest=./registry/
cd registry
monqctl registry update registry --version=3.9.2 --sourceDir=./
rm -rf ../registry

Выполнить запуск СПО victoria-metrics

Внимание

Данный пример запуска применим для образа VM. Для нестандартных решений требуется привлечение Системных администраторов для кастомизации запуска СПО.

Для систем без доступа в интернет необходимо предварительно загрузить образ victoria-metrics:v1.85.1 из DockerHub.

Задать переменные:

victoria_user="monq"
victoria_pass=$(head /dev/urandom | tr -dc A-Za-z0-9 | head -c16)
victoria_retention="3"
victoria_memory_gb="2"

Запустить victoria-metrics

kubectl label node d-head victoriametrics=
cat <<EOF | kubectl create -f -
apiVersion: v1
items:
- apiVersion: v1
kind: Secret
type: Opaque
metadata:
name: victoria-metrics-secret
namespace: infra
stringData:
VM_AUTH_USER: "${victoria_user}"
VM_AUTH_PASSWORD: "${victoria_pass}"
- kind: Deployment
apiVersion: apps/v1
metadata:
labels:
app: victoria-metrics
name: victoria-metrics
namespace: infra
spec:
replicas: 1
revisionHistoryLimit: 10
selector:
matchLabels:
app: victoria-metrics
strategy:
rollingUpdate:
maxSurge: 1
maxUnavailable: 1
type: RollingUpdate
template:
metadata:
labels:
app: victoria-metrics
spec:
containers:
- name: victoria-metrics
image: victoriametrics/victoria-metrics:v1.85.1
imagePullPolicy: IfNotPresent
args:
- "-http.disableResponseCompression=true"
- "-retentionPeriod=${victoria_retention}"
- "-memory.allowedBytes=${victoria_memory_gb}GB"
- "-denyQueryTracing=true"
- "-httpAuth.username=%{VM_AUTH_USER}"
- "-httpAuth.password=%{VM_AUTH_PASSWORD}"
- "-flagsAuthKey=%{VM_AUTH_PASSWORD}"
- "-metricsAuthKey=%{VM_AUTH_PASSWORD}"
- "-pprofAuthKey=%{VM_AUTH_PASSWORD}"
envFrom:
- secretRef:
name: victoria-metrics-secret
ports:
- name: http
containerPort: 8428
protocol: TCP
volumeMounts:
- name: host-volume
mountPath: /victoria-metrics-data
subPath: victoria-metrics-data
livenessProbe:
httpGet:
path: /health
port: 8428
scheme: HTTP
initialDelaySeconds: 30
timeoutSeconds: 30
resources:
limits:
cpu: 2
memory: ${victoria_memory_gb}Gi
requests:
cpu: 250m
memory: 256Mi
volumes:
- name: host-volume
hostPath:
path: /storage/victoria-metrics
type: DirectoryOrCreate
nodeSelector:
victoriametrics: ""
- apiVersion: v1
kind: Service
metadata:
labels:
app: victoria-metrics
instance: vm-ui.in.monq.local
name: victoria-metrics
namespace: infra
spec:
ports:
- name: http
port: 8428
protocol: TCP
targetPort: 8428
type: ClusterIP
selector:
app: victoria-metrics
- apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: victoria-metrics
namespace: infra
spec:
ingressClassName: nginx
rules:
- host: vm-ui.in.monq.local
http:
paths:
- backend:
service:
name: victoria-metrics
port:
number: 8428
path: /
pathType: Prefix
kind: List
metadata:
resourceVersion: ""
selfLink: ""
EOF

Сконфигурировать сервис в реестре микросервисов

cat > vm.json <<EOF
{
"Id": 20,
"ConsulName": "VictoriaMetrics",
"RootLogin": null,
"RootPassword": "",
"Host": "",
"Database": null,
"Port": 0,
"JsonConfig": {
"Uri": "http://victoria-metrics.infra.svc.cluster.local:8428",
"BasicAuthUsername": "${victoria_user}",
"BasicAuthPassword": "${victoria_pass}",
"IsCluster": false
},
"JsonTemplateTestResult": null
}
EOF

monqctl registry apply service VictoriaMetrics --file vm.json

Выполнить предрелизную подготовку

  1. Проверить контекст monqctl и статус реестра микросервисов.

    # Просмотреть текущий контекст, с которым работает monqctl.
    monqctl config current-context
    # Просмотреть статус реестра микросервисов из контекста.
    monqctl registry get status
    # Просмотреть статус сервисов в реестре микросервисов из контекста.
    monqctl registry get services
  2. Установить контекст релиза, с которым будет работать monqctl в рамках контекста установленного Monq. Команда при этом скачивает и подготавливает релиз.

    monqctl release use-version 7.3.0 --product=monq
При обновлении из папки
# Требуется выполнить экспорт релиза в папку
monqctl release version export 7.3.0 --product=monq --dest=<export directory>

# Выполнить команду `use-version` с аргументом `--sourceDir`.
monqctl release use-version 7.3.0 --product=monq --sourceDir=<папка с экспортированным обновлением>

Monq Platform (pl)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=pl

Выполнить конфигурацию баз данных микросервисов

monqctl release update db pgsql --module=pl --microservice=pl-i18n-service --file pl-i18n-service.sql
monqctl release update db pgsql --module=pl --microservice=pl-automaton-v2-service --file sqls/pl-automaton-v2-service.sql
monqctl release update db pgsql --module=pl --microservice=pl-userspaces-api-service --file sqls/pl-userspaces-api-service.sql
monqctl release update db clickhouse --module=pl --microservice=pl-automaton-v2-service --file sqls/pl-automaton-v2-service-clickhouse.sql

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=pl

Обновить существующие и установить новые библиотеки автоматона

monqctl release update automaton-libraries --module=pl --file=automaton-libs/automaton.core.import

При ошибке HTTP 500 и сообщении в теле ответа "Operation timeout exception" повторить команды.

Перезапустить микросервисы автоматон v2

monqctl instance restart microservice --microservice=pl-automaton-v2-processor-service
monqctl instance restart microservice --microservice=pl-automaton-v2-processor-service-runner

Запустить мигратор

monqctl release update migrator --module=pl --command="migrate automaton"

Применить новую маршрутизацию

monqctl release update routing --module=pl

Сбросить кэш для микросервисов

monqctl instance clear cache --microservice=pl-i18n-service
monqctl instance clear cache --microservice=pl-userspaces-api-service

Monq Service Monitor (sm)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=sm

Выполнить конфигурацию баз данных микросервисов

monqctl release update db arangodb --module=sm --microservice=sm-rsm-service --file sqls/sm-rsm-service.aql

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=sm

Monq Collector (cl)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=cl

Выполнить конфигурацию баз данных микросервисов

monqctl release update db pgsql --module=cl --microservice=cl-streams-service --file sqls/cl-streams-service.sql

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=cl

Выполнить конфигурацию баз данных микросервисов

monqctl release update db clickhouse --module=cl --microservice=cl-streams-service --file sqls/cl-streams-service-clickhouse.sql

Применить новую маршрутизацию

monqctl release update routing --module=cl

Test Forge (fm)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=fm

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=fm

Metrics (mcs)

Установить новый модуль - Метрики

monqctl instance create module mcs --product monq

Добавить новый продукт

Добавить common-appsettings в Consul:

PRODUCT="monq"
MODULE="mcs"
NAMESPACE=$(monqctl registry get services KubeOptions --output=json | jq -r '.JsonConfig.KubeNamespace')

CONSUL_CONNECTION_STRING=$(monqctl registry get services Consul --output json)
CONSUL_HOST=$(echo ${CONSUL_CONNECTION_STRING} | jq -r '.Host')
CONSUL_TOKEN=$(echo ${CONSUL_CONNECTION_STRING} | jq -r '.RootPassword')

curl -s -H "X-Consul-Token: ${CONSUL_TOKEN}" ${CONSUL_HOST}/v1/kv/${NAMESPACE}/pl/common-appsettings.json?raw | curl \
-X PUT -s -H "X-Consul-Token: ${CONSUL_TOKEN}" --data-binary @- ${CONSUL_HOST}/v1/kv/${NAMESPACE}/${MODULE}/common-appsettings.json

Добавить токен авторизации в Consul:

# Ввести токен с правами global-management
CONSUL_ROOT_TOKEN=""
curl -s -X PUT -H "X-Consul-Token: ${CONSUL_ROOT_TOKEN}" ${CONSUL_HOST}/v1/acl/policy -d \
"{\"Name\":\"${NAMESPACE}-${MODULE}-read\",\"Rules\":\"key_prefix \\\"${NAMESPACE}/${MODULE}\\\" {policy = \\\"read\\\"}\"}"
CONSUL_MODULE_TOKEN=$(curl -s -X PUT -H "X-Consul-Token: ${CONSUL_ROOT_TOKEN}" ${CONSUL_HOST}/v1/acl/token -d \
"{\"Description\":\"${NAMESPACE}-${MODULE}-read\",\"Policies\":[{\"Name\":\"${NAMESPACE}-${MODULE}-read\"}]}" | jq -r '.SecretID')
Справка

Для получения токена можно использовать команду monqctl registry get services Consul, он будет указан в поле RootPassword

Создать configMap для авторизации микросервиса:

cat <<EOF | kubectl apply -f -
apiVersion: v1
data:
aspnet_consul_config.json: |
{ "Consul": { "Address": "${CONSUL_HOST}", "Token": "${CONSUL_MODULE_TOKEN}", "RootFolder": "${NAMESPACE}/${MODULE}"}}
kind: ConfigMap
metadata:
name: ${MODULE}-consul-auth-microservice
namespace: ${NAMESPACE}
EOF

Зарегистрировать модуль в IdentityServer

monqctl release update db pgsql --module=mcs --microservice=pl-identity-service --file sqls/pl-identity-service.sql

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=mcs

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=mcs

Применить новую маршрутизацию

monqctl release update routing --module=mcs

Сбросить кэш для микросервисов

monqctl instance clear cache --microservice=pl-identity-service