Релиз СПО v1.5.0

Требуемые версии:

Продукт	Версия
infra	1.4.2
monq	6.4.0+

В обновлении:

Будет произведено обновление ingress-nginx-controller

Продукт	Новая версия
infra	1.5.0

Уровень простоя - простой на время переключения ingress-nginx-controller.

Обновление ingress-nginx-controller

1. Создать namespace для ingress-nginx-controller

kubectl create namespace ingress-nginx

2. Создать sa, role и binding:

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: ServiceAccount
metadata:
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/version: 0.35.0
    app.kubernetes.io/component: controller
  name: ingress-nginx
  namespace: ingress-nginx
---
apiVersion: v1
kind: ConfigMap
metadata:
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/version: 0.35.0
    app.kubernetes.io/component: controller
  name: ingress-nginx-controller
  namespace: ingress-nginx
data:
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/version: 0.35.0
  name: ingress-nginx
rules:
  - apiGroups:
      - ''
    resources:
      - configmaps
      - endpoints
      - nodes
      - pods
      - secrets
    verbs:
      - list
      - watch
  - apiGroups:
      - ''
    resources:
      - nodes
    verbs:
      - get
  - apiGroups:
      - ''
    resources:
      - services
    verbs:
      - get
      - list
      - update
      - watch
  - apiGroups:
      - extensions
      - networking.k8s.io
    resources:
      - ingresses
    verbs:
      - get
      - list
      - watch
  - apiGroups:
      - ''
    resources:
      - events
    verbs:
      - create
      - patch
  - apiGroups:
      - extensions
      - networking.k8s.io
    resources:
      - ingresses/status
    verbs:
      - update
  - apiGroups:
      - networking.k8s.io
    resources:
      - ingressclasses
    verbs:
      - get
      - list
      - watch
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/version: 0.35.0
  name: ingress-nginx
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: ingress-nginx
subjects:
  - kind: ServiceAccount
    name: ingress-nginx
    namespace: ingress-nginx
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/version: 0.35.0
    app.kubernetes.io/component: controller
  name: ingress-nginx
  namespace: ingress-nginx
rules:
  - apiGroups:
      - ''
    resources:
      - namespaces
    verbs:
      - get
  - apiGroups:
      - ''
    resources:
      - configmaps
      - pods
      - secrets
      - endpoints
    verbs:
      - get
      - list
      - watch
  - apiGroups:
      - ''
    resources:
      - services
    verbs:
      - get
      - list
      - update
      - watch
  - apiGroups:
      - extensions
      - networking.k8s.io
    resources:
      - ingresses
    verbs:
      - get
      - list
      - watch
  - apiGroups:
      - extensions
      - networking.k8s.io
    resources:
      - ingresses/status
    verbs:
      - update
  - apiGroups:
      - networking.k8s.io
    resources:
      - ingressclasses
    verbs:
      - get
      - list
      - watch
  - apiGroups:
      - ''
    resources:
      - configmaps
    resourceNames:
      - ingress-controller-leader-nginx
    verbs:
      - get
      - update
  - apiGroups:
      - ''
    resources:
      - configmaps
    verbs:
      - create
  - apiGroups:
      - ''
    resources:
      - endpoints
    verbs:
      - create
      - get
      - update
  - apiGroups:
      - ''
    resources:
      - events
    verbs:
      - create
      - patch
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/version: 0.35.0
    app.kubernetes.io/component: controller
  name: ingress-nginx
  namespace: ingress-nginx
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: ingress-nginx
subjects:
  - kind: ServiceAccount
    name: ingress-nginx
    namespace: ingress-nginx
EOF

3. Создать deployment и service для default-http-backend.

Внимание! Если Вы используете кастомный default-http-backend Вам необходимо внести изменения в конфигурацию.

cat <<EOF | kubectl apply -f -
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  labels:
    k8s-app: default-http-backend
  name: default-http-backend
  namespace: ingress-nginx
spec:
  replicas: 1
  selector:
    matchLabels:
      k8s-app: default-http-backend
  strategy:
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 1
    type: RollingUpdate
  template:
    metadata:
      labels:
        k8s-app: default-http-backend
    spec:
      containers:
      - image: gcr.io/google_containers/defaultbackend:1.4
        imagePullPolicy: IfNotPresent
        livenessProbe:
          failureThreshold: 3
          httpGet:
            path: /healthz
            port: 8080
            scheme: HTTP
          initialDelaySeconds: 30
          periodSeconds: 10
          successThreshold: 1
          timeoutSeconds: 5
        name: default-http-backend
        ports:
        - containerPort: 8080
          protocol: TCP
        resources:
          limits:
            cpu: 10m
            memory: 20Mi
          requests:
            cpu: 10m
            memory: 20Mi
      dnsPolicy: ClusterFirst
---
apiVersion: v1
kind: Service
metadata:
  labels:
    k8s-app: default-http-backend
  name: default-http-backend
  namespace: ingress-nginx
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 8080
  selector:
    k8s-app: default-http-backend
  sessionAffinity: None
  type: ClusterIP
EOF

4. Перенести существующий configmap ingress-nginx-controller:

kubectl get cm -n kube-system nginx-configuration --export -o json | jq '.metadata.name="ingress-nginx-controller" | .data."worker-shutdown-timeout"="10s"' | kubectl apply -n ingress-nginx -f - 

5. Создать сервис ingress-nginx-controller:

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/version: 0.35.0
    app.kubernetes.io/component: controller
  name: ingress-nginx-controller
  namespace: ingress-nginx
spec:
  type: ClusterIP
  ports:
    - name: http
      port: 80
      protocol: TCP
      targetPort: http
    - name: https
      port: 443
      protocol: TCP
      targetPort: https
    - name: monit
      port: 10254
      protocol: TCP
      targetPort: 10254
  selector:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/component: controller
  sessionAffinity: ClientIP
  sessionAffinityConfig:
    clientIP:
      timeoutSeconds: 10800
EOF

6. Заменить nodeSelector для daemonSet coredns. Назначить на ноды которые должны содержать coredns новую метку:

# Получить список нод на которых должен быть запущен DNS:
nodes=$(kubectl get node -l gate= --no-headers -o=custom-columns=NAME:.metadata.name && kubectl get node -l ha=gate --no-headers -o=custom-columns=NAME:.metadata.name)
# Добавить новую метку для запуска coredns на все полученные ноды:
for node in ${nodes}; do
  kubectl label node ${node} dns=
done

Изменить метку в daemonset coredns на добавленную:

kubectl patch ds -n kube-system coredns -p '{"spec": {"template": {"spec": {"nodeSelector": {"dns": ""}}}}}'
kubectl patch ds -n kube-system coredns --type='json' -p='[{"op": "remove", "path": "/spec/template/spec/nodeSelector/ha"}]'
kubectl patch ds -n kube-system coredns --type='json' -p='[{"op": "remove", "path": "/spec/template/spec/nodeSelector/gate"}]'

7. Создать daemonSet ingress-nginx-controller

cat <<EOF | kubectl apply -f -
apiVersion: apps/v1
kind: DaemonSet
metadata:
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/version: 0.35.0
    app.kubernetes.io/component: controller
  name: ingress-nginx-controller
  namespace: ingress-nginx
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: ingress-nginx
      app.kubernetes.io/instance: ingress-nginx
      app.kubernetes.io/component: controller
  template:
    metadata:
      labels:
        app.kubernetes.io/name: ingress-nginx
        app.kubernetes.io/instance: ingress-nginx
        app.kubernetes.io/component: controller
    spec:
      dnsPolicy: ClusterFirstWithHostNet
      containers:
        - name: controller
          image: k8s.gcr.io/ingress-nginx/controller:v0.35.0
          imagePullPolicy: IfNotPresent
          lifecycle:
            preStop:
              exec:
                command:
                  - /wait-shutdown
          args:
            - /nginx-ingress-controller
            - --election-id=ingress-controller-leader
            - --configmap=\$(POD_NAMESPACE)/ingress-nginx-controller
            - --default-backend-service=\$(POD_NAMESPACE)/default-http-backend
            - --publish-service=\$(POD_NAMESPACE)/ingress-nginx-controller
            - --annotations-prefix=nginx.ingress.kubernetes.io
          securityContext:
            capabilities:
              drop:
                - ALL
              add:
                - NET_BIND_SERVICE
            runAsUser: 101
            allowPrivilegeEscalation: true
          env:
            - name: POD_NAME
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: POD_NAMESPACE
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
          livenessProbe:
            httpGet:
              path: /healthz
              port: 10254
              scheme: HTTP
            initialDelaySeconds: 10
            periodSeconds: 10
            timeoutSeconds: 1
            successThreshold: 1
            failureThreshold: 5
          readinessProbe:
            httpGet:
              path: /healthz
              port: 10254
              scheme: HTTP
            initialDelaySeconds: 10
            periodSeconds: 10
            timeoutSeconds: 1
            successThreshold: 1
            failureThreshold: 3
          ports:
            - name: http
              containerPort: 80
              protocol: TCP
            - name: https
              containerPort: 443
              protocol: TCP
          resources:
            requests:
              cpu: 100m
              memory: 100Mi
      serviceAccountName: ingress-nginx
      hostNetwork: true
      nodeSelector:
        ingress: ""
EOF

8. Скачать образ nginx-ingress-controller(необходимо наличие доступа в сеть Интернет):

docker pull k8s.gcr.io/ingress-nginx/controller:v0.35.0

В случае отсутствия доступа в интернет необходимо выполнить следующие действия:

На пк с доступом в сеть Интернет скачать image и сохранить в файл:

docker pull k8s.gcr.io/ingress-nginx/controller:v0.35.0
docker save -o ingress.img k8s.gcr.io/ingress-nginx/controller:v0.35.0

Передать файл ingress.img на сервер monq, выполнить импорт:

docker load -i ingress.img

Внимание! Данную операцию необходимо выполнить на всех нодах, которые должны содержать ingress-nginx-controller.

9. Выполнить переключение

Снять метки которые использует текущий nginx-ingress-controller и установить метки для нового ingress-nginx-controller

for node in ${nodes}; do
  kubectl label node ${node} ha- gate- ingress=
done

После выполнения команд убедиться что поднялся под ingress-nginx-controller (kubectl get po -n ingress-nginx) и проверить доступность интерфейса monq.

10. Удалить конфигурацию nginx-ingress-controller из kube-system Выполнять строго после проведения проверки. Имена сущностей k8s могут отличаться

kubectl delete ds -n kube-system nginx-ingress-controller
kubectl delete cm -n kube-system lua-files-sm
kubectl delete svc -n kube-system nginx-ingress-controller
kubectl delete clusterrolebinding nginx-ingress-clusterrole-nisa-binding
kubectl delete rolebinding -n kube-system nginx-ingress-clusterrole-nisa-binding
kubectl delete role -n kube-system nginx-ingress-role
kubectl delete clusterrole nginx-ingress-clusterrole
kubectl delete sa -n kube-system nginx-ingress-serviceaccount
kubectl delete cm -n kube-system udp-services
kubectl delete cm -n kube-system tcp-services
kubectl delete cm -n kube-system nginx-configuration

11. Зафиксировать версию инфраструктурного релиза:

cat <<EOF | kubectl apply -f -
apiVersion: v1
data:
  version: 1.5.0
kind: ConfigMap
metadata:
  name: infra
  namespace: infra
EOF

Дополнительно

Обновление HA конфигураций без простоя

Для того чтобы выполнить обновление HA конфигураций без простоя, переключение ingress-controller(пункт 9) необходимо проводить в следующем порядке:

• выполнить перенос VIP адреса на первую ноду;
• заменить метки на последней ноде;
• выполнить проверки;
• перенести VIP на последнюю ноду;
• заменить метки на остальных нодах;

Monq agent на ОС windows < 10

В случае если необходима работа monq-agent на ОС < Windows 10, необходимо разрешить в конфигурации ingress-nginx-controller использование cipher поддерживаемых устаревшими ОС. Для этого в configMap ingress-nginx-controller необходимо добавить следующую опцию:

kubectl edit cm -n ingress-nginx ingress-nginx-controller
...
  ssl-ciphers: "ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA384:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA256"
...