커스텀 kube-dns 배포 설정

이 페이지에서는 Google Kubernetes Engine(GKE) Standard 모드 클러스터에서 kube-dns의 커스텀 배포를 실행하는 방법을 설명합니다. 이 페이지는 Google이 kube-dns를 관리하는 GKE Autopilot에는 적용되지 않습니다.

개요

kube-dns CPU, 메모리, 기타 매개변수를 구성하려면 커스텀 배포를 실행하고 GKE가 제공하는 배포를 사용 중지해야 합니다. 또한 이 페이지의 안내에 따라 Kubernetes DNS 사양을 따르는 코어 DNS 및 기타 DNS 공급업체의 커스텀 배포를 실행할 수 있습니다.

GKE가 서비스 검색을 구현하는 방법에 대한 상세 내용은 서비스 검색 및 DNS를 참조하세요.

커스텀 배포 만들기

  1. kube-dns, 코어 DNS, 기타 DNS 공급업체에 대한 배포 매니페스트를 만듭니다.

    다음 샘플 kube-dns 매니페스트에는 쿼리 결과를 로깅하는 -q 플래그를 포함합니다. 매니페스트를 custom-kube-dns.yaml로 저장하세요.

    apiVersion: apps/v1
kind: Deployment
metadata:
  name: DNS_DEPLOYMENT_NAME
  namespace: kube-system
  annotations:
    deployment.kubernetes.io/revision: "1"
    k8s-app: kube-dns
spec:
  selector:
    matchLabels:
      k8s-app: kube-dns
  strategy:
    rollingUpdate:
      maxSurge: 10%
      maxUnavailable: 0
    type: RollingUpdate
  template:
    metadata:
      creationTimestamp: null
      labels:
        k8s-app: kube-dns
    spec:
      containers:
      - name: kubedns
        image: registry.k8s.io/dns/k8s-dns-kube-dns:1.17.3
        resources:
          limits:
            memory: '170Mi'
          requests:
            cpu: 100m
            memory: '70Mi'
        livenessProbe:
          httpGet:
            path: /healthcheck/kubedns
            port: 10054
            scheme: HTTP
          initialDelaySeconds: 60
          timeoutSeconds: 5
          successThreshold: 1
          failureThreshold: 5
        readinessProbe:
          httpGet:
            path: /readiness
            port: 8081
            scheme: HTTP
          initialDelaySeconds: 3
          timeoutSeconds: 5
        args:
        - --domain=cluster.local.
        - --dns-port=10053
        - --config-dir=/kube-dns-config
        - --v=2
        env:
        - name: PROMETHEUS_PORT
          value: "10055"
        ports:
        - containerPort: 10053
          name: dns-local
          protocol: UDP
        - containerPort: 10053
          name: dns-tcp-local
          protocol: TCP
        - containerPort: 10055
          name: metrics
          protocol: TCP
        volumeMounts:
        - name: kube-dns-config
          mountPath: /kube-dns-config
        securityContext:
          allowPrivilegeEscalation: false
          readOnlyRootFilesystem: true
          runAsUser: 1001
          runAsGroup: 1001
      - name: dnsmasq
        image: registry.k8s.io/dns/k8s-dns-dnsmasq-nanny:1.17.3
        livenessProbe:
          httpGet:
            path: /healthcheck/dnsmasq
            port: 10054
            scheme: HTTP
          initialDelaySeconds: 60
          timeoutSeconds: 5
          successThreshold: 1
          failureThreshold: 5
        args:
        - -v=2
        - -logtostderr
        - -configDir=/etc/k8s/dns/dnsmasq-nanny
        - -restartDnsmasq=true
        - --
        - -k
        - --cache-size=1000
        - --no-negcache
        - --dns-forward-max=1500
        - --log-facility=-
        - --server=/cluster.local/127.0.0.1#10053
        - --server=/in-addr.arpa/127.0.0.1#10053
        - --server=/ip6.arpa/127.0.0.1#10053
        ports:
        - containerPort: 53
          name: dns
          protocol: UDP
        - containerPort: 53
          name: dns-tcp
          protocol: TCP
        resources:
          requests:
            cpu: 150m
            memory: 20Mi
        volumeMounts:
        - name: kube-dns-config
          mountPath: /etc/k8s/dns/dnsmasq-nanny
        securityContext:
          capabilities:
            drop:
            - all
            add:
            - NET_BIND_SERVICE
            - SETGID
      - name: sidecar
        image: registry.k8s.io/dns/k8s-dns-sidecar:1.17.3
        livenessProbe:
          httpGet:
            path: /metrics
            port: 10054
            scheme: HTTP
          initialDelaySeconds: 60
          timeoutSeconds: 5
          successThreshold: 1
          failureThreshold: 5
        args:
        - --v=2
        - --logtostderr
        - --probe=kubedns,127.0.0.1:10053,kubernetes.default.svc.cluster.local,5,SRV
        - --probe=dnsmasq,127.0.0.1:53,kubernetes.default.svc.cluster.local,5,SRV
        ports:
        - containerPort: 10054
          name: metrics
          protocol: TCP
        resources:
          requests:
            memory: 20Mi
            cpu: 10m
        securityContext:
          allowPrivilegeEscalation: false
          readOnlyRootFilesystem: true
          runAsUser: 1001
          runAsGroup: 1001
      dnsPolicy: Default
      restartPolicy: Always
      schedulerName: default-scheduler
      securityContext: {}
      serviceAccount: kube-dns
      serviceAccountName: kube-dns
      terminationGracePeriodSeconds: 30
      tolerations:
      - key: CriticalAddonsOnly
        operator: Exists
      volumes:
      - configMap:
          defaultMode: 420
          name: kube-dns
          optional: true
        name: kube-dns-config

    DNS_DEPLOYMENT_NAME을 커스텀 kube-dns 배포 이름으로 바꿉니다.

  2. 클러스터에 매니페스트를 적용합니다.

    kubectl create -f custom-kube-dns.yaml

  3. pod가 실행 중인지 확인합니다.

    kubectl get pods -n kube-system -l=k8s-app=kube-dns

    출력은 다음과 유사하여 커스텀 kube-dns pod를 보여줍니다.

    NAME                               READY   STATUS    RESTARTS   AGE
custom-kube-dns-5685645b44-kzs8w   3/3     Running   0          22h

    새 배포에는 kube-dns와 동일한 선택도구가 있습니다. 즉, pod는 동일한 kube-dns 서비스 IP 주소를 사용하여 커스텀 kube-dns 배포를 실행하는 pod와 통신합니다.

    이 단계가 완료되면 다음 섹션의 단계에 따라 kube-dns를 축소해야 합니다.

kube-dns 축소

다음 명령어를 사용해서 kube-dns 배포 및 자동 확장 처리를 0으로 확장하여 GKE에서 관리하는 kube-dns를 사용 중지합니다.

kubectl scale deployment --replicas=0 kube-dns-autoscaler --namespace=kube-system
kubectl scale deployment --replicas=0 kube-dns --namespace=kube-system

커스텀 자동 확장 처리 만들기

커스텀 DNS에 자동 확장 처리가 필요하면 개별 자동 확장 처리를 구성 및 배포해야 합니다. kube-dns-autoscaler는 클러스터에서 기본 kube-dns 배포만 확장합니다. 자동 확장 처리의 커스텀 ClusterRole을 구성하고 커스텀 kube-dns 배포를 수정할 수 있는 권한을 추가해야 합니다.

  1. 자동 확장 처리용 ClusterRole 및 배포 매니페스트를 만들고 매니페스트를 custom-dns-autoscaler.yaml로 저장합니다.

    apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: system:custom-dns-autoscaler
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:custom-dns-autoscaler
subjects:
- kind: ServiceAccount
  name: kube-dns-autoscaler
  namespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: system:custom-dns-autoscaler
rules:
- apiGroups:
  - ""
  resources:
  - nodes
  verbs:
  - list
  - watch
- apiGroups:
  - apps
  resourceNames:
  - DNS_DEPLOYMENT_NAME
  resources:
  - deployments/scale
  verbs:
  - get
  - update
- apiGroups:
  - ""
  resources:
  - configmaps
  verbs:
  - get
  - create
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: custom-dns-autoscaler
  namespace: kube-system
  labels:
    k8s-app: custom-dns-autoscaler
spec:
  selector:
    matchLabels:
      k8s-app: custom-dns-autoscaler
  template:
    metadata:
      labels:
        k8s-app: custom-dns-autoscaler
      annotations:
        seccomp.security.alpha.kubernetes.io/pod: 'docker/default'
    spec:
      priorityClassName: system-cluster-critical
      securityContext:
        supplementalGroups: [ 65534 ]
        fsGroup: 65534
      nodeSelector:
        kubernetes.io/os: linux
      containers:
      - name: autoscaler
        image: registry.k8s.io/cluster-proportional-autoscaler-amd64:1.7.1
        resources:
            requests:
                cpu: "20m"
                memory: "10Mi"
        command:
          - /cluster-proportional-autoscaler
          - --namespace=kube-system
          - --configmap=custom-dns-autoscaler
          - --target=Deployment/DNS_DEPLOYMENT_NAME
          - --default-params={"linear":{"coresPerReplica":256,"nodesPerReplica":16,"preventSinglePointFailure":true}}
          - --logtostderr=true
          - --v=2
      tolerations:
      - key: "CriticalAddonsOnly"
        operator: "Exists"
      serviceAccountName: kube-dns-autoscaler

  2. 클러스터에 매니페스트를 적용합니다.

    kubectl create -f custom-dns-autoscaler.yaml

다음 단계

  • GKE가 관리형 DNS를 제공하는 방법에 대한 개요 읽기
  • 서비스 및 포드의 DNS를 참조하여 Kubernetes 클러스터에서 DNS가 사용되는 방식에 대한 일반적인 개요 알아보기