버전 1.5 이 버전은 Anthos 버전 지원 정책에 설명된 대로 더 이상 지원되지 않습니다. VMware용 Anthos 클러스터(GKE On-Prem)에 영향을 미치는 보안 취약점, 노출, 문제에 대한 최신 패치와 업데이트를 확인하려면 지원되는 버전으로 업그레이드하세요. 최신 버전은 여기에서 확인할 수 있습니다.

사용 가능한 버전

감사 로깅

개요

GKE On-Prem은 클러스터의 Kubernetes API 서버로 전송된 호출을 시간순으로 기록하는 Kubernetes 감사 로깅을 사용합니다. 감사 로그는 의심스러운 API 요청을 조사하고 통계를 수집하는 데 유용합니다.

Anthos 1.2 이전 버전에서는 GKE On-Prem이 디스크에만 감사 로그를 작성했습니다. Anthos 1.2에는 Google Cloud 프로젝트의 Cloud 감사 로그에 감사 로그를 작성할 수 있는 알파 기능이 도입되었습니다. Cloud 감사 로그에 작성하면 디스크에 작성하거나 온프레미스 로깅 시스템에서 로그를 캡처하는 것보다 다양한 이점이 있습니다.

모든 Anthos 클러스터의 감사 로그를 중앙화할 수 있습니다.
Cloud 감사 로그에 기록된 로그 항목은 변경할 수 없습니다.
Cloud 감사 로그 항목은 400일 동안 보관됩니다.
Cloud 감사 로그는 Anthos 요금에 포함되어 있습니다.

GKE On-Prem을 구성하여 디스크 또는 Cloud 감사 로그에 로그를 작성할 수 있습니다.

디스크 기반 감사 로깅

기본적으로 GKE On-Prem의 감사 로그는 영구 디스크에 작성되므로 VM이 다시 시작되고 업그레이드되어도 로그가 사라지지 않습니다. GKE On-Prem은 감사 로그 항목을 최대 12GB까지 보관합니다.

Cloud 감사 로그

Cloud 감사 로그가 사용 설정된 경우 모든 Kubernetes API 서버의 관리자 활동 감사 로그 항목이 사용자 클러스터를 만들 때 지정한 프로젝트 및 위치를 통해 Google Cloud로 전송됩니다. Cloud 감사 로그를 사용 설정하면 GKE On-Prem이 디스크 기반 감사 로깅을 사용 중지합니다.

로그 항목을 버퍼링하고 Cloud 감사 로그에 작성하기 위해 GKE On-Prem에서 audit-proxy 포드를 관리자 클러스터에 배포합니다. 이 포드는 사용자 클러스터에서 사이드카 컨테이너로 사용할 수도 있습니다.

제한사항

GKE On-Prem의 Cloud 감사 로그는 알파 기능입니다. 이 알파 출시 버전에는 몇 가지 제한사항이 있습니다.

데이터 액세스 로깅은 지원되지 않습니다.
Kubernetes 감사 정책은 수정할 수 없습니다.
Cloud 감사 로그는 현재 네트워크 서비스 중단에 대한 복원력이 우수하지 않습니다. 로그 항목을 Google Cloud로 내보낼 수 없으면 삭제됩니다.

Anthos GKE API 및 Anthos Audit API 사용 설정

GKE On-Prem에서 Cloud 감사 로그를 사용하려면 다음을 수행합니다.

Anthos 1.4.x 이하를 사용하는 경우 Anthos GKE API를 사용 설정합니다.
Anthos 1.5 이상을 사용하는 경우 Anthos Audit API를 사용 설정합니다.
확실하지 않거나 Anthos 1.5로 업그레이드하려는 경우 둘 모두 사용 설정합니다.

Anthos GKE API 사용 설정

Anthos Audit API 사용 설정

Cloud 감사 로그의 서비스 계정 만들기

GKE On-Prem에서 사용하기 위해 만든 여러 서비스 계정이 이미 있습니다. 이 알파 기능을 사용하려면 추가 서비스 계정을 만들고 허용 목록에 추가해야 합니다.

Cloud 감사 로그 서비스 계정을 만듭니다.

gcloud iam service-accounts create audit-logging-service-account

Cloud 감사 로그 서비스 계정의 JSON 키 파일을 만듭니다.
```
gcloud iam service-accounts keys create audit-logging-key.json \
   --iam-account AUDIT_LOGGING_SERVICE_ACCOUNT_EMAIL
```
여기서 AUDIT_LOGGING_SERVICE_ACCOUNT_EMAIL은 서비스 계정의 이메일 주소입니다.
다른 서비스 계정 키와 동일한 위치에 있는 관리자 워크스테이션에 audit-logging-key.json을 저장합니다.

서비스 계정을 허용 목록에 추가

Cloud 감사 로그 서비스 계정을 허용 목록에 추가하도록 요청하려면 GKE On-Prem 알파 양식용 Cloud 감사 로그를 작성합니다. 허용 목록이 완료되면 알림 이메일이 전송됩니다. Cloud 감사 로그를 사용 설정하는 관리자 클러스터 또는 사용자 클러스터를 만들기 전에 서비스 계정을 허용 목록에 추가해야 합니다.

Cloud 감사 로그가 사용 설정된 관리자 클러스터 만들기

관리자 클러스터를 처음 만들 때만 관리자 클러스터에 Cloud 감사 로그를 사용 설정할 수 있습니다. Cloud 감사 로그를 사용 설정하기 위해 기존 관리자 클러스터를 수정할 수 없습니다.

관리자 클러스터 만들기 안내를 참조하세요.
gkectl create-config 실행 후 평소와 같이 구성 파일 admin-cluster.yaml를 채우고 에서 새로운 cloudAuditLogging 섹션도 채웁니다.
cloudAuditLogging.projectId를 관리자 클러스터와 관련된 감사 로그를 확인할 Google Cloud 프로젝트의 프로젝트 ID로 설정합니다.
감사 로그를 저장하려는 Google Cloud 리전으로 cloudAuditLogging.clusterLocation을 설정합니다. 지연 시간을 개선하려면 온프레미스 데이터 센터와 가까운 리전을 선택하세요.
cloudAuditLogging.serviceAccountKeyPath를 Cloud 감사 로그 서비스 계정의 JSON 키 파일 경로로 설정합니다.

예를 들면 다음과 같습니다.

cloudAuditLogging:
  projectId: "my-project"
  clusterLocation: "us-west1"
  serviceAccountKeyPath: "/my-key-folder/audit-logging-key.json"

평소와 같이 클러스터를 계속 만듭니다.

Cloud 감사 로그가 사용 설정된 사용자 클러스터 만들기

아직 관리자 클러스터를 만들지 않은 경우 관리 클러스터 만들기 안내를 참조하세요.

관리자 클러스터가 이미 있는 경우 추가 사용자 클러스터 만들기에 대한 안내에 따라 새 사용자 클러스터를 만듭니다.
gkectl create-config 실행 후 평소와 같이 구성 파일 user-cluster.yaml를 채우고 에서 새로운 cloudAuditLogging 섹션도 채웁니다.
cloudAuditLogging.projectId를 사용자 클러스터와 관련된 감사 로그를 보려는 Google Cloud 프로젝트의 프로젝트 ID로 설정합니다.
감사 로그를 저장하려는 Google Cloud 리전으로 cloudAuditLogging.clusterLocation을 설정합니다. 온프레미스 데이터 센터와 가까운 리전을 선택하는 것이 좋습니다.
cloudAuditLogging.serviceAccounKeyPath를 Cloud 감사 로그 서비스 계정의 JSON 키 파일 경로로 설정합니다.

예를 들면 다음과 같습니다.

cloudAuditLogging:
  projectId: "my-project"
  clusterLocation: "us-west1"
  serviceAccountKeyPath: "/my-key-folder/audit-logging-key.json"

평소와 같이 클러스터를 계속 만듭니다.

기존 사용자 클러스터에서 Cloud 감사 로그 사용 설정

gkectl update cluster 명령어를 통해 기존 사용자 클러스터에서 Cloud 감사 로그를 사용 설정할 수 있습니다.

user-cluster.yaml 파일의 cloudAuditLogging 섹션을 입력합니다. (개별 필드에 대한 자세한 내용은 Cloud 감사 로그가 사용 설정된 사용자 클러스터 만들기를 참조하세요.)

그런 후 다음을 실행합니다.

gkectl update cluster --config [USER_CLUSTER_YAML] --kubeconfig [ADMIN_CLUSTER_KUBECONFIG]

기존 사용자 클러스터에서 Cloud 감사 로그 사용 중지

사용자 클러스터를 설명하는 user-cluster.yaml 파일을 엽니다.
cloudAuditLogging 섹션을 삭제하거나 주석 처리하고 파일을 저장합니다.
다음 명령어를 실행하여 사용자 클러스터를 업데이트합니다.

gkectl  update cluster --config [USER_CLUSTER_YAML] --kubeconfig [ADMIN_CLUSTER_KUBECONFIG]

GKE On-Prem 감사 로그 액세스

디스크 기반 감사 로깅

관리자 클러스터 및 연결된 모든 사용자 클러스터에서 실행 중인 Kubernetes API 서버를 확인합니다.
```
kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] get pods --all-namespaces -l component=kube-apiserver
```
여기서 [ADMIN_CLUSTER_KUBECONFIG]는 관리자 클러스터의 kubeconfig 파일입니다.
API 서버의 감사 로그를 다운로드합니다.
```
kubectl cp -n [NAMESPACE] [APISERVER_POD_NAME]:/var/log/kube-audit/kube-apiserver-audit.log /tmp/kubeaudit.log
```
이 명령어는 관리자 클러스터에 최대 1GB, 사용자 클러스터에 최대 850GB의 데이터를 포함할 수 있는 최신 로그 파일을 가져옵니다.

또한 /var/log/kube-audit/kube-apiserver-audit.log의 제어 영역 노드에서 관리 클러스터의 감사 로그를 찾을 수도 있습니다. 사용자 클러스터의 감사 로그는 kube-audit-kube-apiserver-0이라는 PersistentVolumeClaim에 있습니다. 다음과 같은 volume 항목을 통해 포드에서 이 데이터에 액세스할 수 있습니다.
```
volumes:
‐ name: kube-audit
  hostPath:
    path: /var/log/kube-audit
    type: ""
```
```
volumes:
‐ name: kube-audit
  persistentVolumeClaim:
    claimName: kube-audit-kube-apiserver-0
    readOnly: true
```
적절한 관리자 클러스터 노드(및 이 노드만)에서 포드를 예약하려면 다음과 같이 nodeSelector 및 tolerations 섹션을 포드 사양에 추가해야 합니다.
```
spec:
  nodeSelector:
    node-role.kubernetes.io/master: ''
  tolerations:
  ‐ key: node-role.kubernetes.io/master
    value: ""
    effect: NoSchedule
```
사용자 클러스터에 대해 다음 nodeSelector를 사용합니다.
```
spec:
 nodeSelector:
   kubernetes.googleapis.com/cluster-name: [USER_CLUSTER_NAME]
```
이전 감사 기록은 별도의 파일에 보관됩니다. 이 파일을 보려면 다음을 작성합니다.
```
kubectl exec -n [NAMESPACE] [APISERVER_POD_NAME] -- ls /var/log/kube-audit -la
```
각 감사 로그의 파일 이름에는 파일이 순환된 시점을 나타내는 타임스탬프가 있습니다. 파일에는 해당 시간 및 날짜까지의 감사 로그가 포함되어 있습니다.

Cloud 감사 로그

Console

Google Cloud 콘솔의 Logging 메뉴에서 로그 페이지로 이동합니다.

로그 탐색기로 이동
위에서 설명한 드롭다운 메뉴 바로 위의 라벨로 필터링 또는 텍스트 검색창에서 아래쪽 화살표를 클릭하여 드롭다운 메뉴를 엽니다. 메뉴에서 고급 필터로 전환을 클릭합니다.

텍스트 상자에 다음 필터를 입력합니다.

resource.type="k8s_cluster"
logName="projects/[PROJECT_ID]/logs/externalaudit.googleapis.com%2Factivity"
protoPayload.serviceName="anthosgke.googleapis.com"

필터 제출을 클릭하여 이 프로젝트에 로그인하도록 구성된 GKE On-Prem 클러스터의 감사 로그를 모두 표시합니다.

gcloud

프로젝트의 관리자 활동 로그에서 k8s_cluster 리소스 유형에 적용되는 처음 두 로그 항목이 나열됩니다.

gcloud logging read \
    'logName="projects/[PROJECT_ID]/logs/externalaudit.googleapis.com%2Factivity" \
    AND resource.type="k8s_cluster" \
    AND protoPayload.serviceName="anthosgke.googleapis.com" ' \
    --limit 2 \
    --freshness 300d

여기서 [PROJECT_ID]는 프로젝트 ID입니다.

출력에 두 로그 항목이 표시됩니다. 각 로그 항목에서 logName 필드의 값은 projects/[PROJECT_ID]/logs/externalaudit.googleapis.com%2Factivity이고 protoPayload.serviceName은 anthosgke.googleapis.com과 동일합니다.

감사 정책

Cloud 감사 로그 동작은 정적으로 구성된 Kubernetes 감사 로깅 정책에 따라 결정됩니다. 이 정책 변경은 현재 지원되지 않지만 향후 출시 버전에서 지원될 것입니다.