The product described by this documentation, Anthos Clusters on AWS (previous generation), is now in maintenance mode. All new installs must use the current generation product, Anthos clusters on AWS.

Solução de problemas

Conheça as etapas que podem ser úteis para solucionar problemas usando o GKE na AWS.

Visão geral

Este tópico é dividido nas seguintes seções:

Como conseguir informações sobre o cluster para entender as operações do GKE na instalação da AWS.
Etapas de solução de problemas para problemas comuns.
"instantâneo" do status do cluster para fornecer informações ao suporte do Google Cloud.

Como receber informações sobre o cluster

Nesta seção, explicamos como recuperar informações sobre a instalação do GKE na AWS para solucionar problemas.

Como conseguir informações do cluster de gerenciamento

Consulte o serviço de gerenciamento para ver informações sobre os clusters de usuários.

No diretório anthos-aws, use anthos-gke para alternar o contexto para o serviço de gerenciamento.
```
cd anthos-aws
anthos-gke aws management get-credentials
```
Observação: anthos-gke usa as credenciais especificadas quando você executou aws configure.

Use kubectl get para recuperar informações básicas de status de um cluster.

env HTTPS_PROXY=http://localhost:8118 \
  kubectl get AWSCluster

A saída inclui o nome, o estado atual, a idade, a versão e o endpoint de cada cluster.

NAME        STATE          AGE     VERSION         ENDPOINT
cluster-0   Provisioning   2m41s   1.25.5-gke.2100   gke-<var>endpoint</var>.elb.us-east-1.amazonaws.com

É possível recuperar mais informações sobre um cluster com kubectl describe.

env HTTPS_PROXY=http://localhost:8118 \
  kubectl describe AWSCluster cluster-0

Há três seções principais nessa saída:

Spec lista a configuração declarativa inicial do cluster.
Status contém o estado do cluster e os recursos da AWS criados pelo serviço de gerenciamento.
Events inclui todas as ações ou erros recentes. Esse registro não tem valor para depurar seu cluster.

A saída será assim:

Name:         cluster-0
Namespace:    default
Kind:         AWSCluster
Metadata:
  Creation Timestamp:  0000-00-00T00:00:00Z
  ...
Spec:
 Control Plane:
    Etcd:
      Main Volume:
        Size GiB: 10
    Iam Instance Profile:  gke-node
    Instance Type:         t2.medium
    Key Name:              gke-key
    Root Volume:
      Size GiB: 10
    Subnet IDs:
      subnet-0000
    Version:  0.00.0-gke.00
  Networking:
    Pod Address CIDR Blocks:
      0.0.0.0/0
  ...
Status:
  Admin Cert Secret Name:           gke-0000-admin-cert
  API DNS Name:                     gke-0000-controlplane-0000.elb.region.amazonaws.com
  Control Plane Security Group ID:  sg-0000
  Gke Hub Membership Name:          projects/global/memberships/gke-0000-cluster
  Listener ARN:                     arn:aws:elasticloadbalancing:region:0000:listener/net/gke-0000
  Load Balancer Name:               gke-0000-controlplane
  Node Pool Security Group ID:      sg-0000
  Provisioning Info:
    Addons Installed:              false
    Gke Hub Membership Installed:  false
    Target Version:                0.00.0-gke.0
  Replica Status:
    Auto Scaling Group Name:  gke-0000-controlplane-0
    Etcd Main Volume ID:      vol-0000
    Launch Template Name:     gke-0000-controlplane-0-0.00.0-gke.0
    Network Interface ID:     eni-0000
    Private IP Address:       0.0.0.0
    Replica:                  0
    ...
  Root CA Secret Name:        gke-0000-root-ca
  State:                      Provisioning
  Target Group Name:          gke-0000-controlplane
Events:
  Type    Reason                      Age    From              Message
  ----    ------                      ----   ----              -------
  Normal  CreatedSecurityGroup        1m36s  cluster-operator  Created security group named "gke-0000"
  Normal  CreatedEtcdVolume           1m35s  cluster-operator  Created etcd volume on replica 0
  Normal  CreatedEtcdVolume           1m35s  cluster-operator  Created etcd volume on replica 2
  Normal  CreatedEtcdVolume           1m35s  cluster-operator  Created etcd volume on replica 1
  Normal  CreatedNetworkLoadBalancer  1m34s  cluster-operator  Created network load balancer named "gke-0000-controlplane"
  Normal  CreatedTargetGroup          1m34s  cluster-operator  Created target group named "gke-0000-controlplane"
  Normal  CreatedRootCASecret         1m34s  cluster-operator  Created root CA secret named "default/gke-0000-root-ca"
  Normal  CreatedGKEHubMembership     1m33s  cluster-operator  Created GKE Hub membership named "projects/global/memberships/gke-0000-cluster"
  Normal  CreatedNetworkInterface     1m30s  cluster-operator  Created network interface on replica 2

Como conseguir os IDs de cluster de usuário

Para configurar determinados recursos do GKE na AWS, talvez seja necessário conseguir os IDs do cluster de usuários.

Para receber o ID do cluster de usuários do GKE na AWS, siga estas etapas:

No diretório anthos-aws, use anthos-gke para alternar o contexto para o serviço de gerenciamento.
```
cd anthos-aws
anthos-gke aws management get-credentials
```
Observação: anthos-gke usa as credenciais especificadas quando você executou aws configure.

Use kubectl get awscluster para recuperar os IDs de cluster.

env HTTPS_PROXY=http://localhost:8118 \
  kubectl get awscluster -o jsonpath={.items..status.clusterID}

A saída contém os IDs do cluster.

Eventos

Um evento é uma mensagem anexada a um objeto do Kubernetes. Os eventos descrevem ações que afetam o status do recurso. O serviço de gerenciamento anexa eventos aos objetos AWSCluster e AWSNodePool. Os eventos fornecem um registro das etapas seguidas para criar, atualizar, redimensionar ou excluir seu cluster. Use kubectl get events para listar eventos.

env HTTPS_PROXY=http://localhost:8118 \
    kubectl get events

Exemplo de saída

LAST SEEN   TYPE     REASON                        OBJECT                   MESSAGE
27s         Normal   CreatingCluster               awscluster/cluster-0     Cluster version 1.25.5-gke.2100 is being created
24s         Normal   CreatedSecurityGroup          awscluster/cluster-0     Created security group named "gke-123456a7-controlplane"
24s         Normal   CreatedSecurityGroup          awscluster/cluster-0     Created security group named "gke-123456a7-nodepool"
23s         Normal   CreatedEtcdVolume             awscluster/cluster-0     Created etcd volume on replica 0
23s         Normal   CreatedEtcdVolume             awscluster/cluster-0     Created etcd volume on replica 1
23s         Normal   CreatedEtcdVolume             awscluster/cluster-0     Created etcd volume on replica 2
23s         Normal   CreatedNetworkLoadBalancer    awscluster/cluster-0     Created network load balancer named "gke-123456a7-controlplane"
23s         Normal   CreatedTargetGroup            awscluster/cluster-0     Created target group named "gke-123456a7-controlplane"
23s         Normal   CreatedRootCASecret           awscluster/cluster-0     Created root CA secret named "default/gke-123456a7-api-server-ca"
22s         Normal   CreatedGKEHubMembership       awscluster/cluster-0     Created GKE Hub membership named "projects/global/memberships/gke-123456a7-cluster"
20s         Normal   CreatedNetworkInterface       awscluster/cluster-0     Created network interface on replica 0
20s         Normal   CreatedNetworkInterface       awscluster/cluster-0     Created network interface on replica 1
20s         Normal   CreatedNetworkInterface       awscluster/cluster-0     Created network interface on replica 2
20s         Normal   CreatedAdminCertSecret        awscluster/cluster-0     Created admin certificate secret named "default/gke-123456a7-admin-cert"
27s         Normal   StartedNodePoolProvisioning   awsnodepool/pool-0       Started node pool provisioning
13s         Normal   CreatedAutoScalingGroup       awsnodepool/pool-0       Created auto scaling group named "gke-123456a7-nodepool-8b269fb0"

Registros do operador

Eventos: listam as ações gerais realizadas pelo operador. Talvez seja necessário observar atividades de nível inferior, como rastreamentos de pilha. O serviço de gerenciamento executa um pod estático chamado gke-aws-cluster-operator. Esse aplicativo é um operador que contém a lógica central de gerenciamento de clusters.

Nas etapas a seguir, use a ferramenta crictl para examinar os registros do gke-aws-cluster-operator.

Mude para o diretório com o GKE na configuração da AWS. Você criou esse diretório ao instalar o serviço de gerenciamento.
```
cd anthos-aws
```

Localize o DNS da instância de gerenciamento EC2. Escolha sua versão do Terraform e execute os seguintes comandos:

Terraform 0.12, 0.13

export CLUSTER_ID=$(terraform output cluster_id)
export MANAGEMENT_IP=$(aws ec2 describe-instances \
    --filters "Name=tag:Name,Values=$CLUSTER_ID-management-0" \
    --query "Reservations[*].Instances[*].PrivateIpAddress" \
    --output text)

Terraform 0.14.3+

export CLUSTER_ID=$(terraform output -raw cluster_id)
export MANAGEMENT_IP=$(aws ec2 describe-instances \
    --filters "Name=tag:Name,Values=$CLUSTER_ID-management-0" \
    --query "Reservations[*].Instances[*].PrivateIpAddress" \
    --output text)

Se você estiver usando um Bastion Host, encontre o DNS dele.

Terraform 0.12, 0.13

export BASTION_DNS=$(terraform output bastion_dns_name)

Terraform 0.14.3+

export BASTION_DNS=$(terraform output -raw bastion_dns_name)

Use SSH para acessar a instância de gerenciamento. Escolha se você tem uma conexão direta ou use um Bastion Host.
Conexão direta
```
ssh -i ~/.ssh/anthos-gke ubuntu@$MANAGEMENT_IP
```
Bastion
```
ssh -i ~/.ssh/anthos-gke -J ubuntu@$BASTION_DNS ubuntu@$MANAGEMENT_IP
```

Consiga o ID do contêiner do pod gke-aws-cluster-operator.

export POD_ID=$(sudo crictl pods --name gke-aws-cluster-operator --quiet)
export CONTAINER_ID=$(sudo crictl ps --pod $POD_ID --latest --quiet)

Imprima os registros do pod.
```
sudo crictl logs $CONTAINER_ID
```

Terraform

O comando anthos-gke faz com que o Terraform provisione um serviço de gerenciamento. É possível usar o comando terraform state para listar a infraestrutura gerenciada no estado (em inglês) do Terraform.

terraform state list

Exemplo de saída

module.gke_dedicated_vpc.module.gke_bastion.aws_security_group.this
module.gke_dedicated_vpc.module.gke_bastion_security_group_rules.aws_security_group_rule.allow_http_outbound
module.gke_dedicated_vpc.module.gke_bastion_security_group_rules.aws_security_group_rule.allow_https_outbound
module.gke_dedicated_vpc.module.gke_bastion_security_group_rules.aws_security_group_rule.allow_ssh_inbound
module.gke_dedicated_vpc.module.gke_bastion_security_group_rules.aws_security_group_rule.allow_ssh_outbound
module.gke_dedicated_vpc.module.gke_controlplane_iam_policies.data.aws_iam_policy_document.this
module.gke_dedicated_vpc.module.gke_controlplane_iam_policies.aws_iam_role_policy.this
module.gke_dedicated_vpc.module.gke_controlplane_iam_role.data.aws_iam_policy_document.assume_role_policy
module.gke_dedicated_vpc.module.gke_controlplane_iam_role.aws_iam_instance_profile.this
module.gke_dedicated_vpc.module.gke_controlplane_iam_role.aws_iam_role.this
module.gke_dedicated_vpc.module.gke_management.data.aws_ami.this
module.gke_dedicated_vpc.module.gke_management.data.aws_iam_policy_document.assume_role_policy
module.gke_dedicated_vpc.module.gke_management.data.aws_subnet.this[0]
module.gke_dedicated_vpc.module.gke_management.aws_autoscaling_group.this[0]
module.gke_dedicated_vpc.module.gke_management.aws_ebs_volume.main[0]
module.gke_dedicated_vpc.module.gke_management.aws_iam_instance_profile.this
module.gke_dedicated_vpc.module.gke_management.aws_iam_role.this
module.gke_dedicated_vpc.module.gke_management.aws_launch_template.this[0]
module.gke_dedicated_vpc.module.gke_management.aws_lb.this
module.gke_dedicated_vpc.module.gke_management.aws_lb_listener.this
module.gke_dedicated_vpc.module.gke_management.aws_lb_target_group.this
module.gke_dedicated_vpc.module.gke_management.aws_security_group.this
module.gke_dedicated_vpc.module.gke_management_iam_policies.data.aws_iam_policy_document.this
module.gke_dedicated_vpc.module.gke_management_iam_policies.aws_iam_role_policy.this
module.gke_dedicated_vpc.module.gke_management_security_group_rules.aws_security_group_rule.allow_cidr_https_inbound[0]
module.gke_dedicated_vpc.module.gke_management_security_group_rules.aws_security_group_rule.allow_http_outbound
module.gke_dedicated_vpc.module.gke_management_security_group_rules.aws_security_group_rule.allow_https_inbound[0]
module.gke_dedicated_vpc.module.gke_management_security_group_rules.aws_security_group_rule.allow_https_outbound
module.gke_dedicated_vpc.module.gke_management_security_group_rules.aws_security_group_rule.allow_ssh_inbound[0]
module.gke_dedicated_vpc.module.gke_nodepool_iam_policies.data.aws_iam_policy_document.this
module.gke_dedicated_vpc.module.gke_nodepool_iam_policies.aws_iam_role_policy.this
module.gke_dedicated_vpc.module.gke_nodepool_iam_role.data.aws_iam_policy_document.assume_role_policy
module.gke_dedicated_vpc.module.gke_nodepool_iam_role.aws_iam_instance_profile.this
module.gke_dedicated_vpc.module.gke_nodepool_iam_role.aws_iam_role.this
module.gke_dedicated_vpc.module.gke_vpc.aws_eip.nat[0]
module.gke_dedicated_vpc.module.gke_vpc.aws_internet_gateway.this
module.gke_dedicated_vpc.module.gke_vpc.aws_nat_gateway.this[0]
module.gke_dedicated_vpc.module.gke_vpc.aws_route.private_nat_gateway[0]
module.gke_dedicated_vpc.module.gke_vpc.aws_route.public_internet_gateway
module.gke_dedicated_vpc.module.gke_vpc.aws_route_table.private[0]
module.gke_dedicated_vpc.module.gke_vpc.aws_route_table.public
module.gke_dedicated_vpc.module.gke_vpc.aws_route_table_association.private[0]
module.gke_dedicated_vpc.module.gke_vpc.aws_route_table_association.public[0]
module.gke_dedicated_vpc.module.gke_vpc.aws_subnet.private[0]
module.gke_dedicated_vpc.module.gke_vpc.aws_subnet.public[0]
module.gke_dedicated_vpc.module.gke_vpc.aws_vpc.this

Podemos analisar melhor qualquer recurso com o comando terraform state show. Por exemplo, vamos examinar o balanceador de carga na frente do serviço de gerenciamento.

terraform state show module.gke_dedicated_vpc.module.gke_management.aws_lb.this

Exemplo de saída

resource "aws_lb" "this" {
    arn                              = "arn:aws:elasticloadbalancing:aws-region:aws-account:loadbalancer/net/gke-12345678-management/arn-id"
    arn_suffix                       = "net/gke-12345678-management/abcde1234"
    dns_name                         = "exampledns.elb.ca-central-1.amazonaws.com"
    enable_cross_zone_load_balancing = true
    enable_deletion_protection       = false
    id                               = "arn:aws:elasticloadbalancing:aws-region:aws-account:loadbalancer/net/gke-12345678-management/arn-id"
    internal                         = true
    ip_address_type                  = "ipv4"
    load_balancer_type               = "network"
    name                             = "gke-12345678-management"
    security_groups                  = []
    subnets                          = [
        "subnet-0f77f5a97beb42e6d",
    ]
    vpc_id                           = "vpc-0a123456789b"
    zone_id                          = "Z2EPGBW3API2WT"

    access_logs {
        enabled = false
    }

    subnet_mapping {
        subnet_id = "subnet-0f77f5a97beb42e6d"
    }
}

Etapas de solução de problemas

Esta seção lista etapas específicas de solução de problemas que podem surgir com o GKE na AWS.

Erros do Terraform

Nesta seção, listamos os erros que podem surgir na configuração do serviço de gerenciamento com as ferramentas de linha de comando anthos-gke e terraform.

NoCredentialProviders

Se você receber o seguinte erro, confirme que você tem uma versão do Terraform mais recente que a v0.12.28. Se você não tiver uma versão compatível do Terraform, faça o download dela e a instale.

Error: cannot determine availability zones: NoCredentialProviders: no valid providers in chain. Deprecated. For verbose messaging see aws.Config.CredentialsChainVerboseErrors

Falha ao consultar provedores disponíveis

Se você receber o erro a seguir, talvez tenha feito upgrade da versão do Terraform.

exit status 1: Error: Failed to query available provider packages

Could not retrieve the list of available versions for provider hashicorp/aws:
locked provider registry.terraform.io/hashicorp/aws 2.70.0 does not match
configured version constraint 3.26.0; must use terraform init -upgrade to
allow selection of new versions

Para corrigir esse erro, exclua o arquivo .terraform.lock.hcl do diretório anthos-aws.

Token desconhecido

Se você receber o erro a seguir ao criar um serviço gerenciado:

Error: error running 'terraform init -input=false -no-color' exit status 1:
There are some problems with the configuration, described below.

The Terraform configuration must be valid before initialization so that
Terraform can determine which modules and providers need to be installed.

Error: Error parsing /home/user/aws/main.tf: At 15:12: Unknown token:
15:12 IDENT var.region

Confirme se você tem uma versão do Terraform posterior à v0.12.28. Se você não tiver uma versão compatível do Terraform, faça o download dela e a instale.

Endereço de provedor legado inválido

Se você receber o erro a seguir, faça upgrade do binário do Terraform por meio de cada versão secundária em ordem.

Error: error running 'terraform init -input=false -no-color'.
exit status 1: Error: Invalid legacy provider address

This configuration or its associated state refers to the unqualified provider
"aws".

You must complete the Terraform 0.13 upgrade process before upgrading to later
versions.

Por exemplo, se você quiser fazer upgrade do Terraform de v0.12.x para v0.14.x, instale a v0.13.x temporariamente. Depois de instalar a v0.13.x, execute anthos-gke aws management init e anthos-gke aws management apply. Depois, você pode fazer upgrade para a v0.14.x.

Não é possível se conectar ao Bastion Host

Se você receber o erro bind [::1]:8118: Cannot assign requested address ao tentar se conectar ao Bastion Host, talvez não seja possível se conectar usando IPv4. Força uma conexão IPv4 com o seguinte comando:

./bastion-tunnel.sh -N -4

Não foi possível estabelecer uma conexão com o servidor

Se você receber o erro Unable to connect to the server ao tentar executar um comando kubectl no cluster de usuário, verifique o seguinte:

Todas as suas sub-redes particulares têm rotas entre elas.
Suas sub-redes particulares têm acesso a um gateway NAT da AWS.
Se você estiver usando kubectl 1.21, altere a variável HTTP_PROXY para HTTPS_PROXY.

O Connect não pode acessar o projeto

Durante algumas operações do Connect ao registrar o cluster, talvez você observe um erro semelhante a este:

  ERROR: (gcloud.container.hub.memberships.register) failed to initialize Default Feature
  "authorizer", the fleet service account (service-PROJECT_NUMBER@gcp-sa-gkehub.iam.gserviceaccount.com) may not have access to your project

Para mais informações, consulte a entrada A frota não pode acessar o projeto em Solução de problemas de gerenciamento de vários clusters.

Erro de permissões

Se você receber um erro de autenticação ao usar a ferramenta da linha de comando anthos-gke, por exemplo:

oauth2: cannot fetch token: 400 Bad Request

Faça a autenticação novamente da instalação da Google Cloud CLI com gcloud auth application-default login.

`kubectl` não pode se conectar ao cluster

Se você receber o erro a seguir ao tentar se conectar ao cluster com kubectl:

Error: could not get token: NoCredentialProviders: no valid providers in chain. Deprecated.
        For verbose messaging see aws.Config.CredentialsChainVerboseErrors

Solução

Suas credenciais da CLI da AWS podem ter expirado. Confirme se as credenciais são válidas com aws ec2 describe instances.

Gere novamente suas credenciais com aws configure. Se você usa autenticação multifator (MFA, na sigla em inglês), gere novamente o token da MFA da AWS.

Um `AWSCluster` permanece `Provisioning`

Se o estado de um cluster em kubectl get awsclusters ou em kubectl describe AWSCluster cluster-name não for alterado de Provisioning, verifique o valor do campo spec.controlPlane.hub.membershipName do AWSCluster. O valor desse campo precisa ser exclusivo.

kubectl get awsclusters

NAME                                             STATE          AGE   VERSION         ENDPOINT
awscluster.multicloud.cluster.gke.io/cluster-0   Provisioning   8h    1.25.5-gke.2100   gke-123456a7-controlplane-abcdefg12345.elb.us-east-1.amazonaws.com

Soluções

Para corrigir o problema, tente as seguintes etapas:

Confirme se você está executando uma versão compatível do Terraform.
Se você criou mais de um cluster de usuário na sua conta da AWS, edite sua definição do AWSCluster. Altere spec.controlPlane.hub.membershipName para um valor exclusivo. Aplique a alteração com kubectl.

Erros de TLS ao conectar-se ao cluster

Se você receber o erro a seguir ao se conectar ao cluster:

error dialing backend: remote error: tls: internal error

Verifique se as opções de DHCP definidas da VPC da AWS não têm um valor personalizado para domain-name. Quando um domínio personalizado é definido, o GKE na AWS não gera uma solicitação de assinatura de certificado (CSR, na sigla em inglês).

Solução

Para corrigir o problema, execute uma das seguintes etapas:

Defina enableDnsHostnames como falso na sua VPC. Se você criar uma VPC de AWS dedicada com anthos-gke, poderá definir esse valor no arquivo .terraform/modules/gke_vpc/modules/gke-vpc/main.tf.
Atualize o valor de domain-name para o padrão.

Como reinicializar o plano de controle

Se o plano de controle não responder, reinicie as instâncias. Quando você reinicializa as instâncias do plano de controle, a configuração permanece conforme o estado é salvo em discos permanentes.

No diretório anthos-aws, use anthos-gke para alternar o contexto para o serviço de gerenciamento.
```
cd anthos-aws
anthos-gke aws management get-credentials
```
Observação: anthos-gke usa as credenciais especificadas quando você executou aws configure.
Use kubectl para receber o grupo de destino AWS EC2 do plano de controle do AWSCluster.
```
env HTTPS_PROXY=http://localhost:8118 \
  kubectl get awscluster cluster-name \
  -o jsonpath='{.status.targetGroupName}{"\n"}'
```
A saída inclui o nome do grupo de destino EC2 do plano de controle. Por exemplo, gke-123456a7-controlplane.
Abra o Console do AWS EC2. Escolha Grupos de destino no painel esquerdo.
Clique na barra de pesquisa e localize o grupo de segmentação. Clique no nome do seu grupo de destino e, em seguida, clique em Segmentações. A lista de instâncias do plano de controle é exibida.
Para cada instância no grupo de destino, execute as seguintes etapas:
1. Clique no ID da instância. O console de instâncias do AWS EC2 é exibido.
2. Clique no ID da instância.
3. Selecione Ações -> Estado da instância -> Encerrar para encerrar a instância. O EC2 cria automaticamente uma nova instância com o mesmo volume do EBS.
4. Retorne à página "Grupos de destino".
Depois de encerrar todas as instâncias do grupo, retorne à página "Grupos de destino".
Na seção Destinos registrados da página, localize a coluna Status. Cada uma das instâncias deve ter um Status de Integridade. Se alguma das instâncias estiver íntegra, aguarde alguns minutos e clique no ícone de atualização ().
Depois que todas as instâncias no grupo de destino estiverem íntegras, vá para a próxima etapa.

Como marcar sub-redes

O GKE na AWS requer tags em sub-redes que contenham endpoints do balanceador de carga. O GKE na AWS marca automaticamente todas as sub-redes especificadas no campo spec.Networking.ServiceLoadBalancerSubnetIDs do recurso AWSCluster.

Se você quiser adicionar mais sub-redes ao seu cluster de usuário ou precisar reaplicar tags a sub-redes atuais, execute as etapas a seguir.

No diretório anthos-aws, use anthos-gke para alternar o contexto para o serviço de gerenciamento.
```
cd anthos-aws
anthos-gke aws management get-credentials
```
Observação: anthos-gke usa as credenciais especificadas quando você executou aws configure.

Consiga o código da VPC da AWS do cluster com kubectl e armazene-o como uma variável.

 export VPC_ID=$(\
 env HTTPS_PROXY=http://localhost:8118 \
 kubectl get awscluster cluster-0 -o jsonpath='{.spec.networking.vpcID}')

Verifique o conteúdo das variáveis com echo. A saída é semelhante a vpc-12345678abcdef0.
```
echo $VPC_ID
```

Salve o ID do cluster em uma variável de ambiente.

export CLUSTER_ID=$(\
env HTTPS_PROXY=http://localhost:8118 \
kubectl get awscluster cluster-0 -o jsonpath='{.status.clusterID}')

É possível verificar a variável com echo:

echo $CLUSTER_ID

A resposta inclui o ID do cluster.

gke-12345678

Se você instalou o GKE na AWS em uma VPC dedicada, use a ferramenta de linha de comando aws para recuperar o ID da sub-rede.

Selecione uma destas opções:
- Público se você quiser expor serviços na sua sub-rede pública.
- Particular, se você quiser expor serviços na sub-rede privada.
- Várias sub-redes, se você quiser expor serviços em várias sub-redes.
Público
```
 export SUBNET_ID=$(aws ec2 describe-subnets \
 --filters "Name=vpc-id,Values=$VPC_ID" "Name=tag:Name,Values=*public*" \
 --query "Subnets[*].SubnetId" \
 --output text)
```
A saída é um objeto que contém o ID da sub-rede. Ela se parece com subnet-1234abcdefg. É possível verificar a variável com echo:
```
echo $SUBNET_ID
```
A resposta inclui o ID da sub-rede.
```
subnet-012345678abcdef
```
Particular
```
 export SUBNET_ID=$(aws ec2 describe-subnets \
 --filters "Name=vpc-id,Values=$VPC_ID" "Name=tag:Name,Values=*private*" \
 --query "Subnets[*].SubnetId" \
 --output text)
```
A saída é um objeto que contém o ID da sub-rede. Ela se parece com subnet-1234abcdefg. É possível verificar a variável com echo:
```
echo $SUBNET_ID
```
A resposta inclui o ID da sub-rede.
```
subnet-012345678abcdef
```
Várias sub-redes
Se você estiver usando várias sub-redes para o AWSNodePools (por exemplo, se usar várias zonas de disponibilidade), será necessário incluir uma tag nos IDs de sub-rede individualmente.

Observação: os comandos a seguir presumem que as sub-redes tenham public ou private no nome. Se as sub-redes não incluírem esse texto, altere os parâmetros da sinalização --filters. Consulte Como usar a filtragem para mais informações.

Recupere sua lista de IDs de sub-rede com aws ec2 describe-subnets.

Para ver uma lista de todas as sub-redes públicas, execute o seguinte comando:
```
aws ec2 describe-subnets \
 --filters "Name=vpc-id,Values=$VPC_ID" "Name=tag:Name,Values=*public*" \
 --query "Subnets[*].SubnetId" \
 --output text
```
Para ver uma lista de todas as sub-redes particulares, execute o seguinte comando:
```
aws ec2 describe-subnets \
 --filters "Name=vpc-id,Values=$VPC_ID" "Name=tag:Name,Values=*private*" \
 --query "Subnets[*].SubnetId" \
 --output text
```
A resposta inclui seus IDs de sub-rede.
```
subnet-012345678abcdef
subnet-abcdef123456789
subnet-123456789abcdef
```
Marque a sub-rede com o ID do cluster. Se você tiver várias sub-redes, selecione "Várias sub-redes".
Sub-rede única
```
aws ec2 create-tags \
--resources $SUBNET_ID \
--tags Key=kubernetes.io/cluster/$CLUSTER_ID,Value=shared
```
Várias sub-redes
Para cada uma das suas sub-redes, execute o seguinte comando:
```
aws ec2 create-tags \
--resources subnet-ids \
--tags Key=kubernetes.io/cluster/$CLUSTER_ID,Value=shared
```
Substitua subnet-ids pela lista de IDs de sub-rede, separados por espaços. Por exemplo, subnet-012345678abcdef subnet-abcdef123456789 subnet-123456789abcdef.

Erro ao excluir os clusters

Se kubectl não responder quando você tentar excluir um cluster de usuário, receba os eventos do cluster. Você poderá ver o evento a seguir.

Could not delete security group: resource SECURITY_GROUP_ID has a dependent object.

Solução

Exclua todos os destinos de montagem do Elastic File System da AWS em SECURITY_GROUP_ID.

Erros da API

O Kubernetes 1.22 suspende o uso e substitui várias APIs. Se você tiver feito upgrade do cluster para a versão 1.22 ou posterior, qualquer chamada feita pelo aplicativo para uma das APIs suspensas falhará.

Solução

Faça upgrade do seu aplicativo para substituir as chamadas de API descontinuadas pelos correspondentes mais recentes.

Snapshots

A ferramenta anthos-gke é compatível com a geração de snapshots do GKE no ambiente da AWS. Um snapshot contém informações para ajudar o Google Cloud a reproduzir e depurar problemas off-line.

A ferramenta anthos-gke pode gerar um snapshot de um serviço de gerenciamento ou de clusters de usuário. Por padrão, um snapshot inclui CRDs, eventos, informações de cluster, registros de cluster, registros de instância e arquivos de instância. É possível personalizar as informações incluídas em um arquivo de configuração. O pacote também contém e index.html com links para os arquivos incluídos.

Se você quiser solucionar os problemas do GKE na instalação da AWS antes de entrar em contato com o suporte do Google Cloud, pule para a seção a seguir.

Como gerar um snapshot

Nesta seção, mostramos como criar um snapshot de um cluster de gerenciamento ou de usuário usando a configuração padrão ou uma configuração personalizada.

Antes de começar

Para se conectar ao GKE nos recursos da AWS, execute as etapas a seguir. Selecione se você tem uma VPC atual da AWS (ou conexão direta com a VPC) ou criou uma VPC dedicada ao criar seu serviço de gerenciamento.

VPC atual

Se você tiver uma conexão direta ou VPN com uma VPC atual, omita a linha env HTTP_PROXY=http://localhost:8118 dos comandos neste tópico.

VPC dedicada

Quando você cria um serviço de gerenciamento em uma VPC dedicada, o GKE na AWS inclui um bastion host em uma sub-rede pública.

Para se conectar ao serviço de gerenciamento, siga estas etapas:

Mude para o diretório com o GKE na configuração da AWS. Você criou esse diretório ao instalar o serviço de gerenciamento.
```
cd anthos-aws
```
Para abrir o túnel, execute o script bastion-tunnel.sh. O túnel encaminha para localhost:8118.

Para abrir um túnel para o Bastion Host, execute o seguinte comando:
```
./bastion-tunnel.sh -N
```
As mensagens do túnel SSH aparecem nessa janela. Quando estiver pronto para fechar a conexão, interrompa o processo usando Control+C ou fechando a janela.
Abra um novo terminal e mude para o diretório anthos-aws.
```
cd anthos-aws
```
Verifique se você consegue se conectar ao cluster com kubectl.
```
env HTTPS_PROXY=http://localhost:8118 \
kubectl cluster-info
```
A saída inclui o URL do servidor da API de serviço de gerenciamento.

No diretório anthos-aws, use anthos-gke para alternar o contexto para o serviço de gerenciamento.
```
cd anthos-aws
anthos-gke aws management get-credentials
```
Observação: anthos-gke usa as credenciais especificadas quando você executou aws configure.

Capturar um snapshot de um serviço de gerenciamento

Para capturar um snapshot de um serviço de gerenciamento, use anthos-gke aws management diagnose snapshot.

env HTTPS_PROXY=http://localhost:8118 \
  anthos-gke aws management diagnose snapshot \
  --ssh-key-path ssh-key-path \
  --workspace workspace

Substitua:

ssh-key-path pelo caminho para o GKE na chave SSH da AWS. Por padrão, o arquivo é criado em .ssh/anthos-gke.
workspace pelo caminho para o diretório em que você criou o GKE na implantação da AWS. Se um Bastion Host tiver sido criado como parte de uma instalação de VPC dedicada, o GKE na AWS usará o Bastion para se conectar ao serviço de gerenciamento.

A saída inclui o registro de ações e o nome do arquivo de snapshot:

2020/06/15 15:39:48 Found bastion instance in tfworkspace. IP: bastion-ip.aws-zone.compute.amazonaws.com
writing file: /tmp/kubeconfig-mgmt679794004/kubeconfig.conf
snapshot: 2020/06/15 15:39:50 Getting snapshot of controlPlane...
snapshot: 2020/06/15 15:39:50 Getting snapshot of kubectl command...
snapshot: 2020/06/15 15:39:52 Getting snapshot of control plane managed aws resources
...
ip-10-0-1-44/commands/ip_route_list_table_all.out
/tmp/tmp.Z26niLmVfU/snapshot.tar.gz
2020/06/15 15:40:04 Snapshot saved in snapshot-1592260783.tar.gz.

Capturar um snapshot de um cluster de usuário

Para capturar um snapshot de um cluster de usuário, use anthos-gke aws clusters diagnose snapshot.

env HTTPS_PROXY=http://localhost:8118 \
  anthos-gke aws clusters diagnose snapshot user-cluster-name \
  --ssh-key-path ssh-key-path --workspace terraform-workspace

Substitua:

user-cluster-name pelo nome do cluster de usuário. Por padrão, seu primeiro cluster de usuário é denominado cluster-0.
ssh-key-path pelo caminho para o GKE na chave SSH da AWS. Por padrão, o arquivo é criado em .ssh/anthos-gke.
terraform-workspace pelo caminho do espaço de trabalho do Terraform em que você criou o GKE na implantação da AWS.

A saída inclui o registro de ações e o nome do arquivo de snapshot:

2020/06/15 15:43:37 Found bastion instance in tfworkspace. IP: bastion-ip.aws-zone.compute.amazonaws.com
writing file: /tmp/kubeconfig-mgmt616204648/kubeconfig.conf
snapshot: 2020/06/15 15:43:40 Getting snapshot of controlPlane...
snapshot: 2020/06/15 15:43:40 Getting snapshot of kubectl command...
writing file: /tmp/kubeconfig-clustercluster-0620691367/kubeconfig.conf
snapshot: 2020/06/15 15:43:43 Getting snapshot of cluster default/cluster-0
snapshot: 2020/06/15 15:43:43 Getting snapshot of controlPlane...
snapshot: 2020/06/15 15:43:43 Getting snapshot of kubectl command...
snapshot: 2020/06/15 15:43:46 Getting snapshot of control plane managed aws resources
...
snapshot: 2020/06/15 15:43:48 Getting snapshot of node pools
snapshot: 2020/06/15 15:43:48 Getting snapshot of node pool default/pool-0
snapshot: 2020/06/15 15:43:48 Getting snapshot of node pool managed aws resources
...
2020/06/15 15:44:00 Snapshot saved in snapshot-1592261012.tar.gz.

Como modificar a configuração do snapshot

Para modificar a configuração do snapshot padrão, primeiro use anthos-gke com a opção --dry-run e salve a saída em um arquivo. Em seguida, edite sua configuração e execute novamente anthos-gke com a nova configuração.

Criar um arquivo de configuração para o serviço de gerenciamento

Use anthos-gke com a opção --dry-run e redirecione a saída para um arquivo chamado management-config.yaml.
```
env HTTPS_PROXY=http://localhost:8118 \
  anthos-gke aws management diagnose snapshot --ssh-key-path ssh-key-path \
  --workspace workspace --dry-run > management-config.yaml 2>&1
```
Substitua:
- ssh-key-path pelo caminho para o GKE na chave SSH da AWS. Por padrão, o arquivo é criado em ~/.ssh/anthos-gke.
- workspace pelo caminho para o diretório em que você criou o GKE na implantação da AWS.

Edite o arquivo management-config.yaml em um editor de texto. O arquivo contém duas seções. A primeira seção é um registro de carimbo de data/hora de anthos-gke, que tem a seguinte aparência:
```
2020/06/15 15:26:51 Found bastion instance in tfworkspace. IP: bastion-ip.aws-zone.compute.amazonaws.com
2020/06/15 15:26:51 Running in dry-run mode...
...
```
Exclua a seção de registro. Mantenha a configuração depois da linha The snapshot configuration is:.

O conteúdo restante do arquivo é uma configuração YAML que se parece com o seguinte:

mgmtCluster:
  instanceCommands:
  - dmesg
  - sudo crictl ps a
  - systemctl status -l containerd
  - journalctl --since '1 hour ago' --utc -u containerd
  - systemctl status -l kubelet
  - journalctl --since '1 hour ago' --utc -u kubelet
  - journalctl --since '1 hour ago' --utc --boot --dmesg
  - uptime
  - df --all --inodes
  - ip addr
  - sudo iptables-save --counters
  - mount
  - ip route list table all
  - top -bn1
  - ps -edF
  - ps -eo pid,tid,ppid,class,rtprio,ni,pri,psr,pcpu,stat,wchan:14,comm,args,cgroup
  - chronyc sources -v
  - journalctl --since '1 hour ago' --utc -u chrony
  instanceFiles:
  - /etc/kubernetes/manifests/
  - /proc/sys/fs/file-nr
  - /proc/sys/net/nf_conntrack_max
  - /var/log/startup.log
  - /var/log/cloud-init-output.log
  - /var/log/containers
  kubectlCommands:
  - commands:
    - kubectl get events
    - kubectl version
    - kubectl cluster-info
    - kubectl get clusterroles -o wide
    - kubectl get clusterrolebindings -o wide
    - kubectl get crd -o wide
    - kubectl describe clusterroles
    - kubectl describe clusterrolebindings
    - kubectl describe crd
    - kubectl get all -o yaml
    - kubectl describe all
  managedAWSResources: true
numOfThreads: 10
truncate: 2000

Remova todos os comandos que você acredita que expõem dados confidenciais.
Execute o comando anthos-gke e com a opção --snapshot-config e management-config.yaml.
```
env HTTPS_PROXY=http://localhost:8118 \
  anthos-gke aws management diagnose snapshot --ssh-key-path ssh-key-path \
  --snapshot-config management-config.yaml --workspace terraform-workspace
```
Substitua:
- ssh-key-path pelo caminho para o GKE na chave SSH da AWS. Por padrão, o arquivo é criado em .ssh/anthos-gke.
- terraform-workspace pelo caminho do espaço de trabalho do Terraform em que você criou o GKE na implantação da AWS.

Criar um arquivo de configuração para um cluster de usuários

Use anthos-gke com a opção --dry-run e redirecione a saída para um arquivo chamado user-config.yaml.
```
env HTTPS_PROXY=http://localhost:8118 \
  anthos-gke aws clusters diagnose snapshot user-cluster-name \
  --ssh-key-path ssh-key-path --snapshot-config snapshot-config-path  \
  --workspace workspace --dry-run > user-config.yaml 2>&1
```
Substitua:
- user-cluster-name pelo nome do cluster de usuário. Por padrão, seu primeiro cluster é denominado cluster-0.
- ssh-key-path pelo caminho para o GKE na chave SSH da AWS. Por padrão, o arquivo é criado em ~/.ssh/anthos-gke.
- workspace pelo caminho para o diretório em que você criou o GKE na implantação da AWS.

Edite o arquivo management-config.yaml em um editor de texto. O arquivo contém duas seções. A primeira seção é um registro de carimbo de data/hora de anthos-gke, que tem a seguinte aparência:
```
2020/06/15 15:26:51 Found bastion instance in tfworkspace. IP: bastion-ip.aws-zone.compute.amazonaws.com
2020/06/15 15:26:51 Running in dry-run mode...
...
```
Exclua a seção de registro. Mantenha a configuração depois da linha The snapshot configuration is:.

O conteúdo restante do arquivo é uma configuração YAML que se parece com o seguinte:

clusters:
- clusterName: cluster-0
  controlPlane:
    instanceCommands:
    - dmesg
    - sudo crictl ps a
    - systemctl status -l containerd
    - journalctl --since '1 hour ago' --utc -u containerd
    - systemctl status -l kubelet
    - journalctl --since '1 hour ago' --utc -u kubelet
    - journalctl --since '1 hour ago' --utc --boot --dmesg
    - uptime
    - df --all --inodes
    - ip addr
    - sudo iptables-save --counters
    - mount
    - ip route list table all
    - top -bn1
    - sudo docker ps -a
    - ps -edF
    - ps -eo pid,tid,ppid,class,rtprio,ni,pri,psr,pcpu,stat,wchan:14,comm,args,cgroup
    instanceFiles:
    - /etc/kubernetes/manifests/
    - /proc/sys/fs/file-nr
    - /proc/sys/net/nf_conntrack_max
    - /var/log/startup.log
    - /var/log/cloud-init-output.log
    - /var/log/containers
    kubectlCommands:
    - commands:
      - kubectl get events
      - kubectl version
      - kubectl cluster-info
      - kubectl get clusterroles -o wide
      - kubectl get clusterrolebindings -o wide
      - kubectl get crd -o wide
      - kubectl describe clusterroles
      - kubectl describe clusterrolebindings
      - kubectl describe crd
      - kubectl get all -o yaml
      - kubectl describe all
      - kubectl logs --namespace=kube-system -l k8s-app=aws-ebs-csi-driver-node --all-containers
      - kubectl logs --namespace=kube-system -l k8s-app=aws-efs-csi-driver-node --all-containers
      - kubectl logs --namespace=kube-system -l k8s-app=calico-node --all-containers
      - kubectl logs --namespace=kube-system -l k8s-app=node-local-dns --all-containers
      - kubectl logs --namespace=kube-system -l k8s-app=kube-proxy --all-containers
      - kubectl describe nodes
    managedAWSResources: true
  nodePools:
  - NodePoolName: ""
    instanceCommands:
    - dmesg
    - sudo crictl ps a
    - systemctl status -l containerd
    - journalctl --since '1 hour ago' --utc -u containerd
    - systemctl status -l kubelet
    - journalctl --since '1 hour ago' --utc -u kubelet
    - journalctl --since '1 hour ago' --utc --boot --dmesg
    - uptime
    - df --all --inodes
    - ip addr
    - sudo iptables-save --counters
    - mount
    - ip route list table all
    - top -bn1
    - sudo docker ps -a
    - ps -edF
    - ps -eo pid,tid,ppid,class,rtprio,ni,pri,psr,pcpu,stat,wchan:14,comm,args,cgroup
    instanceFiles:
    - /etc/kubernetes/manifests/
    - /proc/sys/fs/file-nr
    - /proc/sys/net/nf_conntrack_max
    - /var/log/startup.log
    - /var/log/cloud-init-output.log
    - /var/log/containers
    managedAWSResources: true
mgmtCluster:
  kubectlCommands:
  - commands:
    - kubectl get awscluster -oyaml
numOfThreads: 10
truncate: 2000

Remova todos os comandos que você acredita que expõem dados confidenciais.
Execute o comando anthos-gke e com a opção --snapshot-config e user-config.yaml.
```
env HTTPS_PROXY=http://localhost:8118 \
  anthos-gke aws clusters diagnose snapshot user-cluster-name
  --ssh-key-path <ssh-key-path> \
  --snapshot-config user-config.yaml --workspace <terraform-workspace>
```
Substitua:
- user-cluster-name pelo nome do cluster de usuário. Por padrão, seu primeiro cluster é denominado cluster-0.
- ssh-key-path pelo caminho para o GKE na chave SSH da AWS. Por padrão, o arquivo é criado em .ssh/anthos-gke.
- terraform-workspace pelo caminho do espaço de trabalho do Terraform em que você criou o GKE na implantação da AWS.

Conteúdo do snapshot padrão

Introdução

Nesta seção, você verá exemplos de árvores de arquivos contidas no snapshot padrão de um serviço de gerenciamento e um cluster de usuário.

Serviço de gerenciamento

A árvore a seguir é um exemplo dos arquivos em um snapshot de um cluster de gerenciamento.

.
├── index.html
├── mgmt_cluster
│   ├── controlplane-0-10.0.1.44
│   │   └── ip-10-0-1-44
│   │       ├── commands
│   │       │   ├── df_--all_--inodes.out
│   │       │   ├── dmesg.out
│   │       │   ├── ip_addr.out
│   │       │   ├── ip_route_list_table_all.out
│   │       │   ├── journalctl_--since__1_hour_ago__--utc_--boot_--dmesg.out
│   │       │   ├── journalctl_--since__1_hour_ago__--utc_-u_containerd.out
│   │       │   ├── journalctl_--since__1_hour_ago__--utc_-u_kubelet.out
│   │       │   ├── mount.out
│   │       │   ├── ps_-edF.out
│   │       │   ├── ps_-eo_pid,tid,ppid,class,rtprio,ni,pri,psr,pcpu,stat,wchan:14,comm,args,cgroup.out
│   │       │   ├── sudo_crictl_ps_a.out
│   │       │   ├── sudo_docker_ps_-a.err
│   │       │   ├── sudo_docker_ps_-a.out
│   │       │   ├── sudo_iptables-save_--counters.out
│   │       │   ├── systemctl_status_-l_containerd.out
│   │       │   ├── systemctl_status_-l_kubelet.out
│   │       │   ├── top_-bn1.out
│   │       │   └── uptime.out
│   │       └── files
│   │           ├── etc
│   │           │   └── kubernetes
│   │           │       └── manifests
│   │           │           ├── etcd.yaml
│   │           │           ├── gke-aws-cluster-operator.yaml
│   │           │           ├── kube-apiserver.yaml
│   │           │           └── kube-controller-manager.yaml
│   │           ├── proc
│   │           │   └── sys
│   │           │       ├── fs
│   │           │       │   └── file-nr
│   │           │       └── net
│   │           │           └── nf_conntrack_max
│   │           └── var
│   │               └── log
│   │                   ├── cloud-init-output.log
│   │                   ├── containers
│   │                   │   ├── etcd-ip-10-0-1-44.ap-southeast-2.compute.internal_kube-system_kube-etcd-149e96d0b0da2250505a6b41603e57f42a5386701fa0033840e8f3b211b49733.log
│   │                   │   ├── gke-aws-cluster-operator-ip-10-0-1-44.ap-southeast-2.compute.internal_kube-system_gke-aws-cluster-operator-d423d3191ce1a8c65c4a0f30f1d7598a8739c0aba65784355b28dee0d694626a.log
│   │                   │   ├── kube-apiserver-ip-10-0-1-44.ap-southeast-2.compute.internal_kube-system_kube-apiserver-48061659a4b77f4b50eed5819dbfab5586dc9086fa24217cc16486bd852dfbf6.log
│   │                   │   ├── kube-apiserver-ip-10-0-1-44.ap-southeast-2.compute.internal_kube-system_kube-apiserver-baf60859cd807e9325295fde7a8d3cd16c3d5e73abca87acc107cee5e08f4c1c.log
│   │                   │   └── kube-controller-manager-ip-10-0-1-44.ap-southeast-2.compute.internal_kube-system_kube-controller-manager-af9b4ffb40ada3383630090948ec8133ca0e3e54c232dd3f068b3bd8bbee8f92.log
│   │                   └── startup.log
│   ├── kubectl
│   │   ├── kubectl_cluster-info_--kubeconfig_.tmp.kubeconfig-mgmt609381529.kubeconfig.conf.out
│   │   ├── kubectl_describe_all_--kubeconfig_.tmp.kubeconfig-mgmt609381529.kubeconfig.conf.out
│   │   ├── kubectl_describe_clusterrolebindings_--kubeconfig_.tmp.kubeconfig-mgmt609381529.kubeconfig.conf.out
│   │   ├── kubectl_describe_clusterroles_--kubeconfig_.tmp.kubeconfig-mgmt609381529.kubeconfig.conf.out
│   │   ├── kubectl_describe_crd_--kubeconfig_.tmp.kubeconfig-mgmt609381529.kubeconfig.conf.out
│   │   ├── kubectl_get_all_-o_yaml_--kubeconfig_.tmp.kubeconfig-mgmt609381529.kubeconfig.conf.out
│   │   ├── kubectl_get_clusterrolebindings_-o_wide_--kubeconfig_.tmp.kubeconfig-mgmt609381529.kubeconfig.conf.out
│   │   ├── kubectl_get_clusterroles_-o_wide_--kubeconfig_.tmp.kubeconfig-mgmt609381529.kubeconfig.conf.out
│   │   ├── kubectl_get_crd_-o_wide_--kubeconfig_.tmp.kubeconfig-mgmt609381529.kubeconfig.conf.out
│   │   ├── kubectl_get_events_--kubeconfig_.tmp.kubeconfig-mgmt609381529.kubeconfig.conf.out
│   │   └── kubectl_version_--kubeconfig_.tmp.kubeconfig-mgmt609381529.kubeconfig.conf.out
│   └── managed_resources
│       ├── controlplane-0
│       │   ├── asg.out
│       │   └── instance-0.out
│       ├── elb.out
│       └── target_group.out
├── snapshot.config
└── snapshot.log

Cluster de usuário

A árvore a seguir é um exemplo dos arquivos em um snapshot para um cluster de usuário chamado cluster-0.

.
├── cluster
│   └── cluster-0
│       ├── control_plane
│       │   ├── controlplane-0-10.0.1.7
│       │   │   └── ip-10-0-1-7
│       │   │       ├── commands
│       │   │       │   ├── df_--all_--inodes.out
│       │   │       │   ├── dmesg.out
│       │   │       │   ├── ip_addr.out
│       │   │       │   ├── ip_route_list_table_all.out
│       │   │       │   ├── journalctl_--since__1_hour_ago__--utc_--boot_--dmesg.out
│       │   │       │   ├── journalctl_--since__1_hour_ago__--utc_-u_containerd.out
│       │   │       │   ├── journalctl_--since__1_hour_ago__--utc_-u_kubelet.out
│       │   │       │   ├── mount.out
│       │   │       │   ├── ps_-edF.out
│       │   │       │   ├── ps_-eo_pid,tid,ppid,class,rtprio,ni,pri,psr,pcpu,stat,wchan:14,comm,args,cgroup.out
│       │   │       │   ├── sudo_crictl_ps_a.out
│       │   │       │   ├── sudo_docker_ps_-a.err
│       │   │       │   ├── sudo_docker_ps_-a.out
│       │   │       │   ├── sudo_iptables-save_--counters.out
│       │   │       │   ├── systemctl_status_-l_containerd.out
│       │   │       │   ├── systemctl_status_-l_kubelet.out
│       │   │       │   ├── top_-bn1.out
│       │   │       │   └── uptime.out
│       │   │       └── files
│       │   │           ├── etc
│       │   │           │   └── kubernetes
│       │   │           │       └── manifests
│       │   │           │           ├── aws-ebs-csi-driver-controller.yaml
│       │   │           │           ├── aws-encryption-provider.yaml
│       │   │           │           ├── cluster-autoscaler.yaml
│       │   │           │           ├── etcd-events.yaml
│       │   │           │           ├── etcd.yaml
│       │   │           │           ├── kube-apiserver.yaml
│       │   │           │           ├── kube-controller-manager.yaml
│       │   │           │           └── kube-scheduler.yaml
│       │   │           ├── proc
│       │   │           │   └── sys
│       │   │           │       ├── fs
│       │   │           │       │   └── file-nr
│       │   │           │       └── net
│       │   │           │           └── nf_conntrack_max
│       │   │           └── var
│       │   │               └── log
│       │   │                   ├── cloud-init-output.log
│       │   │                   ├── containers
│       │   │                   │   ├── aws-ebs-csi-driver-controller-ip-10-0-1-7.ap-southeast-2.compute.internal_kube-system_csi-attacher-218b7834cda8b4ae0f6687e06b33426ca39669a6c2652948e17746d49ed4c7c9.log
│       │   │                   │   ├── aws-ebs-csi-driver-controller-ip-10-0-1-7.ap-southeast-2.compute.internal_kube-system_csi-provisioner-ff1ba1960712a00065db1e036e1aaf5aeaca0979c833d020ad1cafdea05a76c7.log
│       │   │                   │   ├── aws-ebs-csi-driver-controller-ip-10-0-1-7.ap-southeast-2.compute.internal_kube-system_ebs-plugin-697389a6c73bdb4a0370a644a28617b3b8a12862341b91ca2d640aa66724affd.log
│       │   │                   │   ├── aws-encryption-provider-ip-10-0-1-7.ap-southeast-2.compute.internal_kube-system_aws-encryption-provider-b08216cbca004f71e68145b9a38b931276dd9ef92d26c53b85275587ce28f3ca.log
│       │   │                   │   ├── cluster-autoscaler-ip-10-0-1-7.ap-southeast-2.compute.internal_kube-system_cluster-autoscaler-57f9ca6abec10a76b42449dababea6c963853b1aa30f1db2b87d963311d03629.log
│       │   │                   │   ├── cluster-autoscaler-ip-10-0-1-7.ap-southeast-2.compute.internal_kube-system_cluster-autoscaler-9c09937ddbe3220c896f857a8b8c02c84062f13092b39ebac3ab1ce26f13b317.log
│       │   │                   │   ├── etcd-events-ip-10-0-1-7.ap-southeast-2.compute.internal_kube-system_kube-etcd-events-4e79334e69f670a3a4637c20635944abb71ed93d6e802407ef5881478ee78dc1.log
│       │   │                   │   ├── etcd-ip-10-0-1-7.ap-southeast-2.compute.internal_kube-system_kube-etcd-e6dbe39ef969fb2f049292d4f3a66a41d22f963b40f72f5f91ad6acd9e9cde77.log
│       │   │                   │   ├── kube-apiserver-ip-10-0-1-7.ap-southeast-2.compute.internal_kube-system_kube-apiserver-e61770a46518313306e1668c34e4efbdb3ed81b7f451dc3278a00a40fee09e0d.log
│       │   │                   │   ├── kube-controller-manager-ip-10-0-1-7.ap-southeast-2.compute.internal_kube-system_kube-controller-manager-3b33df6a4d4cca8fd63f90d4fcbee65595e71c0390a5c29c81670d0232b98edc.log
│       │   │                   │   └── kube-scheduler-ip-10-0-1-7.ap-southeast-2.compute.internal_kube-system_kube-scheduler-0aae214e17741189db8d3608275e71551f62f43619e07a37a11017b88a611970.log
│       │   │                   └── startup.log
│       │   ├── controlplane-1-10.0.1.61
│       │   │   └── ip-10-0-1-61
│       │   │       ├── commands
│       │   │       │   ├── df_--all_--inodes.out
│       │   │       │   ├── dmesg.out
│       │   │       │   ├── ip_addr.out
│       │   │       │   ├── ip_route_list_table_all.out
│       │   │       │   ├── journalctl_--since__1_hour_ago__--utc_--boot_--dmesg.out
│       │   │       │   ├── journalctl_--since__1_hour_ago__--utc_-u_containerd.out
│       │   │       │   ├── journalctl_--since__1_hour_ago__--utc_-u_kubelet.out
│       │   │       │   ├── mount.out
│       │   │       │   ├── ps_-edF.out
│       │   │       │   ├── ps_-eo_pid,tid,ppid,class,rtprio,ni,pri,psr,pcpu,stat,wchan:14,comm,args,cgroup.out
│       │   │       │   ├── sudo_crictl_ps_a.out
│       │   │       │   ├── sudo_docker_ps_-a.err
│       │   │       │   ├── sudo_docker_ps_-a.out
│       │   │       │   ├── sudo_iptables-save_--counters.out
│       │   │       │   ├── systemctl_status_-l_containerd.out
│       │   │       │   ├── systemctl_status_-l_kubelet.out
│       │   │       │   ├── top_-bn1.out
│       │   │       │   └── uptime.out
│       │   │       └── files
│       │   │           ├── etc
│       │   │           │   └── kubernetes
│       │   │           │       └── manifests
│       │   │           │           ├── aws-ebs-csi-driver-controller.yaml
│       │   │           │           ├── aws-encryption-provider.yaml
│       │   │           │           ├── cluster-autoscaler.yaml
│       │   │           │           ├── etcd-events.yaml
│       │   │           │           ├── etcd.yaml
│       │   │           │           ├── kube-apiserver.yaml
│       │   │           │           ├── kube-controller-manager.yaml
│       │   │           │           └── kube-scheduler.yaml
│       │   │           ├── proc
│       │   │           │   └── sys
│       │   │           │       ├── fs
│       │   │           │       │   └── file-nr
│       │   │           │       └── net
│       │   │           │           └── nf_conntrack_max
│       │   │           └── var
│       │   │               └── log
│       │   │                   ├── cloud-init-output.log
│       │   │                   ├── containers
│       │   │                   │   ├── aws-ebs-csi-driver-controller-ip-10-0-1-61.ap-southeast-2.compute.internal_kube-system_csi-attacher-63345efd65ea584c35f4b0d2de443bf42e83e65324e899be27335a25fe07a72c.log
│       │   │                   │   ├── aws-ebs-csi-driver-controller-ip-10-0-1-61.ap-southeast-2.compute.internal_kube-system_csi-provisioner-6f66e7479c319fbcbcaf53f9b5398cd8e53bcd646fa9788afbc25a69fc9291fe.log
│       │   │                   │   ├── aws-ebs-csi-driver-controller-ip-10-0-1-61.ap-southeast-2.compute.internal_kube-system_ebs-plugin-2ee649206dd099e29b8bb3cbf27bef499b851682c07590a34c2e08d9545ca51b.log
│       │   │                   │   ├── aws-encryption-provider-ip-10-0-1-61.ap-southeast-2.compute.internal_kube-system_aws-encryption-provider-3d2b5c28b7389e1303d2e36dd510ec40cef99f2ea63823901ea9806869def8fa.log
│       │   │                   │   ├── cluster-autoscaler-ip-10-0-1-61.ap-southeast-2.compute.internal_kube-system_cluster-autoscaler-ebc572523516845d023884810f721865c2f0a76e34aaf92babdffacf4c95f75b.log
│       │   │                   │   ├── cluster-autoscaler-ip-10-0-1-61.ap-southeast-2.compute.internal_kube-system_cluster-autoscaler-f7a7480c9adb08077b9a07d2f14e2b14dda7b4d50027cf105d90f37c63945bfa.log
│       │   │                   │   ├── etcd-events-ip-10-0-1-61.ap-southeast-2.compute.internal_kube-system_kube-etcd-events-60301eef32b7c10d0aea3de19549bfdcc3e4152cf3ca8ca7d5e10785e2e232fd.log
│       │   │                   │   ├── etcd-ip-10-0-1-61.ap-southeast-2.compute.internal_kube-system_kube-etcd-25a369f08d0d2bbc9f8f83337724e14c9878a1a0249cc5e9c7c63cae3d3657a1.log
│       │   │                   │   ├── kube-apiserver-ip-10-0-1-61.ap-southeast-2.compute.internal_kube-system_kube-apiserver-13a276422964d2674f16d971bafcd25555eee3eb10b6a6f60686e8b8810a5def.log
│       │   │                   │   ├── kube-controller-manager-ip-10-0-1-61.ap-southeast-2.compute.internal_kube-system_kube-controller-manager-18625e69e9604fbacbe82aebc6dc18dd4427269941a25a9bdef3fc0e5a4dfb9e.log
│       │   │                   │   └── kube-scheduler-ip-10-0-1-61.ap-southeast-2.compute.internal_kube-system_kube-scheduler-12f48aad99ecc18b450ebcda85ffb7f138bbb6bc261fb06e75ae1548647eaa45.log
│       │   │                   └── startup.log
│       │   ├── controlplane-2-10.0.1.161
│       │   │   └── ip-10-0-1-161
│       │   │       ├── commands
│       │   │       │   ├── df_--all_--inodes.out
│       │   │       │   ├── dmesg.out
│       │   │       │   ├── ip_addr.out
│       │   │       │   ├── ip_route_list_table_all.out
│       │   │       │   ├── journalctl_--since__1_hour_ago__--utc_--boot_--dmesg.out
│       │   │       │   ├── journalctl_--since__1_hour_ago__--utc_-u_containerd.out
│       │   │       │   ├── journalctl_--since__1_hour_ago__--utc_-u_kubelet.out
│       │   │       │   ├── mount.out
│       │   │       │   ├── ps_-edF.out
│       │   │       │   ├── ps_-eo_pid,tid,ppid,class,rtprio,ni,pri,psr,pcpu,stat,wchan:14,comm,args,cgroup.out
│       │   │       │   ├── sudo_crictl_ps_a.out
│       │   │       │   ├── sudo_docker_ps_-a.err
│       │   │       │   ├── sudo_docker_ps_-a.out
│       │   │       │   ├── sudo_iptables-save_--counters.out
│       │   │       │   ├── systemctl_status_-l_containerd.out
│       │   │       │   ├── systemctl_status_-l_kubelet.out
│       │   │       │   ├── top_-bn1.out
│       │   │       │   └── uptime.out
│       │   │       └── files
│       │   │           ├── etc
│       │   │           │   └── kubernetes
│       │   │           │       └── manifests
│       │   │           │           ├── aws-ebs-csi-driver-controller.yaml
│       │   │           │           ├── aws-encryption-provider.yaml
│       │   │           │           ├── cluster-autoscaler.yaml
│       │   │           │           ├── etcd-events.yaml
│       │   │           │           ├── etcd.yaml
│       │   │           │           ├── kube-apiserver.yaml
│       │   │           │           ├── kube-controller-manager.yaml
│       │   │           │           └── kube-scheduler.yaml
│       │   │           ├── proc
│       │   │           │   └── sys
│       │   │           │       ├── fs
│       │   │           │       │   └── file-nr
│       │   │           │       └── net
│       │   │           │           └── nf_conntrack_max
│       │   │           └── var
│       │   │               └── log
│       │   │                   ├── cloud-init-output.log
│       │   │                   ├── containers
│       │   │                   │   ├── aws-ebs-csi-driver-controller-ip-10-0-1-161.ap-southeast-2.compute.internal_kube-system_csi-attacher-0d66d0e6d7ead9a0af3ee2b9ea7769669a33636639549571ed10eaacf7ddd85b.log
│       │   │                   │   ├── aws-ebs-csi-driver-controller-ip-10-0-1-161.ap-southeast-2.compute.internal_kube-system_csi-provisioner-c68d3acbdf8f319fe1d700eb3584fd07016d7a8b507e05261b1596fb96ca7598.log
│       │   │                   │   ├── aws-ebs-csi-driver-controller-ip-10-0-1-161.ap-southeast-2.compute.internal_kube-system_ebs-plugin-66c248fc6c21021355ad5aa20ec98894b3370d1b58d86d3bf4b794bfb971eaef.log
│       │   │                   │   ├── aws-encryption-provider-ip-10-0-1-161.ap-southeast-2.compute.internal_kube-system_aws-encryption-provider-f79e0367f399331652f7beb9145e97eefe95a635a3101ffb73bb8c29d449304e.log
│       │   │                   │   ├── cluster-autoscaler-ip-10-0-1-161.ap-southeast-2.compute.internal_kube-system_cluster-autoscaler-4ce584e9f04e3c545168a01a84b4a697a199e4ff536477d8cb884f89ab65872c.log
│       │   │                   │   ├── cluster-autoscaler-ip-10-0-1-161.ap-southeast-2.compute.internal_kube-system_cluster-autoscaler-a384f6202e6b7f0a3d5918adc87a8acf158a4e5d13401825a129188663cf32d7.log
│       │   │                   │   ├── etcd-events-ip-10-0-1-161.ap-southeast-2.compute.internal_kube-system_kube-etcd-events-4975f4f7ea692237be1016e2c03e024ca58cc78745b482ca41fe80481c425f28.log
│       │   │                   │   ├── etcd-ip-10-0-1-161.ap-southeast-2.compute.internal_kube-system_kube-etcd-92a56adf23ce887f032335ccc2ebd48e39de6ddd600302fe985d3b088e8d4eea.log
│       │   │                   │   ├── kube-apiserver-ip-10-0-1-161.ap-southeast-2.compute.internal_kube-system_kube-apiserver-76551958905114e0eaa056c0e3eb7cc0af7d9f6291af9efe49bbab95250500ce.log
│       │   │                   │   ├── kube-controller-manager-ip-10-0-1-161.ap-southeast-2.compute.internal_kube-system_kube-controller-manager-d50c38a03f5e01ca438508db11091e9421fa8eb7231f484303a350a7b0538439.log
│       │   │                   │   └── kube-scheduler-ip-10-0-1-161.ap-southeast-2.compute.internal_kube-system_kube-scheduler-7ebaccccbf67c06d379b1541f1970e4e987de138556542469cc24aacea1c9213.log
│       │   │                   └── startup.log
│       │   ├── kubectl
│       │   │   ├── kubectl_cluster-info_--kubeconfig_.tmp.kubeconfig-clustercluster-0904143419.kubeconfig.conf.out
│       │   │   ├── kubectl_describe_all_--kubeconfig_.tmp.kubeconfig-clustercluster-0904143419.kubeconfig.conf.out
│       │   │   ├── kubectl_describe_clusterrolebindings_--kubeconfig_.tmp.kubeconfig-clustercluster-0904143419.kubeconfig.conf.out
│       │   │   ├── kubectl_describe_clusterroles_--kubeconfig_.tmp.kubeconfig-clustercluster-0904143419.kubeconfig.conf.out
│       │   │   ├── kubectl_describe_crd_--kubeconfig_.tmp.kubeconfig-clustercluster-0904143419.kubeconfig.conf.out
│       │   │   ├── kubectl_get_all_-o_yaml_--kubeconfig_.tmp.kubeconfig-clustercluster-0904143419.kubeconfig.conf.out
│       │   │   ├── kubectl_get_clusterrolebindings_-o_wide_--kubeconfig_.tmp.kubeconfig-clustercluster-0904143419.kubeconfig.conf.out
│       │   │   ├── kubectl_get_clusterroles_-o_wide_--kubeconfig_.tmp.kubeconfig-clustercluster-0904143419.kubeconfig.conf.out
│       │   │   ├── kubectl_get_crd_-o_wide_--kubeconfig_.tmp.kubeconfig-clustercluster-0904143419.kubeconfig.conf.out
│       │   │   ├── kubectl_get_events_--kubeconfig_.tmp.kubeconfig-clustercluster-0904143419.kubeconfig.conf.out
│       │   │   └── kubectl_version_--kubeconfig_.tmp.kubeconfig-clustercluster-0904143419.kubeconfig.conf.out
│       │   └── managed_resources
│       │       ├── controlplane-0
│       │       │   ├── asg.out
│       │       │   ├── eni.out
│       │       │   ├── etcd.out
│       │       │   └── instance-0.out
│       │       ├── controlplane-1
│       │       │   ├── asg.out
│       │       │   ├── eni.out
│       │       │   ├── etcd.out
│       │       │   └── instance-0.out
│       │       ├── controlplane-2
│       │       │   ├── asg.out
│       │       │   ├── eni.out
│       │       │   ├── etcd.out
│       │       │   └── instance-0.out
│       │       ├── elb.out
│       │       └── target_group.out
│       └── nodepools
│           ├── default
│           │   └── pool-0
│           │       ├── i-03a23df438ac8278e
│           │       │   └── ip-10-0-1-53
│           │       │       ├── commands
│           │       │       │   ├── df_--all_--inodes.out
│           │       │       │   ├── dmesg.out
│           │       │       │   ├── ip_addr.out
│           │       │       │   ├── ip_route_list_table_all.out
│           │       │       │   ├── journalctl_--since__1_hour_ago__--utc_--boot_--dmesg.out
│           │       │       │   ├── journalctl_--since__1_hour_ago__--utc_-u_containerd.out
│           │       │       │   ├── journalctl_--since__1_hour_ago__--utc_-u_kubelet.out
│           │       │       │   ├── mount.out
│           │       │       │   ├── ps_-edF.out
│           │       │       │   ├── ps_-eo_pid,tid,ppid,class,rtprio,ni,pri,psr,pcpu,stat,wchan:14,comm,args,cgroup.out
│           │       │       │   ├── sudo_crictl_ps_a.out
│           │       │       │   ├── sudo_docker_ps_-a.err
│           │       │       │   ├── sudo_docker_ps_-a.out
│           │       │       │   ├── sudo_iptables-save_--counters.out
│           │       │       │   ├── systemctl_status_-l_containerd.out
│           │       │       │   ├── systemctl_status_-l_kubelet.out
│           │       │       │   ├── top_-bn1.out
│           │       │       │   └── uptime.out
│           │       │       └── files
│           │       │           ├── proc
│           │       │           │   └── sys
│           │       │           │       ├── fs
│           │       │           │       │   └── file-nr
│           │       │           │       └── net
│           │       │           │           └── nf_conntrack_max
│           │       │           └── var
│           │       │               └── log
│           │       │                   ├── cloud-init-output.log
│           │       │                   ├── containers
│           │       │                   │   ├── aws-ebs-csi-driver-node-mwxhs_kube-system_ebs-plugin-696201b4997d5cc72d85e6b005faa544ab2311571b50d2b1402b6e967a9364f0.log
│           │       │                   │   ├── aws-ebs-csi-driver-node-mwxhs_kube-system_node-driver-registrar-fcde7a18980aee3c690a84953f44341df9755e28ada6a42a6aea4c1b9d6cdd8e.log
│           │       │                   │   ├── calico-node-2g6zt_kube-system_calico-node-f6c22e30079cff40bef7deafbdfa2a97d0c3a4a95e7b68499c917adb1aa24b09.log
│           │       │                   │   ├── calico-node-2g6zt_kube-system_flexvol-driver-9c6e02ad10d342a91e2c3c3d924f747cfab756e719ffc580c073c6e3640b7515.log
│           │       │                   │   ├── calico-node-2g6zt_kube-system_install-cni-3649827b98cb5b2f79f8e9204b07247ca8d2768e4d13b1a8a1359278741ed156.log
│           │       │                   │   ├── calico-node-2g6zt_kube-system_upgrade-ipam-3a2fe7afee90bfe4e09b0939300be89f4795bc7a57e8085a57cb714e015092f6.log
│           │       │                   │   ├── coredns-88cd756b8-thm49_kube-system_coredns-6485d1e189c7b11fdc6249316ab6082360737c67edb77ab0d426eb26dba261ee.log
│           │       │                   │   ├── gke-connect-agent-20200605-02-00-8647455579-jh2r2_gke-connect_gke-connect-agent-20200605-02-00-369a43ce1bccb57bf3abfd503b9b25c81dbcd73d60a8642b68c0bb89b1b8e9fd.log
│           │       │                   │   └── kube-proxy-sg5nr_kube-system_kube-proxy-44f9171a644c8d7d0497900f361faa22fc673adc8336608ced096e655ccde762.log
│           │       │                   └── startup.log
│           │       ├── i-0569a9f23d49f59ea
│           │       │   └── ip-10-0-1-137
│           │       │       ├── commands
│           │       │       │   ├── df_--all_--inodes.out
│           │       │       │   ├── dmesg.out
│           │       │       │   ├── ip_addr.out
│           │       │       │   ├── ip_route_list_table_all.out
│           │       │       │   ├── journalctl_--since__1_hour_ago__--utc_--boot_--dmesg.out
│           │       │       │   ├── journalctl_--since__1_hour_ago__--utc_-u_containerd.out
│           │       │       │   ├── journalctl_--since__1_hour_ago__--utc_-u_kubelet.out
│           │       │       │   ├── mount.out
│           │       │       │   ├── ps_-edF.out
│           │       │       │   ├── ps_-eo_pid,tid,ppid,class,rtprio,ni,pri,psr,pcpu,stat,wchan:14,comm,args,cgroup.out
│           │       │       │   ├── sudo_crictl_ps_a.out
│           │       │       │   ├── sudo_docker_ps_-a.err
│           │       │       │   ├── sudo_docker_ps_-a.out
│           │       │       │   ├── sudo_iptables-save_--counters.out
│           │       │       │   ├── systemctl_status_-l_containerd.out
│           │       │       │   ├── systemctl_status_-l_kubelet.out
│           │       │       │   ├── top_-bn1.out
│           │       │       │   └── uptime.out
│           │       │       └── files
│           │       │           ├── proc
│           │       │           │   └── sys
│           │       │           │       ├── fs
│           │       │           │       │   └── file-nr
│           │       │           │       └── net
│           │       │           │           └── nf_conntrack_max
│           │       │           └── var
│           │       │               └── log
│           │       │                   ├── cloud-init-output.log
│           │       │                   ├── containers
│           │       │                   │   ├── aws-ebs-csi-driver-node-zxxqg_kube-system_ebs-plugin-da9a84b2e45e2ad18d08cbab5260d4cee17636d868a645ab7343f50c25c64ece.log
│           │       │                   │   ├── aws-ebs-csi-driver-node-zxxqg_kube-system_node-driver-registrar-f96a7dbf1bac95c41e022b2ede129c664caafa6eff37caa52f6763c1e737be1a.log
│           │       │                   │   ├── calico-kube-controllers-56cd854695-mjfwx_kube-system_calico-kube-controllers-0ed4316450f5f2e6c4abfb5cc430ed18e2d530525e2ab0ed69a150eed5b3c860.log
│           │       │                   │   ├── calico-node-n5klf_kube-system_calico-node-36101112d423636164c236eacca76d6814c167203cfaf89754984cd79f3b6bbf.log
│           │       │                   │   ├── calico-node-n5klf_kube-system_flexvol-driver-5837e2ba75d549373ca0a3032d1be0c75c0dd442d2e25e286e9006e604794da2.log
│           │       │                   │   ├── calico-node-n5klf_kube-system_install-cni-0e19cfa737dcaaf8fbc40ee2e68460ea8888829b7fab4b8733d5322c339cf838.log
│           │       │                   │   ├── calico-node-n5klf_kube-system_upgrade-ipam-10c94c2fa5f67a69ad9ebeedf9764bbf566c99b50ef60f2f268d484bd028eb76.log
│           │       │                   │   └── kube-proxy-pzh87_kube-system_kube-proxy-5df6d54f9ff2dd036687e064186bcfc2b7c0536fd88586b5cac9e140ffa16658.log
│           │       │                   └── startup.log
│           │       └── i-05bfb8fc961337cc7
│           │           └── ip-10-0-1-167
│           │               ├── commands
│           │               │   ├── df_--all_--inodes.out
│           │               │   ├── dmesg.out
│           │               │   ├── ip_addr.out
│           │               │   ├── ip_route_list_table_all.out
│           │               │   ├── journalctl_--since__1_hour_ago__--utc_--boot_--dmesg.out
│           │               │   ├── journalctl_--since__1_hour_ago__--utc_-u_containerd.out
│           │               │   ├── journalctl_--since__1_hour_ago__--utc_-u_kubelet.out
│           │               │   ├── mount.out
│           │               │   ├── ps_-edF.out
│           │               │   ├── ps_-eo_pid,tid,ppid,class,rtprio,ni,pri,psr,pcpu,stat,wchan:14,comm,args,cgroup.out
│           │               │   ├── sudo_crictl_ps_a.out
│           │               │   ├── sudo_docker_ps_-a.err
│           │               │   ├── sudo_docker_ps_-a.out
│           │               │   ├── sudo_iptables-save_--counters.out
│           │               │   ├── systemctl_status_-l_containerd.out
│           │               │   ├── systemctl_status_-l_kubelet.out
│           │               │   ├── top_-bn1.out
│           │               │   └── uptime.out
│           │               └── files
│           │                   ├── proc
│           │                   │   └── sys
│           │                   │       ├── fs
│           │                   │       │   └── file-nr
│           │                   │       └── net
│           │                   │           └── nf_conntrack_max
│           │                   └── var
│           │                       └── log
│           │                           ├── cloud-init-output.log
│           │                           ├── containers
│           │                           │   ├── aws-ebs-csi-driver-node-kdghk_kube-system_ebs-plugin-3e107a145cc86ac24014b1bf4670b26cb9372fd8022bc0698ca68b27e79a9bfe.log
│           │                           │   ├── aws-ebs-csi-driver-node-kdghk_kube-system_node-driver-registrar-25874dd7063db875a27f170e13e74267749c0d9846781ac8ab7568ac5f940a11.log
│           │                           │   ├── calico-node-b98tq_kube-system_calico-node-1dd735ce87fe6f0f73761d2d97c07ea6f908d0cd088e23f6b916b13b6805f828.log
│           │                           │   ├── calico-node-b98tq_kube-system_flexvol-driver-e9951b1a3de0ed9426de260c5591b4c161b4917873f2eaaf1cbdbd3926c9f933.log
│           │                           │   ├── calico-node-b98tq_kube-system_install-cni-58a2f1a5bfb16951a4b012b5ed30751d24c3380f489011274e3ca8de7eb1e1aa.log
│           │                           │   ├── calico-node-b98tq_kube-system_upgrade-ipam-f9804f2eef0d18122219dbb2843880a392f55493dab0edc16bce2dc5e186fa2a.log
│           │                           │   ├── kube-proxy-pf7sv_kube-system_kube-proxy-473ffafc30368b1cb370cd5cbbe4b20e77dfc383da04386d3ec02948f04bc97d.log
│           │                           │   ├── metrics-server-v0.3.3-85dfcbb78-fmklb_kube-system_metrics-server-4570fa1bd82d238d0ab11fc4256e5cc9fa97accece05f7f0c02d5edab884468e.log
│           │                           │   └── metrics-server-v0.3.3-85dfcbb78-fmklb_kube-system_metrics-server-nanny-71eeba81fb3cf128066ca965aabc5bfdf8e045790a46a9ec7e56e73ad3859218.log
│           │                           └── startup.log
│           └── managed_resources
│               ├── asg.out
│               ├── instance-0.out
│               ├── instance-1.out
│               └── instance-2.out
├── index.html
├── mgmt_cluster
│   └── kubectl
│       └── kubectl_get_awscluster_-oyaml_--kubeconfig_.tmp.kubeconfig-mgmt786666316.kubeconfig.conf.out
├── snapshot.config
└── snapshot.log

Solução de problemas

Visão geral

Como receber informações sobre o cluster

Como conseguir informações do cluster de gerenciamento

Como conseguir os IDs de cluster de usuário

Eventos

Registros do operador

Terraform 0.12, 0.13

Terraform 0.14.3+

Terraform 0.12, 0.13

Terraform 0.14.3+

Conexão direta

Bastion

Terraform

Etapas de solução de problemas

Erros do Terraform

NoCredentialProviders

Falha ao consultar provedores disponíveis

Token desconhecido

Endereço de provedor legado inválido

Não é possível se conectar ao Bastion Host

Não foi possível estabelecer uma conexão com o servidor

O Connect não pode acessar o projeto

Erro de permissões

kubectl não pode se conectar ao cluster

Solução

Um AWSCluster permanece Provisioning

Soluções

Erros de TLS ao conectar-se ao cluster

Solução

Como reinicializar o plano de controle

Como marcar sub-redes

Público

Particular

Várias sub-redes

Sub-rede única

Várias sub-redes

Erro ao excluir os clusters

Solução

Erros da API

Solução

Snapshots

Como gerar um snapshot

Antes de começar

VPC atual

VPC dedicada

Capturar um snapshot de um serviço de gerenciamento

Capturar um snapshot de um cluster de usuário

Como modificar a configuração do snapshot

Criar um arquivo de configuração para o serviço de gerenciamento

Criar um arquivo de configuração para um cluster de usuários

Conteúdo do snapshot padrão

Introdução

Serviço de gerenciamento

Cluster de usuário

`kubectl` não pode se conectar ao cluster

Um `AWSCluster` permanece `Provisioning`