Faça a gestão de recursos do Dataproc através de restrições personalizadas

Google Cloud A política da organização dá-lhe um controlo centralizado e programático sobre os recursos da sua organização. Enquanto administrador de políticas da organização, pode definir uma política da organização, que é um conjunto de restrições denominadas limitações que se aplicam aGoogle Cloud recursos e descendentes desses recursos na Google Cloud hierarquia de recursos. Pode aplicar políticas da organização ao nível da organização, da pasta ou do projeto.

A política da organização oferece restrições predefinidas para vários Google Cloud serviços. No entanto, se quiser um controlo mais detalhado e personalizável sobre os campos específicos que estão restritos nas políticas da sua organização, também pode criar restrições personalizadas e usar essas restrições personalizadas numa política da organização personalizada.

Vantagens

Pode usar uma política de organização personalizada para permitir ou recusar operações específicas em clusters do Dataproc. Por exemplo, se um pedido para criar ou atualizar um cluster não cumprir a validação de restrições personalizadas conforme definido pela sua política organizacional, o pedido falha e é devolvido um erro ao autor da chamada.

Herança de políticas

Por predefinição, as políticas da organização são herdadas pelos descendentes dos recursos nos quais aplica a política. Por exemplo, se aplicar uma política a uma pasta, Google Cloud aplica a política a todos os projetos na pasta. Para saber mais acerca deste comportamento e como o alterar, consulte as regras de avaliação da hierarquia.

Preços

O serviço de políticas da organização, incluindo políticas da organização predefinidas e personalizadas, é oferecido sem custo financeiro.

Antes de começar

  1. Configure o seu projeto
    1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

    2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Roles required to select or create a project

      • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
      • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

      Go to project selector

    3. Verify that billing is enabled for your Google Cloud project.

    4. Enable the Dataproc API.

      Roles required to enable APIs

      To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

      Enable the API

    5. Install the Google Cloud CLI.

    6. Se estiver a usar um fornecedor de identidade (IdP) externo, tem primeiro de iniciar sessão na CLI gcloud com a sua identidade federada.

    7. Para inicializar a CLI gcloud, execute o seguinte comando: 

      gcloud init

    8. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Roles required to select or create a project

      • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
      • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

      Go to project selector

    9. Verify that billing is enabled for your Google Cloud project.

    10. Enable the Dataproc API.

      Roles required to enable APIs

      To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

      Enable the API

    11. Install the Google Cloud CLI.

    12. Se estiver a usar um fornecedor de identidade (IdP) externo, tem primeiro de iniciar sessão na CLI gcloud com a sua identidade federada.

    13. Para inicializar a CLI gcloud, execute o seguinte comando: 

      gcloud init
    14. Certifique-se de que sabe o seu ID da organização.

      15. Funções necessárias

      Para receber as autorizações de que precisa para gerir políticas de organização, peça ao seu administrador que lhe conceda as seguintes funções do IAM:

      Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

      Estas funções predefinidas contêm as autorizações necessárias para gerir as políticas da organização. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:

      Autorizações necessárias

      São necessárias as seguintes autorizações para gerir políticas da organização:

      • orgpolicy.constraints.list
      • orgpolicy.policies.create
      • orgpolicy.policies.delete
      • orgpolicy.policies.list
      • orgpolicy.policies.update
      • orgpolicy.policy.get
      • orgpolicy.policy.set

      Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

      Crie uma restrição personalizada

      Uma restrição personalizada é definida num ficheiro YAML pelos recursos, métodos, condições e ações aos quais é aplicada. O Dataproc suporta restrições personalizadas que são aplicadas aos métodos CREATE e UPDATE do recurso CLUSTER (consulte as restrições do Dataproc em recursos e operações).

      Para criar um ficheiro YAML para uma restrição personalizada do Dataproc:

      name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Cluster
methodTypes: 
- METHOD
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

      Substitua o seguinte:

      • ORGANIZATION_ID: o ID da sua organização, como 123456789.

      • CONSTRAINT_NAME: o nome que quer para a nova restrição personalizada. Uma restrição personalizada tem de começar com custom. e só pode incluir letras maiúsculas, letras minúsculas ou números, por exemplo, custom.dataprocEnableComponentGateway. O comprimento máximo deste campo é de 70 carateres, sem contar com o prefixo, por exemplo, organizations/123456789/customConstraints/custom.

      • METHOD: ao criar uma restrição de criação de clusters, especifique CREATE. Quando criar uma restrição UPDATE de cluster, especifique ambas da seguinte forma: 
        methodTypes:
- CREATE
- UPDATE

      • CONDITION: uma condição CEL escrita em função de uma representação de um recurso de serviço suportado. Este campo tem um comprimento máximo de 1000 carateres. Consulte o artigo Recursos suportados para ver mais informações sobre os recursos disponíveis para escrever condições. Por exemplo, "resource.config.endpointConfig.enableHttpPortAccess==true".

      • ACTION: a ação a tomar se a condição condition for cumprida. Pode ser ALLOW ou DENY.

      • DISPLAY_NAME: um nome simples para a restrição, por exemplo, "Impor a ativação do gateway de componentes do Dataproc". Este campo tem um comprimento máximo de 200 carateres.

      • DESCRIPTION: uma descrição acessível da restrição a apresentar como uma mensagem de erro quando a política é violada. Por exemplo, "Só permitir a criação de clusters do Dataproc se o gateway de componentes estiver ativado". Este campo tem um comprimento máximo de 2000 carateres.

      Para mais informações sobre como criar uma restrição personalizada, consulte o artigo Definir restrições personalizadas.

      Configure uma restrição personalizada

      Depois de criar o ficheiro YAML para uma nova restrição personalizada, tem de o configurar para o disponibilizar para as políticas da organização na sua organização. Para configurar uma restrição personalizada, use o comando gcloud org-policies set-custom-constraint: 
      gcloud org-policies set-custom-constraint CONSTRAINT_PATH
       Substitua CONSTRAINT_PATH pelo caminho completo para o seu ficheiro de restrições personalizado. Por exemplo, /home/user/customconstraint.yaml. Após a conclusão, as restrições personalizadas ficam disponíveis como políticas da organização na sua lista de Google Cloud políticas da organização. Para verificar se a restrição personalizada existe, use o comando gcloud org-policies list-custom-constraints: 
      gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
       Substitua ORGANIZATION_ID pelo ID do recurso da sua organização. Para mais informações, consulte o artigo Ver políticas da organização.

      Aplique uma restrição personalizada

      Pode aplicar uma restrição criando uma política da organização que a referencie e, em seguida, aplicando essa política da organização a um Google Cloud recurso.

      Consola

      1. Na Google Cloud consola, aceda à página Políticas de organização.

        Aceda às políticas da organização

      2. No seletor de projetos, selecione o projeto para o qual quer definir a política de organização.
      3. Na lista da página Políticas da organização, selecione a restrição para ver a página Detalhes da política dessa restrição.
      4. Para configurar a política da organização para este recurso, clique em Gerir política.
      5. Na página Editar política, selecione Substituir política do elemento principal.
      6. Clique em Adicionar regra.
      7. Na secção Aplicação, selecione se a aplicação desta política organizacional está ativada ou desativada.
      8. Opcional: para tornar a política de organização condicional a uma etiqueta, clique em Adicionar condição. Tenha em atenção que, se adicionar uma regra condicional a uma política da organização, tem de adicionar, pelo menos, uma regra incondicional. Caso contrário, não é possível guardar a política. Para mais informações, consulte o artigo Definir uma política de organização com etiquetas.
      9. Clique em Testar alterações para simular o efeito da política da organização. A simulação de políticas não está disponível para restrições geridas antigas. Para mais informações, consulte o artigo Teste as alterações à política da organização com o simulador de políticas.
      10. Para concluir e aplicar a política da organização, clique em Definir política. A política demora até 15 minutos a entrar em vigor.

      gcloud

      Para criar uma política da organização com regras booleanas, crie um ficheiro YAML de política que faça referência à restrição: 

            name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

      Substitua o seguinte:

      • PROJECT_ID: o projeto no qual quer aplicar a restrição.
      • CONSTRAINT_NAME: o nome que definiu para a restrição personalizada. Por exemplo, custom.dataprocEnableComponentGateway.

      Para aplicar a política da organização que contém a restrição, execute o seguinte comando: 

          gcloud org-policies set-policy POLICY_PATH

      Substitua POLICY_PATH pelo caminho completo para o ficheiro YAML da política da organização. A política demora até 15 minutos a entrar em vigor.

      Teste a restrição personalizada

      O exemplo de criação de clusters seguinte pressupõe que foi criada e aplicada uma política da organização personalizada na criação de clusters para exigir a ativação do Component Gateway (resource.config.endpointConfig.enableHttpPortAccess==true).

      gcloud dataproc clusters create example-cluster \
    --project=PROJECT_ID \
    --zone=COMPUTE_ZONE

      Exemplo de saída (por predefinição, o gateway de componentes não está ativado quando é criado um cluster do Dataproc):

      Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]

      Restrições do Dataproc em recursos e operações

      Os seguintes campos de restrição personalizada do Dataproc estão disponíveis para utilização quando cria ou atualiza um cluster do Dataproc. Tenha em atenção que, ao atualizar um cluster, apenas são suportadas as restrições relacionadas com parâmetros de cluster editáveis (consulte o artigo Atualizar um cluster).

      • Configuração de rede do Compute Engine (networkUri, internalIpOnly, serviceAccount e metadata)
        • resource.config.gceClusterConfig.networkUri
        • resource.config.gceClusterConfig.internalIpOnly
        • resource.config.gceClusterConfig.serviceAccount
        • resource.config.gceClusterConfig.metadata
      • Configuração do grupo de instâncias do Compute Engine (imageUri e machineTypeUri)
        • resource.config.masterConfig.imageUri
        • resource.config.masterConfig.machineTypeUri
        • resource.config.workerConfig.imageUri
        • resource.config.workerConfig.machineTypeUri
        • resource.config.secondaryWorkerConfig.imageUri
        • resource.config.secondaryWorkerConfig.machineTypeUri
      • Configuração do disco do grupo de instâncias do Compute Engine (bootDiskType, bootDiskSizeGb, numLocalSsds e localSsdInterface)
        • resource.config.masterConfig.diskConfig.bootDiskType
        • resource.config.workerConfig.diskConfig.bootDiskType
        • resource.config.secondaryWorkerConfig.diskConfig.bootDiskType
        • resource.config.masterConfig.diskConfig.bootDiskSizeGb
        • resource.config.workerConfig.diskConfig.bootDiskSizeGb
        • resource.config.secondaryWorkerConfig.diskConfig.bootDiskSizeGb
        • resource.config.masterConfig.diskConfig.numLocalSsds
        • resource.config.workerConfig.diskConfig.numLocalSsds
        • resource.config.secondaryWorkerConfig.diskConfig.numLocalSsds
        • resource.config.masterConfig.diskConfig.localSsdInterface
        • resource.config.workerConfig.diskConfig.localSsdInterface
        • resource.config.secondaryWorkerConfig.diskConfig.localSsdInterface
      • Ações de inicialização (executableFile)
        • resource.config.initializationActions.executableFile
      • Configuração do software (imageVersion, properties e optionalComponents)
        • resource.config.softwareConfig.imageVersion
        • resource.config.softwareConfig.properties
        • resource.config.softwareConfig.optionalComponents
      • Configuração do Kerberos (enableKerberos e crossRealmTrustKdc)
        • resource.config.securityConfig.kerberosConfig.enableKerberos
        • resource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
      • Component gateway (enableHttpPortAccess)
        • resource.config.endpointConfig.enableHttpPortAccess
      • Configuração do metastore (dataprocMetastoreService)
        • resource.config.metastoreConfig.dataprocMetastoreService
      • CMEK do disco persistente (gcePdKmsKeyName)
        • resource.config.encryptionConfig.gcePdKmsKeyName
      • Etiquetas de clusters
        • resource.labels
      • Tamanho do cluster
        • resource.config.masterConfig.numInstances
        • resource.config.workerConfig.numInstances
        • resource.config.secondaryWorkerConfig.numInstances
      • Ajuste de escala automático
        • resource.config.autoscalingConfig.policyUri

      Exemplos de restrições personalizadas para exemplos de utilização comuns

      A tabela seguinte apresenta exemplos de restrições personalizadas:

      Descrição Sintaxe de restrição
      Restrinja o número de instâncias de trabalho do Dataproc a 10 ou menos quando um cluster é criado ou atualizado. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoMoreThan10Workers
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10"
    actionType: DENY
    displayName: Total number of worker instances cannot be larger than 10
    description: Cluster cannot have more than 10 workers, including primary and
    secondary workers.
      Impedir que o mestre da aplicação seja executado em trabalhadores com capacidade de interrupção do cluster do Dataproc. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocAmPrimaryOnlyEnforced
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition:  "('dataproc:am.primary_only' in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties['dataproc:am.primary_only']==true)"
    actionType: ALLOW
    displayName: Application master cannot run on preemptible workers
    description: Property "dataproc:am.primary_only" must be "true".
      Não permita propriedades do Hive personalizadas em clusters do Dataproc. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoCustomHiveProperties
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.softwareConfig.properties.all(p, !p.startsWith('hive:'))"
    actionType: ALLOW
    displayName: Cluster cannot have custom Hive properties
    description: Only allow Dataproc cluster creation if no property
    starts with Hive prefix "hive:".
      Não permita a utilização do tipo de máquina n1-standard-2 para instâncias principais do Dataproc. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocMasterMachineType
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.masterConfig.machineTypeUri.contains('n1-standard-2')"
    actionType: DENY
    displayName: Master cannot use the n1-standard-2 machine type
    description:  Prevent Dataproc cluster creation if the master machine type is n1-standard-2.
      Aplique a utilização de um script de ação de inicialização especificado. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocInitActionScript
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.initializationActions.exists(action, action.executableFile=='gs://some/init-action.sh')"
    actionType: ALLOW
    displayName: Initialization action script "gs://some/init-action.sh" must be used
    description:  Only allow Dataproc cluster creation if the "gs://some/init-action.sh"
    initialization action script is used.
      Aplique a utilização de uma chave de encriptação de disco persistente especificada. 
          name: organizations/ORGANIZATION_ID/custom.dataprocPdCmek
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.encryptionConfig.gcePdKmsKeyName == 'projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name'"
    actionType: ALLOW
    displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring
    description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring.
      Aplique restrições de etiquetas de clusters. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocEnvLabel
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition:  "('env' in resource.labels) && (resource.labels.env=='test')"
    actionType: DENY
    displayName: Cluster cannot have the "env=test" label
    description:  Deny Dataproc cluster creation or update if the cluster will be labeled "env=test".
      Aplique a utilização de uma rede não predefinida. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoDefaultNetwork
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition:  "resource.config.gceClusterConfig.networkUri.contains('networks/default')"
    actionType: DENY
    displayName: Cluster cannot be created in the default network
    description:  Deny Dataproc cluster creation if the cluster will be created in the default network.

      O que se segue?