Use restrições personalizadas com pipelines

Pré-visualização

Este produto ou funcionalidade está sujeito aos "Termos das Ofertas de Pré-DG" na secção Termos Gerais de Serviço dos Termos Específicos do Serviço. Os produtos e as funcionalidades pré-GA estão disponíveis "tal como estão" e podem ter apoio técnico limitado. Para mais informações, consulte as descrições das fases de lançamento.

Esta página mostra como usar restrições personalizadas do serviço de políticas da organização para restringir operações específicas nos seguintes Google Cloud recursos:

• aiplatform.googleapis.com/PipelineJob

Para saber mais sobre a política de organização, consulte o artigo Políticas de organização personalizadas.

Acerca das políticas e restrições da organização

O Google Cloud serviço de políticas da organização dá-lhe um controlo centralizado e programático sobre os recursos da sua organização. Enquanto administrador de políticas da organização, pode definir uma política da organização, que é um conjunto de restrições denominadas restrições que se aplicam aGoogle Cloud recursos e descendentes desses recursos na Google Cloud hierarquia de recursos. Pode aplicar políticas de organização ao nível da organização, da pasta ou do projeto.

A política da organização oferece restrições geridas incorporadas para vários serviços Google Cloud . No entanto, se quiser um controlo mais detalhado e personalizável sobre os campos específicos que estão restritos nas políticas da sua organização, também pode criar restrições personalizadas e usar essas restrições personalizadas numa política da organização.

Herança de políticas

Por predefinição, as políticas da organização são herdadas pelos descendentes dos recursos nos quais aplica a política. Por exemplo, se aplicar uma política a uma pasta, Google Cloud aplica a política a todos os projetos na pasta. Para saber mais acerca deste comportamento e como o alterar, consulte as regras de avaliação da hierarquia.

Vantagens

Pode usar uma política de organização personalizada para permitir ou recusar operações específicas em recursos do Vertex AI Pipelines. Por exemplo, se o URI do modelo especificado para criar um recurso PipelineJob não cumprir uma validação de restrição personalizada definida pela sua política organizacional, o pedido falha e é devolvido um erro ao autor da chamada.

Limitações

As políticas de organização personalizadas não são aplicadas em execuções de pipelines agendadas através da API Scheduler.

Antes de começar

1. Configure o seu projeto

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI, Compute Engine, and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Install the Google Cloud CLI.

Se estiver a usar um fornecedor de identidade (IdP) externo, tem primeiro de iniciar sessão na CLI gcloud com a sua identidade federada.

Para inicializar a CLI gcloud, execute o seguinte comando:

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI, Compute Engine, and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Install the Google Cloud CLI.

Se estiver a usar um fornecedor de identidade (IdP) externo, tem primeiro de iniciar sessão na CLI gcloud com a sua identidade federada.

Para inicializar a CLI gcloud, execute o seguinte comando:

gcloud init

1. Obtenha o ID do recurso da sua organização.
2. Defina e compile um pipeline que possa usar para testar a restrição personalizada.

Funções necessárias

Para receber as autorizações de que precisa para gerir políticas de organização, peça ao seu administrador que lhe conceda as seguintes funções do IAM:

• Para gerir políticas da organização: Administrador de políticas da organização (roles/orgpolicy.policyAdmin) no recurso da organização
• Criar ou atualizar um pipeline de ML: Administrador do Vertex AI (roles/aiplatform.admin) ou Utilizador do Vertex AI (roles/aiplatform.user) no recurso do projeto

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.

Crie uma restrição personalizada

Uma restrição personalizada é definida num ficheiro YAML pelos recursos, métodos, condições e ações suportados pelo serviço no qual está a aplicar a política da organização. As condições para as restrições personalizadas são definidas através do Idioma de expressão comum (IEC). Para mais informações sobre como criar condições em restrições personalizadas através da CEL, consulte a secção CEL do artigo Criar e gerir restrições personalizadas.

Para criar uma restrição personalizada, crie um ficheiro YAML com o seguinte formato:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- RESOURCE_NAME
methodTypes:
- CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Substitua o seguinte:

• ORGANIZATION_ID: o ID da sua organização, como 123456789.

• CONSTRAINT_NAME: o nome que quer para a nova restrição personalizada. Uma restrição personalizada tem de começar com custom. e só pode incluir letras maiúsculas, letras minúsculas ou números. Por exemplo, custom.denyPipelineTemplate. O comprimento máximo deste campo é de 70 carateres.

• RESOURCE_NAME: o nome totalmente qualificado do recurso que contém o objeto e o campo que quer restringir.Google Cloud Por exemplo, aiplatform.googleapis.com/PipelineJob/resource.templateUri.

• CONDITION: uma condição CEL escrita em função de uma representação de um recurso de serviço suportado. Este campo tem um comprimento máximo de 1000 carateres. Consulte o artigo Recursos suportados para mais informações sobre os recursos disponíveis para escrever condições. Por exemplo, "resource.templateUri.contains("test")".

• ACTION: a ação a tomar se a condição condition for cumprida. Os valores possíveis são ALLOW e DENY.

• DISPLAY_NAME: um nome simples para a restrição. Este campo tem um comprimento máximo de 200 carateres.

• DESCRIPTION: uma descrição acessível da restrição a apresentar como uma mensagem de erro quando a política é violada. Este campo tem um comprimento máximo de 2000 carateres.

Para mais informações sobre como criar uma restrição personalizada, consulte o artigo Definir restrições personalizadas.

Configure uma restrição personalizada

Depois de criar o ficheiro YAML para uma nova restrição personalizada, tem de o configurar para o disponibilizar para as políticas da organização na sua organização. Para configurar uma restrição personalizada, use o comando gcloud org-policies set-custom-constraint:

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

Substitua CONSTRAINT_PATH pelo caminho completo para o seu ficheiro de restrições personalizado. Por exemplo, /home/user/customconstraint.yaml. Após a conclusão, as restrições personalizadas ficam disponíveis como políticas da organização na sua lista de Google Cloud políticas da organização. Para verificar se a restrição personalizada existe, use o comando gcloud org-policies list-custom-constraints:

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

Substitua ORGANIZATION_ID pelo ID do recurso da sua organização. Para mais informações, consulte o artigo Ver políticas da organização.

Aplique uma política da organização personalizada

Pode aplicar uma restrição criando uma política da organização que a referencie e, em seguida, aplicando essa política da organização a um Google Cloud recurso.

Consola

1. Na Google Cloud consola, aceda à página Políticas de organização.

   Aceda às políticas da organização

2. No seletor de projetos, selecione o projeto para o qual quer definir a política de organização.
3. Na lista da página Políticas da organização, selecione a restrição para ver a página Detalhes da política dessa restrição.
4. Para configurar a política da organização para este recurso, clique em Gerir política.
5. Na página Editar política, selecione Substituir política do elemento principal.
6. Clique em Adicionar regra.
7. Na secção Aplicação, selecione se a aplicação desta política organizacional está ativada ou desativada.
8. Opcional: para tornar a política de organização condicional a uma etiqueta, clique em Adicionar condição. Tenha em atenção que, se adicionar uma regra condicional a uma política da organização, tem de adicionar, pelo menos, uma regra incondicional. Caso contrário, não é possível guardar a política. Para mais informações, consulte o artigo Definir uma política de organização com etiquetas.
9. Clique em Testar alterações para simular o efeito da política da organização. A simulação de políticas não está disponível para restrições geridas antigas. Para mais informações, consulte o artigo Teste as alterações à política da organização com o simulador de políticas.
10. Para concluir e aplicar a política da organização, clique em Definir política. A política demora até 15 minutos a entrar em vigor.

gcloud

Para criar uma política da organização com regras booleanas, crie um ficheiro YAML de política que faça referência à restrição:

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true
    

Substitua o seguinte:

• PROJECT_ID: o projeto no qual quer aplicar a restrição.
• CONSTRAINT_NAME: o nome que definiu para a restrição personalizada. Por exemplo, custom.denyPipelineTemplate.

Para aplicar a política da organização que contém a restrição, execute o seguinte comando:

    gcloud org-policies set-policy POLICY_PATH
    

Substitua POLICY_PATH pelo caminho completo para o ficheiro YAML da política da organização. A política demora até 15 minutos a entrar em vigor.

Teste a política da organização personalizada

O exemplo seguinte cria uma restrição e uma política personalizadas que não permitem que sejam criadas execuções de pipelines especificando um URI de modelo que contenha "test".

Antes de começar, tem de saber o seguinte:

• O ID da sua organização
• Um ID do projeto

Crie a restrição

1. Guarde o seguinte ficheiro como constraint-validate-pipeline-template-uri.yaml:

   name: organizations/ORGANIZATION_ID/customConstraints/custom.denyPipelineTemplate
   resourceTypes:
   - resource.templateUri
   methodTypes:
     - CREATE
     condition: "resource.templateUri.contains("test")"
     actionType: DENY
     displayName: Deny pipeline runs if the template URI contains 'test'
     description: Deny the creation of a new pipeline run if it's based on a template URI containing 'test'
   

   Isto define uma restrição em que o URI do modelo de pipeline não pode conter test.

   1. Aplique a restrição:

      gcloud org-policies set-custom-constraint ~/constraint-validate-pipeline-template-uri.yaml
      

   2. Verifique se a restrição existe:

      gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
      

      O resultado é semelhante ao seguinte:

      CUSTOM_CONSTRAINT                          ACTION_TYPE  METHOD_TYPES   RESOURCE_TYPES          DISPLAY_NAME
      custom.denyPipelineTemplate                DENY         CREATE         resource.templateUri    Deny pipeline runs if the template URI contains 'test'
      ...
      

Crie a política

1. Guarde o seguinte ficheiro como policy-validate-pipeline-template-uri.yaml:

     name: projects/PROJECT_ID/policies/custom.denyPipelineTemplate
     spec:
       rules:
       - enforce: true
   

   Substitua PROJECT_ID pelo ID do seu projeto.

2. Aplique a política:

     gcloud org-policies set-policy ~/policy-validate-pipeline-template-uri.yaml
   

3. Verifique se a política existe:

     gcloud org-policies list --project=PROJECT_ID
   

   O resultado é semelhante ao seguinte:

     CONSTRAINT                    LIST_POLICY    BOOLEAN_POLICY    ETAG
     custom.denyPipelineTemplate   -              SET               COCsm5QGENiXi2E=
   

   Depois de aplicar a política, aguarde cerca de dois minutos para que Google Cloud comece a aplicar a política.

Teste a política

Tente criar um pipeline de AA com o URI do modelo que contém test.

REST

Para criar um recurso PipelineJob, envie um pedido POST através do método pipelineJobs/create.

Antes de usar qualquer um dos dados do pedido, faça as seguintes substituições:

• LOCATION: a região onde quer criar a execução da pipeline. Para mais informações acerca das regiões onde o Vertex AI Pipelines está disponível, consulte o guia de localizações do Vertex AI Pipelines.
• PROJECT_ID: O Google Cloud projeto onde quer criar a execução do pipeline.
• DISPLAY_NAME: o nome da execução da pipeline. Isto é apresentado na Google Cloud consola.

Método HTTP e URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/pipelineJobs

Corpo JSON do pedido:

{
  "displayName":"DISPLAY_NAME",
  "templateUri":"test_pipeline_template.json"
}

Para enviar o seu pedido, escolha uma destas opções:

curl

Nota: O comando seguinte pressupõe que tem sessão iniciada na CLI gcloud com a sua conta de utilizador executando gcloud init ou gcloud auth login, ou usando o Cloud Shell, que inicia automaticamente sessão na CLI gcloud. Pode verificar a conta atualmente ativa executando o comando gcloud auth list.

Guarde o corpo do pedido num ficheiro com o nome request.json, e execute o seguinte comando:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/pipelineJobs"

PowerShell

Nota: O comando seguinte pressupõe que iniciou sessão na CLI do Google Cloud com a sua conta de utilizador executando gcloud init ou gcloud auth login .gcloud Pode verificar a conta atualmente ativa executando o comando gcloud auth list.

Guarde o corpo do pedido num ficheiro com o nome request.json, e execute o seguinte comando:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/pipelineJobs" | Select-Object -Expand Content

Deve receber uma resposta JSON semelhante à seguinte:

{
  "error": {
    "code": 400,
    "message": "Operation denied by org policy on resource 'projects/PROJECT_ID/locations/LOCATION': [\"customConstraints/custom.denyPipelineTemplate\": \"Deny the creation of a new pipeline run if it's based on a template URI containing 'test'\"]",
    "status": "FAILED_PRECONDITION",
    "details": [
      {
        "@type": "type.googleapis.com/google.rpc.ErrorInfo",
        "reason": "CUSTOM_ORG_POLICY_VIOLATION",
        "domain": "googleapis.com",
        "metadata": {
          "service": "aiplatform.googleapis.com",
          "customConstraints": "customConstraints/custom.denyPipelineTemplate"
        }
      }
    ]
  }
}

Recursos suportados do Vertex AI Pipelines

A tabela seguinte apresenta os recursos do Vertex AI Pipelines que pode referenciar em restrições personalizadas.

Recurso	Campo
aiplatform.googleapis.com/PipelineJob	resource.displayName
	resource.encryptionSpec.kmsKeyName
	resource.network
	resource.pipelineSpec
	resource.preflightValidations
	resource.pscInterfaceConfig.networkAttachment
	resource.reservedIpRanges
	resource.runtimeConfig.failurePolicy
	resource.runtimeConfig.gcsOutputDirectory
	resource.runtimeConfig.inputArtifacts[*].artifactId
	resource.runtimeConfig.parameterValues[*].boolValue
	resource.runtimeConfig.parameterValues[*].listValue.values
	resource.runtimeConfig.parameterValues[*].nullValue
	resource.runtimeConfig.parameterValues[*].numberValue
	resource.runtimeConfig.parameterValues[*].stringValue
	resource.runtimeConfig.parameterValues[*].structValue
	resource.serviceAccount
	resource.templateUri

O que se segue?

• Saiba mais sobre o serviço de políticas da organização.
• Saiba como criar e gerir políticas de organização.
• Veja a lista completa de restrições de políticas da organização geridas.