Nesta página, descrevemos as contas de serviço e os escopos de acesso da VM, além de como eles são usados com o Dataproc.
O que são contas de serviço?
A conta de serviço é uma conta especial que pode ser usada por serviços e aplicativos executados em uma instância de máquina virtual (VM) do Compute Engine para interagir com outras APIs do Google Cloud. Os aplicativos podem usar as credenciais de conta de serviço para se autorizar em um conjunto de APIs e realizar ações na VM dentro das permissões concedidas à conta de serviço.
Contas de serviço do Dataproc
As contas de serviço a seguir recebem as permissões necessárias para executar ações do Dataproc no projeto em que o cluster está localizado.
Conta de serviço da VM do Dataproc: as VMs em um cluster do Dataproc usam essa conta de serviço para operações do plano de dados do Dataproc, como leitura e gravação de dados do e para o Cloud Storage e o BigQuery. Consulte Conta de serviço da VM do Dataproc (identidade do plano de dados). A conta de serviço padrão do Compute Engine,
[project-number]-compute@developer.gserviceaccount.com
, é usada como a conta de serviço da VM do Dataproc, a menos que você especifique uma conta de serviço de VM ao criar um cluster.O papel Dataproc Worker fornece à conta de serviço da VM as permissões mínimas necessárias para operar com o Dataproc. São necessários papéis extras para conceder permissões para ler e gravar dados nos recursos do Google Cloud, como o BigQuery.
Conta de serviço do agente de serviço do Dataproc: o Dataproc cria essa conta de serviço com o papel Agente de serviço do Dataproc em um Dataproc projeto do usuário do Google Cloud. Essa conta de serviço não pode ser substituída por uma conta de serviço de VM personalizada quando você cria um cluster. Essa conta de agente de serviço é usada para executar operações de plano de controle do Dataproc, como criação, atualização e exclusão de VMs do cluster (consulte Agente de serviço do Dataproc (identidade do plano de controle).
Por padrão, o Dataproc usa o
service-[project-number]@dataproc-accounts.iam.gserviceaccount.com
como a conta do agente de serviço. Se essa conta de serviço não tiver permissão, o Dataproc usará a conta do agente de serviço de APIs do Google,[project-number]@cloudservices.gserviceaccount.com
, para operações do plano de controle.
Rede VPS compartilhada: se o cluster usar uma rede VPC compartilhada, um Administrador de VPC compartilhada precisará conceder a ambas as contas de serviço acima o papel de Usuário de rede para o projeto host da VPC compartilhada. Veja mais informações em:
- Criar um cluster que use uma rede VPC em outro projeto
- Documentação de VPC compartilhada: como configurar contas de serviço como administradores de projeto de serviço
Escopos de acesso à VM do Dataproc
Os escopos de acesso à VM e os papéis do IAM funcionam juntos para limitar o acesso da VM às APIs do
Google Cloud. Por exemplo, se as VMs de cluster receberem apenas o escopo https://www.googleapis.com/auth/storage-full
, os aplicativos em execução nas VMs de cluster poderão chamar as APIs do Cloud Storage. No entanto, não será possível fazer solicitações ao BigQuery, mesmo que estejam sendo executados como uma conta de serviço de VM que recebeu um papel do BigQuery com permissões amplas.
Uma prática recomendada
é conceder o amplo escopo cloud-platform
(https://www.googleapis.com/auth/cloud-platform
)
às VMs e limitar o acesso à VM concedendo
papéis do IAM específicos à conta de serviço da VM.
Escopos da VM padrão do Dataproc. Se os escopos não forem especificados na criação de um cluster (consulte gcloud dataproc cluster create --scopes), as VMs do Dataproc terão o seguinte conjunto padrão de escopos:
https://www.googleapis.com/auth/cloud-platform (clusters created with image version 2.1+
).
https://www.googleapis.com/auth/bigquery
https://www.googleapis.com/auth/bigtable.admin.table
https://www.googleapis.com/auth/bigtable.data
https://www.googleapis.com/auth/cloud.useraccounts.readonly
https://www.googleapis.com/auth/devstorage.full_control
https://www.googleapis.com/auth/devstorage.read_write
https://www.googleapis.com/auth/logging.write
Se você especificar escopos ao criar um cluster, as VMs do cluster terão os escopos especificadose o seguinte conjunto mínimo de escopos obrigatórios (mesmo que você não os especifique):
https://www.googleapis.com/auth/cloud-platform (clusters created with image version 2.1+
).
https://www.googleapis.com/auth/cloud.useraccounts.readonly
https://www.googleapis.com/auth/devstorage.read_write
https://www.googleapis.com/auth/logging.write
Criar um cluster com uma conta de serviço de VM personalizada
Ao criar um cluster, é possível especificar uma conta de serviço de VM personalizada que ele usará para operações do plano de dados do Dataproc, em vez da conta de serviço de VM padrão. Não é possível alterar a conta de serviço de VM após a criação do cluster. Usar uma conta de serviço de VM com papéis do IAM atribuídos permite que você forneça ao cluster acesso refinado aos recursos do projeto.
Etapas preliminares
Crie a conta de serviço de VM personalizada no projeto em que o cluster será criado.
Conceda à conta de serviço da VM personalizada o papel Trabalho do Dataproc no projeto e os papéis adicionais necessários para os jobs, como os papéis de Leitor e gravador do BigQuery. Consulte Permissões do Dataproc e papéis do IAM.
Exemplo da CLI gcloud:
- O exemplo de comando a seguir concede à conta de serviço de VM personalizada no projeto de cluster o papel de worker do Dataproc para envolvidos no projeto:
gcloud projects add-iam-policy-binding CLUSTER_PROJECT_ID \ --member=serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com \ --role="roles/dataproc.worker"
- Considere um papel personalizado: em vez de conceder à conta de serviço o papel predefinido
Worker
do Dataproc, conceda à conta de serviço um papel personalizado que contenha permissões de papel de worker, mas limite as permissõesstorage.objects.*
.- O papel personalizado precisa conceder pelo menos as permissões
storage.objects.create
,storage.objects.get
estorage.objects.update
à conta de serviço da VM nos objetos nos buckets temporários de preparação e no Dataproc e em quaisquer buckets adicionais necessários para os jobs que serão executados no cluster.
- O papel personalizado precisa conceder pelo menos as permissões
Crie o cluster
- Crie o cluster no projeto.
Comando gcloud
Use o comando gcloud dataproc clusters create para criar um cluster com a conta de serviço de VM personalizada.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com \ --scopes=SCOPE
Substitua:
- CLUSTER_NAME: o nome do cluster, que precisa ser exclusivo em um projeto. O nome precisa começar com uma letra minúscula e pode conter até 51 letras minúsculas, números e hifens. Ele não pode terminar com hífen. O nome de um cluster excluído pode ser reutilizado.
- REGION: a região em que o cluster estará localizado.
- SERVICE_ACCOUNT_NAME: o nome da conta de serviço.
- PROJECT_ID: o ID do projeto do Google Cloud que contém sua conta de serviço de VM. Esse será o ID do projeto em que o cluster será criado ou o ID de outro projeto se você estiver criando um cluster com uma conta de serviço de VM personalizada em outro cluster.
- SCOPE: escopos de acesso para instâncias de VM do cluster (por exemplo,
https://www.googleapis.com/auth/cloud-platform
).
API REST
Ao preencher
GceClusterConfig
como parte da solicitação de API
clusters.create
, defina os seguintes campos:
serviceAccount
: a conta de serviço estará localizada no projeto em que o cluster será criado, a menos que você esteja usando uma conta de serviço de VM de um projeto diferente.serviceAccountScopes
: especifique os escopos de acesso para instâncias de VM do cluster (por exemplo,https://www.googleapis.com/auth/cloud-platform
).
Console
Não há suporte para a configuração de uma conta de serviço de VM do Dataproc no console do Google Cloud. Para definir o escopo de acesso cloud-platform
nas VMs de um cluster, ao criá-lo, clique em "Ativa o escopo da plataforma de nuvem para este cluster" na seção Acesso ao projeto do painel Gerenciar segurança na página Criar um cluster do Dataproc no console do Google Cloud.
Criar um cluster com uma conta de serviço de VM personalizada de outro projeto
Ao criar um cluster, é possível especificar uma conta de serviço de VM personalizada que ele usará para operações do plano de dados do Dataproc, em vez de usar a conta de serviço de VM padrão. Não é possível especificar uma conta de serviço de VM personalizada após a criação do cluster. O uso de uma conta de serviço de VM personalizada com papéis do IAM atribuídos permite que você forneça ao cluster um acesso refinado aos recursos do projeto.
Etapas preliminares
No projeto da conta de serviço (o projeto em que a conta de serviço da VM personalizada está localizada):
Ative a Dataproc API.
Conceda à sua conta de e-mail (o usuário que está criando o cluster) o papel Usuário da conta de serviço no projeto da conta de serviço ou, para um controle mais granular, na conta de serviço da VM personalizada no projeto da conta de serviço.
Para mais informações: consulte Gerenciar o acesso a projetos, pastas e organizações para conceder papéis no nível do projeto e Gerenciar acesso a contas de serviço para conceder papéis no nível da conta de serviço.
Exemplos da CLI gcloud:
- O comando de amostra a seguir concede ao usuário o papel de usuário da conta de serviço no nível do projeto:
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=USER_EMAIL \ --role="roles/iam.serviceAccountUser"
Observações:
USER_EMAIL
: forneça o endereço de e-mail da sua conta de usuário no formato:user:user-name@example.com
.- O comando de amostra a seguir concede ao usuário o papel de usuário da conta de serviço no nível da conta de serviço:
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=USER_EMAIL \ --role="roles/iam.serviceAccountUser"
Observações:
USER_EMAIL
: forneça o endereço de e-mail da sua conta de usuário no formato:user:user-name@example.com
.Conceda à conta de serviço da VM personalizada o papel Dataproc Worker no projeto do cluster.
Exemplo da CLI gcloud:
gcloud projects add-iam-policy-binding CLUSTER_PROJECT_ID \ --member=serviceAccount:SERVICE_ACCOUNT_NAME@SERVICE_ACCOUNT_PROJECT_ID.iam.gserviceaccount.com \ --role="roles/dataproc.worker"
Conceda à conta de serviço do agente de serviço do Dataproc no projeto de cluster os papéis de Usuário da conta de serviço e Criador de token da conta de serviço no projeto da conta de serviço ou, para um controle mais granular, na conta de serviço de VM personalizada no projeto da conta de serviço. Ao fazer isso, você permite que a conta de serviço do agente de serviço do Dataproc no projeto do cluster crie tokens para a conta de serviço da VM do Dataproc personalizada no projeto da conta de serviço.
Para mais informações: consulte Gerenciar o acesso a projetos, pastas e organizações para conceder papéis no nível do projeto e Gerenciar acesso a contas de serviço para conceder papéis no nível da conta de serviço.
Exemplos da CLI gcloud:
- Os comandos de exemplo a seguir concedem à conta de serviço do agente de serviço do Dataproc no projeto de cluster os papéis de usuário da conta de serviço e de criador de tokens da conta de serviço no nível do projeto:
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountUser"
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
- Os comandos de exemplo a seguir concedem à conta de serviço do agente de serviço do Dataproc no projeto de cluster os papéis de usuário da conta de serviço e de criador de token da conta de serviço no nível da conta de serviço da VM:
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountUser"
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
Conceda à conta de serviço do agente de serviço do Compute Engine no projeto de cluster o papel de Criador de token da conta de serviço no projeto da conta de serviço ou, para um controle mais granular, na conta de serviço de VM personalizada no projeto da conta de serviço. Ao fazer isso, você concede à conta de serviço do agente de serviço do agente do Compute no projeto de cluster a capacidade de criar tokens para a conta de serviço da VM do Dataproc personalizada no projeto da conta de serviço.
Para mais informações: consulte Gerenciar o acesso a projetos, pastas e organizações para conceder papéis no nível do projeto e Gerenciar acesso a contas de serviço para conceder papéis no nível da conta de serviço.
Exemplos da CLI gcloud:
- O comando de amostra a seguir concede à conta de serviço do agente de serviço do Compute Engine no projeto de cluster o papel de criador de token da conta de serviço no nível do projeto:
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@compute-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
- O comando de amostra a seguir concede à conta de serviço do agente de serviço do Compute Engine no projeto de cluster o papel de criador de token da conta de serviço no nível da conta de serviço da VM:
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@compute-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
Crie o cluster
A seguir
- Contas de serviço
- Permissões do Dataproc e papéis do IAM
- Papéis e funções do Dataproc
- Multilocação segura com base na conta de serviço do Dataproc
- Autenticação de cluster pessoal do Dataproc
- IAM granular do Dataproc