Esta página foi traduzida pela API Cloud Translation.

Pré-requisitos para migração gerenciada

Nesta página, mostramos como configurar seu projeto do Google Cloud e se preparar para um Migração gerenciada pelo metastore do Dataproc.

Antes de começar

Entenda como funciona a migração gerenciada.
Configure ou tenha acesso aos seguintes serviços:
- Um metastore do Dataproc configurado com o Spanner tipo de banco de dados.
- Uma instância de banco de dados do Cloud SQL para MySQL configurada com a API Private ou IP. Para a instância do Cloud SQL, verifique o seguinte:
  - A instância do Cloud SQL é configurada com uma rede VPC que usa as sub-redes necessárias.
  - A instância do Cloud SQL usa um esquema de banco de dados compatível com a versão do Hive Metastore executada no serviço Metastore do Dataproc, para onde os dados são copiados.
  - A instância do Cloud SQL contém os usuários apropriados para estabelecer conectividade entre o Datastream e o metastore do Dataproc o Dataproc Metastore e o Cloud SQL.

Papéis necessários

Para ter as permissões necessárias para criar um metastore do Dataproc e iniciar uma migração gerenciada, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para conceder acesso total a todos os recursos do metastore do Dataproc, incluindo a configuração de permissões do IAM: Administrador do metastore do Dataproc (roles/metastore.admin) na conta de usuário ou de serviço do Dataproc Metastore
Para conceder controle total dos recursos do metastore do Dataproc: Editor do metastore do Dataproc (roles/metastore.editor) na conta de usuário ou de serviço do Dataproc Metastore
Para conceder permissão para iniciar uma migração: Administrador de migração (roles/metastore.migrationAdmin) no agente de serviço do metastore do Dataproc no projeto de serviço

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Conceder papéis adicionais dependendo das configurações do projeto

Dependendo de como seu projeto está configurado, talvez seja necessário adicionar o seguinte outros papéis. Exemplos de como conceder esses papéis às contas adequadas são mostrados na seção pré-requisitos mais adiante nesta página.

Conceda o papel de Usuário de rede (roles/compute.networkUser) ao O agente de serviço do Dataproc Metastore e o [Agente de serviço de APIs do Google] no projeto de serviço.
Conceda o papel de administrador de rede (roles/compute.networkAdmin) ao agente de serviço do Datastream no projeto host.

Se a instância do Cloud SQL estiver em um projeto diferente do projeto de serviço do metastore do Dataproc:

Conceda o papel roles/cloudsql.client e o roles/cloudsql.instanceUser para o agente de serviço do Dataproc Metastore no projeto da instância do Cloud SQL.

Se o bucket do Cloud Storage para o pipeline de captura de dados de mudança estiver em um projeto diferente do seu projeto de serviço do Metastore do Dataproc:

Verifique se o agente de serviço do Datastream tem as permissões necessárias para gravar no bucket. Normalmente, são roles/storage.objectViewer, roles/storage.objectCreator e roles/storage.legacyBucketReader.

Pré-requisitos da migração gerenciada

O metastore do Dataproc usa proxies e um pipeline de captura de dados alterados para facilitar a transferência de dados. É importante entender como eles funcionam antes de iniciar uma transferência.

Termos-chave

Projeto de serviço: é o projeto do Google Cloud em que você criou o serviço do metastore do Dataproc.
Projeto host: um projeto host é o projeto do Google Cloud que contém as redes VPC compartilhada. É possível vincular um ou mais projetos de serviço para que o projeto host use essas redes compartilhadas. Para mais informações, consulte VPC compartilhada.

Ative a API Datastream no seu projeto de serviço.

Conceder o papel roles/metastore.migrationAdmin ao metastore do Dataproc Agente de serviço no seu projeto de serviço.

gcloud projects add-iam-policy-binding SERVICE_PROJECT --role "roles/metastore.migrationAdmin" --member "serviceAccount:service-SERVICE_PROJECT@gcp-sa-metastore.iam.gserviceaccount.com"

Adicione as seguintes regras de firewall.

Para estabelecer uma conexão entre o metastore do Dataproc e seu repositório IP do Google Cloud SQL.
- Uma regra de firewall para permitir o tráfego da sondagem de verificação de integridade para o balanceador de carga de rede do proxy SOCKS5. Exemplo:
```
gcloud compute firewall-rules create RULE_NAME --direction=INGRESS --priority=1000 --network=CLOUD_SQL_NETWORK--allow=tcp:1080 --source-ranges=35.191.0.0/16,130.211.0.0/22
```
  A porta 1080 é onde o servidor proxy SOCKS5 está em execução.
- Uma regra de firewall para permitir o tráfego do balanceador de carga para o MIG de proxy SOCKS5. Exemplo:
```
gcloud compute firewall-rules create RULE_NAME --direction=INGRESS --priority=1000 --network=CLOUD_SQL_NETWORK--action=ALLOW --rules=all --source-ranges=PROXY_SUBNET_RANGE
```
- Uma regra de firewall para permitir o tráfego do anexo de serviço do Private Service Connect para o balanceador de carga. Exemplo:
```
gcloud compute firewall-rules create RULE_NAME --direction=INGRESS --priority=1000 --network=CLOUD_SQL_NETWORK --allow=tcp:1080 --source-ranges=NAT_SUBNET_RANGE
```
Uma regra de firewall para permitir que o Datastream use o intervalo de IP CIDR /29 para criar uma conexão de IP particular. Exemplo:
```
gcloud compute firewall-rules create RULE_NAME --direction=INGRESS --priority=1000 --network=CLOUD_SQL_NETWORK --action=ALLOW --rules=all --source-ranges=CIDR_RANGE
```

(Opcional) Adicionar papéis à VPC compartilhada

Siga estas etapas se você usa uma VPC compartilhada.

Para mais detalhes sobre uma VPC compartilhada, consulte Administradores de projetos de serviço.

Conceder o papel roles/compute.networkUser ao metastore do Dataproc Agente de serviço e Agente de serviço de API do Google no projeto host.

gcloud projects add-iam-policy-binding HOST_PROJECT  --role "roles/compute.networkUser" --member "serviceAccount:service-SERVICE_ACCOUNT@gcp-sa-metastore.iam.gserviceaccount.com"
gcloud projects add-iam-policy-binding HOST_PROJECT  --role "roles/compute.networkUser" --member "serviceAccount:SERVICE_PROJECT@cloudservices.gserviceaccount.com"

Conceda o papel roles/compute.networkAdmin ao agente de serviço do Datastream no projeto host.

gcloud projects add-iam-policy-binding HOST_PROJECT --role "roles/compute.networkAdmin" --member "serviceAccount:service-SERVICE_PROJECT@gcp-sa-datastream.iam.gserviceaccount.com"

Se não for possível conceder o papel roles/compute.networkAdmin, crie um personalizado com as permissões listadas em VPC compartilhada pré-requisitos.

Essas permissões são necessárias no início da migração para estabelecer o peering entre a rede VPC no projeto host com o Datastream.
Esse papel pode ser removido assim que a migração for iniciada. Se você remover o papel antes da conclusão da migração, o Metastore do Dataproc não poderá limpar o job de peering. Nesse caso, você precisa limpar o job por conta própria.

A seguir

Usar a migração gerenciada