Como criar uma instância privada

Nesta página, descrevemos como criar uma instância do Cloud Data Fusion com um endereço IP particular. Você cria sua instância particular do Cloud Data Fusion em uma rede VPC ou VPC compartilhada.

A criação de uma instância de IP particular do Cloud Data Fusion oferece os seguintes benefícios:

  • As conexões com a instância do Cloud Data Fusion são estabelecidas em uma rede VPC particular no projeto do Google Cloud. O tráfego nessa rede não passa pela Internet pública.

  • A instância pode se conectar aos recursos locais, como bancos de dados relacionais, conectando sua rede local à rede VPC particular do Google Cloud por meio do Cloud VPN ou do Cloud Interconnect. . Você acessa com segurança seus recursos locais, como bancos de dados, pela rede particular sem abrir o acesso ao Google Cloud.

Configurar a rede VPC

Se você ainda não tiver feito isso, crie uma rede VPC ou uma rede VPC compartilhada.

Nesta seção, mostramos como ativar o Acesso privado do Google e alocar um intervalo de IP, ambos necessários para configurar sua rede VPC.

Ative o Acesso privado do Google

A região em que você cria sua instância particular do Cloud Data Fusion precisa ter uma sub-rede com o Acesso privado do Google ativado.

Para ativar o Acesso privado do Google para sua sub-rede, siga estas etapas:

  1. Acesse a página "Redes VPC" no Console do Google Cloud.

    Acessar a página "Redes VPC"

  2. Na coluna Região, encontre a região em que você quer criar sua instância particular do Cloud Data Fusion. Clique na sub-rede dessa região.

  3. Clique em Edit.

  4. Em Acesso privado do Google, selecione Ativado.

  5. Clique em Save.

    image

Aloque um intervalo de IP

Essas etapas mostram como alocar um intervalo IP para sua instância do Cloud Data Fusion. O pipeline é executado em um cluster do Dataproc, que usa um intervalo de IP diferente daquele alocado na sua instância do Cloud Data Fusion.

Siga estas etapas somente se estiver usando uma rede VPC compartilhada. Se você não estiver usando uma rede VPC compartilhada, o Cloud Data Fusion alocará um intervalo de IP automaticamente ao criar a instância. Se você não estiver usando uma rede VPC compartilhada, pule esta seção e acesse Criar uma instância particular.

Para alocar um intervalo de IP à sua instância do Cloud Data Fusion, siga estas etapas:

  1. Acesse a página Redes VPC no Console do Cloud.

    Acessar redes VPC

  2. Em Nome, clique na rede VPC em que você quer criar uma instância particular do Cloud Data Fusion.

  3. Na página Detalhes da rede VPC, clique na guia Conexão de serviço particular. Se solicitado, ative a API Service Networking clicando em Ativar API.

    image

  4. Clique em Alocar intervalo de IP.

    1. Dê um nome ao intervalo de IP.

    2. Em Intervalo de IP, selecione Automático.

    3. Especifique um tamanho de prefixo de 22.

    4. Clique em Alocar.

      image

Criar uma instância particular

Crie uma instância particular do Cloud Data Fusion em uma rede VPC ou em uma rede VPC compartilhada. Para criar a instância em uma rede VPC, use o Console do Cloud ou o cURL. Para criar sua instância em uma rede VPC compartilhada, use o cURL.

Criar uma instância particular em uma rede VPC

Se você usar o Console do Cloud para criar sua instância particular, o Cloud Data Fusion alocará automaticamente o intervalo de endereços IP /22 para você. Se você preferir fornecer uma alocação de IP explícita de sua escolha, use o comando cURL.

Console

Se a API estiver ativada, uma página de Instâncias será exibida na seção "Cloud Data Fusion" do Console do Cloud. Assim, é possível gerenciar as instâncias dessa solução. Se não houver instâncias, a página terá um link para criar a instância, assim como alguns links úteis para documentação e amostras.

  1. Acesse a página Criar instância no Console do Cloud.

    Acessar "Criar instância"

  2. Insira um Nome de instância.

  3. Insira uma Descrição para sua instância.

  4. Selecione a Região em que a instância será criada, a região para que você ativou o Acesso privado do Google

  5. Especifique a versão do Cloud Data Fusion de sua preferência.

  6. Selecione a Edição do Cloud Data Fusion que você quer.

  7. No Cloud Data Fusion versão 6.2.3 e posteriores, especifique a conta de serviço do Dataproc a ser usada para executar seu pipeline do Cloud Data Fusion no Dataproc. A IU pré-seleciona a conta padrão do Compute Engine. Independentemente da versão, verifique se a conta de serviço tem papéis apropriados do Identity and Access Management que atendam a suas necessidades. Para mais informações, consulte Como conceder permissão ao usuário da conta de serviço.

  8. Clique em Advanced Options. Em IP privado, selecione Ativar IP privado.

  9. Em Rede associada, selecione uma rede em que a instância particular será criada.

  10. Clique em Criar O processo de criação da instância leva até 30 minutos para ser concluído.

cURL

Para sua conveniência, é possível exportar as seguintes variáveis ou substituir esses valores diretamente nos comandos abaixo.

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Para criar uma instância do Cloud Data Fusion com a API REST, envie a seguinte solicitação de API create.

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=instance_id -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "network", "ipAllocation": "ip_range"}}'
Parâmetro Descrição
instance_id Forneça um ID para sua instância.
network O nome da rede VPC em que você quer criar a instância particular.
ip_range O intervalo de IP alocado. Encontre o intervalo de IP na página "Detalhes da rede VPC" do Console do Cloud, na guia Conexão de serviço privado, em Intervalo de IP interno.

Criar uma instância particular em uma rede VPC compartilhada

Para sua conveniência, é possível exportar as seguintes variáveis. Um alternativa é substituir esses valores diretamente nos comandos abaixo.

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Para criar uma instância do Cloud Data Fusion com a API REST, envie a seguinte solicitação de API create.

  curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instanceId=instance_id -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "projects/shared_vpc_host_project_id/global/networks/network", "ipAllocation": "ip_range"}}'
  

Parâmetro Descrição
instance_id Forneça um ID para sua instância.
shared_vpc_host_project_id O ID do projeto que está hospedando a rede VPC compartilhada.
network O nome da rede VPC em que você quer criar a instância particular.
ip_range O intervalo de IP alocado. Encontre seu intervalo de IP na página de detalhes da rede VPC no Console do Cloud, na guia Conexão de serviço particular, em Intervalo de IP interno.

Configurar o peering de rede VPC

O Cloud Data Fusion usa o peering de rede VPC para estabelecer a conectividade de rede com sua rede VPC. Isso permite que o Cloud Data Fusion acesse recursos na sua rede por meio de endereços IP particulares.

Nesta seção, mostramos como criar uma configuração de peering entre sua rede e a rede do projeto de locatário do Cloud Data Fusion.

Encontrar o ID do projeto de locatário

Para criar uma configuração de peering, você precisa do ID do projeto de locatário.

  1. Acesse a página Instâncias do Cloud Data Fusion no Console do Cloud.

    Acessar "Instâncias"

  2. Em Nome da instância, selecione a instância.

  3. Na página Detalhes da instância, copie o valor da Conta de serviço da instância. O ID do projeto do locatário é a parte entre o símbolo "at" (@) e o ponto seguinte (.). Por exemplo, se o valor da conta de serviço for
    cloud-datafusion-management-sa@r8170c9b5e7699803-tp.iam.gserviceaccount.com
    , o ID do projeto de locatário será r8170c9b5e7699803-tp.

    image

Criar uma conexão de peering

  1. Acesse a página Peering de redes VPC no Console do Cloud.

    Acessar o peering de rede VPC

  2. Clique em Criar conexão de peering.

  3. Clique em Continuar.

  4. Digite um Nome para a conexão de peering.

  5. Em Sua rede VPC, selecione a rede em que você criou a instância do Cloud Data Fusion.

  6. Em Rede VPC com peering, selecione Em outro projeto.

  7. Em ID do projeto, digite o ID do projeto de locatário que você encontrou anteriormente neste tutorial.

  8. Em Nome da rede VPC, digite instance_region - instance_id.

    • instance_region é a região em que você criou a instância do Cloud Data Fusion.
    • instance_id é o ID da instância do Cloud Data Fusion.
  9. Clique em Trocar rotas personalizadas. Selecione Exportar rotas personalizadas. Isso permite trocar todas as rotas personalizadas definidas na sua rede VPC com a rede VPC de locatário.

  10. Clique em Criar

    image

Configurar permissões do IAM

Siga estas etapas somente se estiver usando uma rede VPC compartilhada. Se você não estiver usando uma rede VPC compartilhada, pule esta seção e acesse Criar uma regra de firewall.

Se criar sua instância do Cloud Data Fusion em uma rede VPC compartilhada, você precisará conceder ao papel Usuário de rede do Compute no projeto host da VPC compartilhada acesso às seguintes contas de serviço:

  • Conta de serviço do Cloud Data Fusion: service-project-number@gcp-sa-datafusion.iam.gserviceaccount.com
  • Conta de serviço do Dataproc: service-project-number@dataproc-accounts.iam.gserviceaccount.com

project-number é o número do projeto do Console do Cloud a que a instância do Cloud Data Fusion pertence.

Siga estas etapas para conceder acesso às contas de serviço necessárias.

Criar regra de firewall

Crie uma regra de firewall na rede VPC que permita conexões SSH de entrada do intervalo de IP especificado quando você criou a instância particular do Cloud Data Fusion.

É possível criar a regra de firewall usando o Console do Cloud ou o gcloud. Para usar gcloud, execute o seguinte comando:

  gcloud compute firewall-rules create name-allow-ssh --allow=tcp:22 --source-ranges=ip_range --network=network --project=project
  

Parâmetro Descrição
name Nome da regra de firewall a ser criada.
ip_range O intervalo de IP alocado. Encontre seu intervalo de IP na página de detalhes da rede VPC no Console do Cloud, na guia Conexão de serviço particular, em Intervalo de IP interno.
network A rede à que esta regra está anexada. O nome da rede VPC em que você criou a instância particular.
project O ID do projeto que está hospedando a rede VPC.


Sua instância particular do Cloud Data Fusion está pronta para ser usada.

A seguir