Nesta página, mostramos como usar um modelo inline do Google APIs Explorer para chamar a API Dataproc e criar um job simples do Spark no cluster. Ela também mostra como usar o modelo do APIs Explorer para chamar a API Dataproc e atualizar um cluster.
Você pode descobrir como criar um cluster usando o Console do Google Cloud no Guia de início rápido sobre como usar o Console, usando a linha de comando no Guia de início rápido sobre como usar a ferramenta de linha de comando gcloud e programaticamente usando as bibliotecas de cliente do Cloud.
Antes de começar
-
Faça login na sua conta do Google.
Se você ainda não tiver uma, inscreva-se.
-
No Console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.
-
Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como confirmar se o faturamento está ativado para o projeto.
- Ative a API Dataproc.
Crie um cluster
Antes de executar jobs do Dataproc, é necessário criar um cluster de máquinas virtuais em que eles serão executados. Para criar um cluster do Dataproc no seu projeto, preencha e execute o modelo do APIs Explorer, da seguinte maneira:
- Insira o ID do projeto (nome do projeto) no campo
projectID
. - No campo
config.gceClusterConfig.zoneUri
do corpo da solicitação, substitua o marcador "[project-id]" pelo ID do projeto (nome do projeto). Por exemplo, se o ID do projeto for "my-project-12345", o campozoneUri
completo será assim:
https://www.googleapis.com/compute/v1/projects/my-project-12345/zones/us-central1-a
Também é possível substituir a zonaus-central1-a
pelo nome de outra zona. Consulte Regiões e zonas disponíveis. A zona escolhida para o cluster precisa ser compatível com a região selecionada para ele. Consulte o próximo item sobre como escolher uma região. A regiãoglobal
aceita todas as zonas. Os campos a seguir são preenchidos automaticamente:
region
= a regiãoglobal
é um endpoint de várias regiões especial capaz de implantar instâncias em qualquer zona do Compute Engine especificada pelo usuário. Também especifique regiões distintas, comous-east1
oueurope-west1
, para isolar recursos, inclusive instâncias de VM e do Cloud Storage, e locais para armazenamento de metadados utilizados pelo Cloud Dataproc dentro da região especificada pelo usuário. Consulte Endpoints regionais para saber mais sobre a diferença entre os endpoints globais e regionais. Consulte informações sobre a seleção de uma região em Regiões e zonas disponíveis. Você também pode executar o comandogcloud compute regions list
para ver uma lista de regiões disponíveis.- Corpo da solicitação
clusterName
= "example-cluster". Esse é o nome do cluster do Dataproc que será criado. Use esse nome para interagir com o cluster, por exemplo, durante o envio de jobs ou a exclusão do cluster.
Clique em EXECUTAR. Uma caixa de diálogo solicitará que você confirme o escopo
https://www.googleapis.com/auth/cloud-platform
padrão. Clique em PERMITIR para enviar a solicitação ao serviço. Depois de menos de um segundo (em geral), a resposta de JSON mostrando que o cluster de exemplo está pendente é exibida abaixo do modelo.
Para confirmar se o cluster foi criado, acesse Console do Cloud: clusters.
Parabéns! Você usou o APIs Explorer do Google para criar um cluster.