Executar uma instância de notebooks gerenciado em um cluster do Dataproc

Executar uma instância de notebooks gerenciado em um cluster do Dataproc

Os notebooks gerenciados do Vertex AI Workbench foram descontinuados. Em 30 de janeiro de 2025, o suporte a notebooks gerenciados será encerrado, e não será mais possível criar instâncias de notebooks gerenciados. As instâncias que já existem continuarão funcionando, mas patches, atualizações e upgrades não estarão disponíveis. Para continuar usando o Vertex AI Workbench, recomendamos que você migre suas instâncias de notebooks gerenciados para instâncias do Vertex AI Workbench.

Nesta página, mostramos como executar o arquivo de notebook de uma instância de notebooks gerenciado em um cluster do Dataproc.

Antes de começar

1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

2. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

3. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

4. Ative as APIs Notebooks and Dataproc.

   Ative as APIs

5. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

6. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

7. Ative as APIs Notebooks and Dataproc.

   Ative as APIs

8. Crie uma instância de notebook gerenciado se ainda não tiver feito isso.

Funções exigidas

Para garantir que a conta de serviço tenha as permissões necessárias para executar um arquivo de notebook em um cluster do Dataproc sem servidor, peça ao administrador para conceder à conta de serviço os seguintes papéis do IAM:

• Worker do Dataproc (roles/dataproc.worker) no seu projeto
• Editor do Dataproc (roles/dataproc.editor) no cluster para a permissão dataproc.clusters.use

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Esses papéis predefinidos contêm as permissões necessárias para executar um arquivo de notebook em um cluster do Dataproc sem servidor. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para executar um arquivo de notebook em um cluster do Dataproc sem servidor:

• dataproc.agents.create
• dataproc.agents.delete
• dataproc.agents.get
• dataproc.agents.update
• dataproc.tasks.lease
• dataproc.tasks.listInvalidatedLeases
• dataproc.tasks.reportStatus
• dataproc.clusters.use

O administrador também pode conceder à conta de serviço essas permissões com papéis personalizados ou outros papéis predefinidos.

Criar um cluster do Dataproc

Para executar o arquivo de notebook de uma instância de notebooks gerenciado em um cluster do Dataproc, o cluster precisa atender aos seguintes critérios:

• É necessário ativar o gateway do componente do cluster.

• O cluster precisa ter o componente Jupyter.

• O cluster precisa estar na mesma região que a instância de notebooks gerenciados.

Para criar o cluster do Dataproc, digite o comando a seguir no Cloud Shell ou em outro ambiente em que a CLI do Google Cloud esteja instalada.

gcloud dataproc clusters create CLUSTER_NAME\
    --region=REGION \
    --enable-component-gateway \
    --optional-components=JUPYTER

Substitua:

• REGION: o local do Google Cloud da instância de notebooks gerenciado

• CLUSTER_NAME: o nome do novo cluster.

Após alguns minutos, o cluster do Dataproc estará disponível para uso. Saiba mais sobre como criar clusters do Dataproc.

Abrir JupyterLab

1. Crie uma instância de notebook gerenciados na mesma região em que o cluster do Dataproc está, caso ainda não tenha feito isso.

2. No Console do Google Cloud, acesse a página Notebooks gerenciados.

   Acessar Notebooks gerenciados

3. Ao lado do nome da instância de notebooks gerenciados, clique em Abrir JupyterLab.

Executar um arquivo de notebook no cluster do Dataproc

É possível executar um arquivo de notebook no cluster do Dataproc em qualquer instância de notebooks gerenciados no mesmo projeto e região.

Executar um novo arquivo de notebook

1. Na interface do JupyterLab da instância de notebooks gerenciados, selecione Arquivo > Novo > Notebook.

2. Os kernels disponíveis do cluster do Dataproc aparecem no menu Selecionar kernel, selecione o kernel que você quer usar e clique em Selecionar.

   O novo arquivo do notebook será aberto.

3. Adicione o código ao novo arquivo do notebook e execute o código.

Para alterar o kernel que você quer usar depois de criar o arquivo de notebook, consulte a seção a seguir.

Executar um arquivo de notebook existente

1. Na interface do JupyterLab da instância de notebooks gerenciados, clique no botão  Navegador de arquivos, navegue até o arquivo de notebook que você quer executar e abra-o.

2. Para abrir a caixa de diálogo Select Kernel, clique no nome do kernel do arquivo do notebook. Por exemplo: Python (Local).

3. Para selecionar um kernel do cluster do Dataproc, selecione um nome do kernel que inclua o nome do cluster ao final. Por exemplo, um kernel do PySpark em um cluster do Dataproc chamado mycluster é chamado de PySpark em meucluster.

4. Clique em Selecionar para fechar a caixa de diálogo.

   Agora é possível executar o código do arquivo do notebook no cluster do Dataproc.

A seguir

• Saiba mais sobre o Dataproc.