Orquestrar notebooks
Para enviar feedback sobre a orquestração de notebooks, envie um e-mail para bigquery-notebooks-scheduling-support@google.com.
Neste documento, descrevemos como orquestrar notebooks do Colab Enterprise no BigQuery, incluindo como programar notebooks e inspecionar execuções de notebooks programados.
Os notebooks são recursos de código com tecnologia do Dataform.
É possível programar um notebook para ser executado automaticamente em um horário e frequência especificados, por exemplo, para treinar um modelo de ML, chamar APIs externas ou executar o código do DataFrames do BigQuery.
As mudanças feitas em um notebook são salvas automaticamente, mas ficam disponíveis apenas para você e para os usuários que têm acesso ao notebook. Para atualizar a programação com uma nova versão do notebook, é necessário implantar o notebook. Ao implantar um notebook, você atualiza a programação dele com a versão atual. Os agendamentos executam a versão implantada mais recente do notebook.
Cada programação de notebook é executada por uma conta de serviço personalizada do Dataform, que você seleciona durante a criação da programação. Para mais informações sobre os tipos de contas de serviço no Dataform, consulte Sobre as contas de serviço no Dataform.
O Dataform grava a saída das execuções de notebooks programadas no bucket do Cloud Storage selecionado durante a criação da programação.
As programações de notebooks usam um ambiente de execução padrão do E2. As cobranças do Colab Enterprise para ambientes de execução são válidas. A cobrança é feita pelo processamento de execução com base no tipo de máquina E2. Para informações sobre os preços dos ambientes de execução E2 padrão, consulte Preços do Colab Enterprise.
Antes de começar
Antes de começar, crie um notebook.
Ativar a programação do notebook
Para programar notebooks, é necessário conceder os seguintes papéis à conta de serviço personalizada do Dataform que você planeja usar para as programações de notebooks:
- Usuário Executor do notebook (
roles/aiplatform.notebookExecutorUser) - Siga Conceder um único papel em um projeto para conceder o papel de usuário de executor de notebooks à sua conta de serviço do Dataform personalizada no projeto selecionado.
- Administrador do Storage (
roles/storage.admin) - Siga as instruções em Adicionar um principal a uma política no nível do bucket para adicionar a conta de serviço personalizada do Dataform como um principal ao bucket do Cloud Storage que você planeja usar para armazenar a saída de execuções de notebooks programadas e conceda o papel de administrador do Storage a esse principal.
- Usuário da conta de serviço (
roles/iam.serviceAccountUser) - Siga Conceder uma única função em uma conta de serviço para adicionar a conta de serviço personalizada do Dataform como principal a si mesma. Em outras palavras, adicione a conta de serviço personalizada do Dataform como principal à mesma conta de serviço personalizada do Dataform. Em seguida, conceda o papel de usuário da conta de serviço a esse principal.
Além disso, é necessário conceder o seguinte papel à conta de serviço padrão do Dataform:
- Criador do token da conta de serviço (
roles/iam.serviceAccountTokenCreator) - Siga as instruções em Conceder acesso à criação de tokens a uma conta de serviço personalizada do Dataform para adicionar a conta de serviço padrão do Dataform como principal à sua conta de serviço personalizada e conceder o papel "Criador de token da conta de serviço" a esse principal.
Para saber mais sobre contas de serviço no Dataform, consulte Sobre as contas de serviço no Dataform.
Permissões necessárias
Para criar programações de notebooks, você precisa dos seguintes papéis:
- Administrador do Dataform (
roles/dataform.admin) - Usuário de sessão de leitura do BigQuery (
roles/bigquery.readSessionUser) ou Usuário do BigQuery Studio (roles/bigquery.studioUser)
Para editar e excluir programações de notebooks (pré-lançamento), você precisa do papel de
Editor do Dataform (roles/dataform.editor).
Para conferir as programações de notebooks (Visualização), você precisa do papel de Visualizador de formulários de dados (roles/dataform.viewer).
Para mais informações sobre o IAM do BigQuery, consulte Controle de acesso com o IAM.
Criar uma programação
Para programar um notebook, siga estas etapas:
No console do Google Cloud, acesse a página do BigQuery.
No painel Explorer, expanda seu projeto e a pasta Notebooks e, se necessário, a pasta Notebooks compartilhados. Clique no nome do notebook que você quer transferir por programação.
Clique em Programar.
No painel Notebook da programação, no campo Nome da programação, insira um nome para a programação.
No campo Modelo de execução, selecione um ambiente de execução.
No campo Conta de serviço, selecione uma conta de serviço personalizada do Dataform.
No campo Bucket do Cloud Storage, clique em Procurar e selecione ou crie um bucket do Cloud Storage.
A conta de serviço personalizada do Dataform selecionada precisa receber o papel do IAM "Administrador de armazenamento" no bucket selecionado. Para mais informações, consulte Ativar a programação de notebooks.
Na seção Frequência de programação, realize estas ações:
- No menu suspenso Repetições, selecione a frequência de execução do bloco de notas programado.
- No campo Em horário, insira o horário das execuções programadas do notebook.
- No menu suspenso Fuso horário, selecione o fuso horário da programação.
Clique em Criar programação.
Quando você cria a programação, a versão atual do notebook é implantada automaticamente. Para atualizar a programação com uma nova versão do notebook, implante o notebook.
A versão mais recente implantada do notebook é executada no horário e na frequência selecionados.
Implantar um notebook
A implantação de um notebook atualiza a programação com a versão atual dele. Os agendamentos executam a versão implantada mais recente do notebook.
Para implantar um notebook, siga estas etapas:
No console do Google Cloud, acesse a página do BigQuery.
No painel Explorer, expanda seu projeto e a pasta Notebooks e, se necessário, a pasta Notebooks compartilhados. Clique no nome do notebook selecionado.
Clique em Implantar.
A programação correspondente é atualizada com a versão atual do notebook. A versão mais recente implantada do notebook é executada no horário programado.
Executar manualmente um notebook implantado
Quando você executa manualmente um notebook implantado em uma programação selecionada, o BigQuery executa o notebook implantado uma vez, independente da programação.
Para executar manualmente um notebook implantado, siga estas etapas:
No console do Google Cloud, acesse a página Orquestração.
Clique no nome da programação do notebook selecionada.
Na página de detalhes da programação, clique em Executar.
Conferir todas as programações
Para conferir todas as programações de notebooks no projeto, siga estas etapas:
No console do Google Cloud, acesse a página Orquestração.
Opcional: para mostrar outras colunas com detalhes da programação do notebook, clique em Opções de exibição de colunas, selecione as colunas e clique em OK.
Conferir detalhes da programação
É possível conferir os detalhes de uma programação selecionada no painel Explorer ou na página Orchestration.
Para conferir os detalhes da programação de um notebook selecionado, siga estas etapas:
Painel Explorer
No console do Google Cloud, acesse a página do BigQuery.
No painel Explorer, abra seu projeto e a pasta Notebooks e, se necessário, a pasta Notebooks compartilhados. Clique no nome do notebook selecionado.
Clique em Ver programação.
Página Orquestração
No console do Google Cloud, acesse a página Orquestração.
Clique no nome da programação do notebook selecionada.
Exibir execuções antigas
É possível conferir as execuções anteriores de uma programação de notebook selecionada no painel Explorer ou na página Orchestration.
Para conferir as execuções anteriores de uma programação de notebook selecionada, siga estas etapas:
Painel Explorer
No console do Google Cloud, acesse a página do BigQuery.
No painel Explorer, abra seu projeto e a pasta Notebooks e, se necessário, a pasta Notebooks compartilhados. Clique no nome do notebook selecionado.
Clique em Ver programação e em Ver execuções anteriores.
Página Orquestração
No console do Google Cloud, acesse a página Orquestração.
Clique no nome da programação do notebook selecionada.
Na página Detalhes da programação, na seção Execuções anteriores, inspecione as execuções anteriores.
Opcional: para atualizar a lista de execuções anteriores, clique em Atualizar.
Desativar uma programação
Para pausar as execuções programadas de um notebook selecionado sem excluir a programação, desative a programação.
Para desativar uma programação de um notebook selecionado, siga estas etapas:
No console do Google Cloud, acesse a página do BigQuery.
No painel Explorer, expanda seu projeto e a pasta Notebooks e, se necessário, a pasta Notebooks compartilhados. Clique no nome do notebook selecionado.
Clique em Ver programação.
Na tabela de detalhes da programação, na linha Estado da programação, clique no botão A programação está ativada.
Ativar uma programação
Para retomar as execuções programadas de uma programação desativada, siga estas etapas:
No console do Google Cloud, acesse a página do BigQuery.
No painel Explorer, expanda seu projeto e a pasta Notebooks e, se necessário, a pasta Notebooks compartilhados. Clique no nome do notebook selecionado.
Clique em Ver programação.
Na tabela de detalhes da programação, na linha Estado da programação, clique no botão A programação está desativada.
Editar uma programação
É possível editar uma programação no painel Explorer ou na página Orchestration.
Para editar uma programação, siga estas etapas:
Painel Explorer
No console do Google Cloud, acesse a página do BigQuery.
No painel Explorer, abra seu projeto e a pasta Notebooks e, se necessário, a pasta Notebooks compartilhados. Clique no nome do notebook selecionado.
Clique em Ver programação e em Editar.
Na caixa de diálogo Programar notebook, edite a programação e clique em Atualizar programação.
Página Orquestração
No console do Google Cloud, acesse a página Orquestração.
Clique no nome da programação do notebook selecionada.
Na página Detalhes da programação, clique em Editar.
Clique em Ver programação e em Editar.
Na caixa de diálogo Programar notebook, edite a programação e clique em Atualizar programação.
Excluir uma programação
Para excluir permanentemente uma programação de um notebook selecionado, siga estas etapas:
No console do Google Cloud, acesse a página Orquestração.
Escolha uma destas opções:
Clique no nome da programação selecionada e, na página Detalhes da programação, clique em Excluir.
Na linha que contém a programação selecionada, clique em Ver ações na coluna Ações e em Excluir.
Na caixa de diálogo exibida, clique em Excluir.
A seguir
- Saiba mais sobre os notebooks do Colab Enterprise no BigQuery.
- Saiba como criar notebooks.