Introdução às instâncias do Vertex AI Workbench

As instâncias do Vertex AI Workbench são ambientes de desenvolvimento baseados em notebook do Jupyter para todo o fluxo de trabalho de ciência de dados. É possível interagir com a Vertex AI e outros serviços do Google Cloud dentro de um notebook Jupyter de uma instância do Vertex AI Workbench.

Com as integrações e os recursos do Vertex AI Workbench, é mais fácil acessar seus dados, processar dados com mais rapidez, programar execuções de notebooks e muito mais.

As instâncias do Vertex AI Workbench são pré-empacotadas com o JupyterLab e têm um conjunto pré-instalado de pacotes de aprendizado profundo, incluindo suporte para os frameworks do TensorFlow e do PyTorch. É possível configurar instâncias ativadas para GPU ou somente CPU.

As instâncias do Vertex AI Workbench são compatíveis com a capacidade de sincronização com um repositório do GitHub. As instâncias do Vertex AI Workbench são protegidas pela autenticação e autorização do Google Cloud.

Acesso a dados

É possível acessar seus dados sem sair da interface do usuário do JupyterLab.

No menu de navegação do JupyterLab em uma instância de notebooks gerenciados, é possível usar a integração do Cloud Storage para procurar dados e outros arquivos a que você tem acesso. Consulte Acessar buckets e arquivos do Cloud Storage dentro do JupyterLab.

Também é possível usar a integração do BigQuery para procurar tabelas a que você tem acesso, gravar consultas, visualizar resultados e carregar dados no seu notebook. Veja Consultar dados em tabelas do BigQuery no JupyterLab.

Executar execuções de notebook

Use o executor para executar um arquivo de notebook como uma execução única ou programada. Escolha o ambiente e o hardware específicos em que você quer que a execução seja executada. O código do notebook será executado no treinamento personalizado da Vertex AI, o que pode facilitar o treinamento distribuído, otimizar hiperparâmetros ou programar jobs de treinamento contínuos.

Você pode usar parâmetros na sua execução para fazer alterações específicas em cada execução. Por exemplo, é possível especificar um conjunto de dados diferente a ser usado, alterar a taxa de aprendizado ou a versão do modelo.

Também é possível configurar um notebook para ser executado regularmente. Mesmo com a instância desativada, o Vertex AI Workbench executa o arquivo do notebook e salva os resultados para você analisar e compartilhar com outras pessoas.

Compartilhar insights

As execuções executadas de notebook são armazenadas em um bucket do Cloud Storage. Dessa maneira, é possível compartilhar seus insights com outras pessoas ao conceder acesso aos resultados. Consulte a seção anterior sobre como executar execuções de notebook.

Proteger a instância

É possível implantar a instância do Vertex AI Workbench com a rede padrão gerenciada pelo Google, que usa uma rede VPC e sub-rede padrão. Em vez da rede padrão, é possível especificar uma rede VPC para usar com a instância.

Por padrão, o Google Cloud automaticamente criptografa os dados quando em repouso por meio de chaves de criptografia gerenciadas pelo Google. Caso você precise atender a requisitos regulatórios ou de conformidade específicos relacionados às chaves que protegem seus dados, use as chaves de criptografia gerenciadas pelo cliente (CMEKs) com as instâncias de Vertex AI Workbench. Para mais informações, consulte Chaves de criptografia gerenciadas pelo cliente.

Encerramento automatizado de instâncias inativas

Para ajudar a gerenciar custos, as instâncias do Vertex AI Workbench são encerradas após um período de inatividade por padrão. Você pode alterar a quantidade de tempo ou desativar esse recurso. Para mais informações, consulte Desativação inativa.

Adicionar ambientes conda

As instâncias do Vertex AI Workbench usam kernels baseados em ambientes conda. É possível adicionar um ambiente conda à instância do Vertex AI Workbench, e ele aparece como um kernel na interface do JupyterLab da instância.

A adição de ambientes conda permite usar kernels que não estão disponíveis na instância padrão do Vertex AI Workbench. Por exemplo, é possível adicionar ambientes conda para R e Apache Beam. Ou adicione ambientes conda para versões anteriores específicas dos frameworks disponíveis, como TensorFlow, PyTorch ou Python.

Para mais informações, consulte Adicionar um ambiente conda.

Contêineres personalizados

É possível criar uma instância do Vertex AI Workbench com base em um contêiner personalizado. Comece com uma imagem de contêiner base fornecida pelo Google e modifique-a de acordo com suas necessidades. Em seguida, crie uma instância com base no contêiner personalizado.

Para mais informações, consulte Criar uma instância usando um contêiner personalizado.

Integração do Dataproc

Você pode processar dados rapidamente executando um notebook em um cluster do Dataproc. Depois de configurar o cluster, é possível executar um arquivo de notebook nele sem sair da interface do usuário do JupyterLab. Para mais informações, consulte Criar uma instância ativada para Dataproc.

Criar instâncias com credenciais de terceiros

É possível criar e gerenciar instâncias do Vertex AI Workbench com credenciais de terceiros fornecidas pela federação de identidade de colaboradores. A federação de identidade de colaboradores usa seu provedor de identidade (IdP) externo para conceder a um grupo de usuários acesso a instâncias do Vertex AI Workbench por meio de um proxy.

O acesso a uma instância do Vertex AI Workbench é concedido pela atribuição do principal do pool de colaboradores à conta de serviço da instância do Vertex AI Workbench.

Para mais informações, consulte Criar uma instância com credenciais de terceiros.

Tags para instâncias do Vertex AI Workbench

A VM subjacente de uma instância do Vertex AI Workbench é uma VM do Compute Engine. É possível adicionar e gerenciar tags de recurso para a instância do Vertex AI Workbench usando a VM do Compute Engine.

Quando você cria uma instância do Vertex AI Workbench, ele anexa a tag de recurso do Compute Engine vertex-workbench-instances:prod=READ_ONLY. Essa tag de recurso é usadas apenas para fins internos.

Para saber como gerenciar tags para instâncias do Compute Engine, consulte Gerenciar tags para recursos.

Limitações

Considere as seguintes limitações das instâncias da Vertex AI Workbench ao planejar seu projeto:

  • Não é possível usar extensões de terceiros do JupyterLab.

  • Quando você usa o Access Context Manager e o Chrome Enterprise Premium para proteger as instâncias do Vertex AI Workbench com controles de acesso baseado no contexto, o acesso é avaliado sempre que o usuário se autentica na instância. Por exemplo, o acesso é avaliado na primeira vez que o usuário acessa o JupyterLab e, sempre que o acessar, se o cookie do navegador da Web tiver expirado.

  • O uso de um contêiner personalizado que não seja derivado do contêiner base fornecido pelo Google (gcr.io/deeplearning-platform-release/workbench-container:latest) aumenta os riscos de problemas de compatibilidade com nossos serviços e não é aceito. Em vez disso, modifique o contêiner base para criar um contêiner personalizado que atenda às suas necessidades e crie uma instância usando o contêiner personalizado.

  • As instâncias do Vertex AI Workbench esperam imagens do projeto cloud-notebooks-managed. A lista de nomes de imagens está disponível na página de criação no console do Google Cloud. Embora o uso de imagens personalizadas de máquina virtual (VM) ou de VM de aprendizado profundo com instâncias do Vertex AI Workbench seja possível, o Vertex AI Workbench não oferece suporte a comportamentos ou defeitos inesperados ao usar essas imagens.

  • Não é possível usar uma imagem de blocos gerenciados pelo usuário ou uma imagem de blocos gerenciados para criar uma instância do Vertex AI Workbench.

  • Não é possível editar a VM subjacente de uma instância do Vertex AI Workbench usando o console do Google Cloud ou a API Compute Engine. Para editar a VM subjacente de uma instância do Vertex AI Workbench, use o método projects.locations.instances.patch na API Notebooks ou o comando gcloud workbench instances update no SDK Google Cloud.

  • Em instâncias que usam o VPC Service Controls, não é possível usar o executor.

  • Não é possível modificar tags de rede de instâncias do Vertex AI Workbench.

  • Para usar aceleradores com instâncias do Vertex AI Workbench, o tipo de acelerador que você quer precisa estar disponível na zona da instância. Para saber mais sobre a disponibilidade do acelerador por zona, consulte Disponibilidade de zonas e regiões da GPU.

A seguir