Primeiros passos com o TensorBoard da Vertex AI

O TensorBoard de código aberto é um projeto de código aberto do Google para visualização de experimentos de aprendizado de máquina. O TensorBoard Vertex AI é uma versão gerenciada e empresarial do TensorBoard.

O TensorBoard da Vertex AI oferece diversas visualizações detalhadas, que incluem:

• Rastreamento e visualização de métricas, como perda e precisão ao longo do tempo
• Como visualizar o grafo computacional do modelo (ops e camadas)
• Visualização de histogramas de pesos, viés ou outros tensores conforme eles mudam ao longo do tempo
• Projeção de embeddings em um espaço dimensional inferior
• Exibição de amostras de imagem, texto e áudio
• Criação de perfis de programas do TensorFlow

Além das visualizações avançadas do TensorBoard, o TensorBoard da Vertex AI oferece:

• Um link compartilhável e persistente para o painel da sua experiência

• Uma lista pesquisável de todas as experiências de um projeto

• Integrações estreitas com serviços de IA do Vertex para treinamento de modelos

• Segurança, privacidade e conformidade de nível empresarial

Com o TensorBoard da Vertex AI, é possível rastrear, visualizar e comparar experimentos de ML e compartilhá-los com sua equipe.

Começar

Uma instância do Vertex AI TensorBoard, que é um recurso regionalizado que armazena seus experimentos do Vertex AI TensorBoard, precisa ser criada antes que os experimentos possam ser visualizados. É possível criar várias instâncias em um projeto.

Criar uma instância do TensorBoard da Vertex AI

Siga estas etapas para criar uma instância do Vertex AI TensorBoard usando o Console do Cloud.

1. Se você é iniciante no Vertex AI ou está começando um novo projeto, configure seu projeto e o ambiente de desenvolvimento.

2. Na seção "Vertex AI" do Console do Google Cloud, acesse a página Experimentos.
   
   Acesse a página Experimentos

3. Acesse a guia Instâncias do TensorBoard.

4. Clique em Criar na parte superior da página.

5. Selecione uma região na lista suspensa Região.

6. Modifique o campo Nome da instância do TensorBoard para criar um nome de exibição descritivo. (opcional)

7. Adicione uma descrição. (opcional)

8. Clique em Criar para criar a instância do TensorBoard

Como alternativa, é possível criar uma instância do Vertex AI TensorBoard a partir da ferramenta de linha de comando gcloud.

1. Instale a ferramenta gcloud.

2. Inicialize a ferramenta de linha de comando gcloud executando gcloud init.

3. Explore os comandos para confirmar a instalação.

   gcloud ai tensorboards --help
   

   Os comandos incluem create, describe, list e delete. Se necessário, siga estas etapas para definir valores padrão para seu projeto e região antes de continuar.

   Agora, crie uma instância do Vertex AI TensorBoard.

4. Autentique-se na ferramenta gcloud.

   gcloud auth application-default login
   

5. Crie uma instância do Vertex AI TensorBoard fornecendo um nome de projeto e um nome de exibição. Essa etapa pode levar alguns minutos para ser concluída pela primeira vez em um projeto. Anote o nome da instância do Vertex AI TensorBoard (por exemplo: projects/123/locations/us-central1/tensorboards/456) que será impresso no final do seguinte comando. Ele será necessário nas próximas etapas.

   gcloud ai tensorboards create --display-name DISPLAY_NAME \
     --project PROJECT_NAME
   

   Substitua:

   • PROJECT_NAME: o projeto em que você quer criar a instância do TensorBoard

   • DISPLAY_NAME: um nome descritivo para a instância do TensorBoard

Como fazer upload de registros do TensorBoard com o carregador do TensorBoard da Vertex AI

O TensorBoard da Vertex AI oferece uma CLI do Python para fazer upload de registros do TensorBoard. É possível fazer upload de registros de qualquer ambiente que possa se conectar ao Google Cloud.

Outra opção é fazer upload dos registros do TensorBoard usando as APIs REST Vertex AI TensorBoard.

Como criar um ambiente virtual (opcional)

Primeira etapa opcional, mas recomendada: criar um ambiente virtual dedicado para instalar a CLI do Python do TensorBoard Uploader da Vertex AI.

python3 -m venv PATH/TO/VIRTUAL/ENVIRONMENT
source PATH/TO/VIRTUAL/ENVIRONMENT/bin/activate

Substitua PATH/TO/VIRTUAL/ENVIRONMENT pelo caminho para seu ambiente virtual dedicado.

Instalar o TensorBoard Uploader da Vertex AI pelo SDK do Vertex AI

O uploader precisa da versão mais recente do pip para ser instalado adequadamente.

pip install -U pip
pip install google-cloud-aiplatform[tensorboard]

Como fazer upload de registros do Vertex AI TensorBoard

Observação: não faça upload de todo um bucket do Cloud Storage ou de uma pasta do Cloud Storage com um grande número de pastas aninhadas de várias execuções de treinamento em uma experiência. A prática recomendada é fazer o upload de registros de treinamento que pertencem a uma limpeza de ajuste de hiperparâmetros, treinamento ou avaliação em um experimento do Vertex TensorBoard na nuvem.

tb-gcp-uploader --tensorboard_resource_name \
  TENSORBOARD_INSTANCE_NAME \
  --logdir=LOG_DIR \
  --experiment_name=TB_EXPERIMENT_NAME --one_shot=True

• TENSORBOARD_INSTANCE_NAME: há duas maneiras de identificar o nome da instância:

  • O nome completo está impresso no final do comando gcloud ai tensorboards create que você usou anteriormente.

  • Se a instância do TensorBoard tiver sido criada com o Console do Cloud, o TENSORBOARD_INSTANCE_NAME será projects/PROJECT_ID_OR_NUMBER/locations/REGION/tensorboards/TENSORBOARD_INSTANCE_ID

    • Para encontrar o TENSORBOARD_INSTANCE_ID, acesse a seção "Experimentos" da Vertex AI do Console do Google Cloud e selecione a guia Instâncias do TensorBoard.
      
      Acessar a página "Experimentos"

• LOG_DIR: o local dos logs de eventos, que fica no sistema de arquivos local ou no Cloud Storage

• TB_EXPERIMENT_NAME: o nome do experimento. Por exemplo, test-experiment. O nome do experimento precisa ser exclusivo em um recurso do TensorBoard

Por padrão, a CLI do uploader é executada indefinidamente, monitorando as alterações no LOG_DIR e faz upload dos registros recém-adicionados. --one_shot=True desativa o comportamento. Execute tb-gcp-uploader --help para mais informações.

Veja um experimento do Vertex AI TensorBoard

Usar o Console do Google Cloud

É possível visualizar seu experimento do TensorBoard da Vertex AI no Console do Google Cloud com as etapas a seguir.

1. Na seção "Vertex AI" do Console do Google Cloud, acesse a página Experimentos.

   Acessar a página "Experimentos"

2. Na guia "Experimentos", role ou filtre a lista para encontrar sua experiência.

3. Para abrir a IU do Vertex AI TensorBoard, clique em Open TensorBoard ao lado do experimento.

Como alternativa, se você usar o Vertex AI TensorBoard com treinamento personalizado, selecione o job de treinamento na página "Treinamento". O botão Abrir TensorBoard aparece na parte superior da página de detalhes do job de treinamento.

Usar o link da saída da CLI

Além disso, ao usar a ferramenta de envio do TensorBoard, a CLI enviará um link para a instância do Vertex AI TensorBoard nas primeiras linhas do registro em que é possível ver o experimento. Por exemplo: View your TensorBoard at https://us-central1.tensorboard.googleusercontent.com/experiment/projects+123+locations+us-central1+tensorboards+4567+experiments+my-experiment-name

A seguir

• Confira a documentação da API TensorBoard.

• Consulte Como usar o TensorBoard da Vertex AI com treinamento personalizado.