Carregue registos para o Vertex AI TensorBoard

Pode carregar registos existentes para a sua instância do Vertex AI TensorBoard que foram criados através da preparação local, da preparação fora do Vertex AI, criados por um colega, são registos de exemplo ou foram criados através de uma instância do Vertex AI TensorBoard diferente. Os registos podem ser partilhados entre várias instâncias do Vertex AI TensorBoard.

O Vertex AI TensorBoard oferece a CLI Google Cloud e o SDK Vertex AI para Python para carregar registos do TensorBoard. Pode carregar registos de qualquer ambiente que se possa ligar a Google Cloud.

SDK Vertex AI para Python

Monitorização contínua

Para a monitorização contínua, ligue para aiplatform.start_upload_tb_log no início da preparação. O SDK abre uma nova discussão para o carregamento. Este comando monitoriza novos dados no diretório e carrega-os para a sua experiência do Vertex AI TensorBoard. Quando a formação estiver concluída, chame end_upload_tb_log para terminar a thread de carregamento.

Tenha em atenção que, após chamar start_upload_tb_log(), a sua thread é mantida ativa, mesmo que seja gerada uma exceção. Para garantir que a discussão é encerrada, coloque qualquer código depois de start_upload_tb_log() e antes de end_upload_tb_log() numa declaração try e chame end_upload_tb_log() em finally.

Python

from typing import Optional

from google.cloud import aiplatform


def upload_tensorboard_log_continuously_sample(
    tensorboard_experiment_name: str,
    logdir: str,
    tensorboard_id: str,
    project: str,
    location: str,
    experiment_display_name: Optional[str] = None,
    run_name_prefix: Optional[str] = None,
    description: Optional[str] = None,
) -> None:

    aiplatform.init(project=project, location=location)

    # Continuous monitoring
    aiplatform.start_upload_tb_log(
        tensorboard_id=tensorboard_id,
        tensorboard_experiment_name=tensorboard_experiment_name,
        logdir=logdir,
        experiment_display_name=experiment_display_name,
        run_name_prefix=run_name_prefix,
        description=description,
    )

    try:
        print("Insert your code here")
    finally:
        aiplatform.end_upload_tb_log()
  • tensorboard_experiment_name: o nome da experiência do TensorBoard para a qual carregar.
  • logdir: a localização do diretório a verificar quanto aos registos do TensorBoard.
  • tensorboard_id: o ID da instância do TensorBoard. Se não for definido, é usado o tensorboard_id em aiplatform.init.
  • project: . Pode encontrar o ID do projeto na página de boas-vindas da Google Cloud consola .
  • location: a localização onde a sua instância do TensorBoard está localizada.
  • experiment_display_name: o nome a apresentar da experiência.
  • run_name_prefix: se estiver presente, o nome de todas as execuções criadas por esta invocação terá este valor como prefixo.
  • description: uma descrição de string a atribuir à experiência.

Registo único

Carregue registos do TensorBoard

Ligue para aiplatform.upload_tb_log para fazer um carregamento único dos registos do TensorBoard. Isto carrega os dados existentes no logdir e, em seguida, retorna imediatamente.

Python

from typing import Optional

from google.cloud import aiplatform


def upload_tensorboard_log_one_time_sample(
    tensorboard_experiment_name: str,
    logdir: str,
    tensorboard_id: str,
    project: str,
    location: str,
    experiment_display_name: Optional[str] = None,
    run_name_prefix: Optional[str] = None,
    description: Optional[str] = None,
    verbosity: Optional[int] = 1,
) -> None:

    aiplatform.init(project=project, location=location)

    # one time upload
    aiplatform.upload_tb_log(
        tensorboard_id=tensorboard_id,
        tensorboard_experiment_name=tensorboard_experiment_name,
        logdir=logdir,
        experiment_display_name=experiment_display_name,
        run_name_prefix=run_name_prefix,
        description=description,
    )
  • tensorboard_experiment_name: o nome da experiência do TensorBoard.
  • logdir: a localização do diretório a verificar quanto aos registos do TensorBoard.
  • tensorboard_id: o ID da instância do TensorBoard. Se não for definido, é usado o tensorboard_id em aiplatform.init.
  • project: . Pode encontrar estes IDs dos projetos na página de Google Cloud consola de boas-vindas.
  • location: a localização onde a sua instância do TensorBoard está localizada.
  • experiment_display_name: o nome a apresentar da experiência.
  • run_name_prefix: se estiver presente, o nome de todas as execuções criadas por esta invocação terá este valor como prefixo.
  • description: uma descrição de string a atribuir à experiência.
  • verbosity: nível de detalhe das estatísticas, um número inteiro. Valores suportados: 0 – Não são impressas estatísticas de carregamento. 1 - Imprimir estatísticas de carregamento durante o carregamento de dados (predefinição).

Carregue registos do perfil

Chame aiplatform.upload_tb_log para carregar registos do perfil do TensorBoard para uma experiência.

Python

from typing import FrozenSet

from google.cloud import aiplatform


def upload_tensorboard_profile_logs_to_experiment_sample(
    experiment_name: str,
    logdir: str,
    project: str,
    location: str,
    run_name_prefix: str,
    allowed_plugins: FrozenSet[str] = ["profile"],
) -> None:

    aiplatform.init(project=project, location=location, experiment=experiment_name)

    # one time upload
    aiplatform.upload_tb_log(
        tensorboard_experiment_name=experiment_name,
        logdir=logdir,
        run_name_prefix=run_name_prefix,
        allowed_plugins=allowed_plugins,
    )
  • experiment_name: o nome da experiência do TensorBoard.
  • logdir: a localização do diretório a verificar quanto aos registos do TensorBoard.
  • project: . Pode encontrar estes IDs dos projetos na página de Google Cloud boas-vindasdaconsola.
  • location: A localização onde a sua instância do TensorBoard está localizada.
  • run_name_prefix: para dados do perfil, este é o prefixo da execução. O formato do diretório em LOG_DIR deve corresponder ao seguinte:
    • /RUN_NAME_PREFIX/plugins/profile/YYYY_MM_DD_HH_SS/
  • allowed_plugins: uma lista de plug-ins adicionais a permitir. Para carregar dados do perfil, estes devem incluir "profile"

CLI gcloud

  1. (Opcional) Crie um ambiente virtual dedicado para instalar a CLI Python do carregador do Vertex AI TensorBoard. 
    python3 -m venv PATH/TO/VIRTUAL/ENVIRONMENT
source PATH/TO/VIRTUAL/ENVIRONMENT/bin/activate
    • PATH/TO/VIRTUAL/ENVIRONMENT: o seu ambiente virtual dedicado.
  2. Instale o pacote Vertex AI TensorBoard através do SDK Vertex AI. 
    pip install -U pip
pip install google-cloud-aiplatform[tensorboard]
  3. Carregue registos do TensorBoard
    1. Dados de intervalos temporais e blobs 
      tb-gcp-uploader --tensorboard_resource_name \
TENSORBOARD_RESOURCE_NAME \
--logdir=LOG_DIR \
--experiment_name=TB_EXPERIMENT_NAME --one_shot=True
    2. Dados do perfil 
      tb-gcp-uploader \
--tensorboard_resource_name TENSORBOARD_RESOURCE_NAME \
--logdir=LOG_DIR --experiment_name=TB_EXPERIMENT_NAME \
--allowed_plugins="profile" --run_name_prefix=RUN_NAME_PREFIX \
--one_shot=True
    • TENSORBOARD_RESOURCE_NAME: O nome do recurso do TensorBoard usado para identificar totalmente a instância do Vertex AI TensorBoard.
    • LOG_DIR: a localização dos registos de eventos que residem no sistema de ficheiros local ou no Cloud Storage
    • TB_EXPERIMENT_NAME: o nome da experiência do TensorBoard, por exemplo, test-experiment.
    • RUN_NAME_PREFIX: para dados do perfil, este é o prefixo da execução. O formato do diretório em LOG_DIR deve corresponder ao seguinte:
      • /RUN_NAME_PREFIX/plugins/profile/YYYY_MM_DD_HH_SS/

Por predefinição, a CLI de carregamento é executada indefinidamente, monitorizando as alterações no diretório LOG_DIR e carregando os registos adicionados recentemente. --one_shot=True desativa o comportamento. Execute tb-gcp-uploader --help para mais informações.