Nesta seção, mostramos como criar um notebook do Jupyter em uma instância do Vertex AI Workbench. As instâncias do Vertex AI Workbench são ambientes de desenvolvimento baseados em notebook do Jupyter para todo o fluxo de trabalho de ciência de dados. As instâncias do Vertex AI Workbench são pré-empacotadas com o JupyterLab e têm um conjunto pré-instalado de pacotes de aprendizado profundo, incluindo suporte para os frameworks do TensorFlow e do PyTorch. Para mais informações, consulte Introdução às instâncias do Vertex AI Workbench.
Depois de criar um notebook no Vertex AI Workbench, você executa partes sequenciais do código Python para fazer a maior parte do trabalho de geração de previsões.
crie uma instância do Vertex AI Workbench
Para criar uma instância do Vertex AI Workbench, faça o seguinte:
No console do Google Cloud, abra seu projeto do Google Cloud, caso ainda não esteja aberto.
No console do Google Cloud, acesse a página Instâncias do Vertex AI Workbench.
Se a opção para ativar a API Notebooks for exibida, clique em Ativar. O processo de ativação pode levar alguns instantes para ser concluído.
Clique em Criar novo.
Na caixa de diálogo Nova instância, em Nome, insira um nome para sua instância.
Em Região, selecione us-central1 (Iowa).
Em Zona, selecione us-central1-a.
Clique em Criar. Se você quiser saber mais sobre a instância, depois que ela aparecer na lista de instâncias, clique no nome dela para ver as propriedades.
Prepare seu notebook
Sua instância do Vertex AI Workbench já está autenticada para usar seu projeto do Google Cloud. No entanto, é preciso instalar e inicializar o SDK da Vertex AI para Python. Esta seção apresenta estas etapas.
Depois de criar o notebook, use-o para inserir e executar os snippets de código sequenciais neste tutorial. Cada snippet de código precisa ser executado individualmente e em ordem.
Criar e abrir seu notebook
Seu notebook é onde você executa o código neste tutorial. É um arquivo com a
extensão .ipynb. Quando criado, ele não tem título. Você pode
renomeá-lo depois que ele estiver aberto. Para criar e abrir seu notebook, siga estas etapas:
No Console do Google Cloud, acesse a página Instâncias.
Ao lado do nome da instância, clique em Abrir JupyterLab.
Sua instância do Vertex AI Workbench abre o ambiente do JupyterLab.
No JupyterLab, selecione Arquivo > Novo > Notebook.
O novo arquivo de notebook é aberto, e a caixa de diálogo Selecionar kernel aparece.
Na caixa de diálogo Selecionar kernel, selecione o kernel Python 3.
No painel de navegação à esquerda do JupyterLab, encontre seu novo notebook, chamado Untitled.ipynb. Para renomeá-lo, clique com o botão direito do mouse no nome do notebook, clique em Renomear e insira um novo nome.
Instalar o SDK da Vertex AI para Python
Depois de abrir seu notebook, você precisa instalar o SDK da Vertex AI para Python. Use o SDK da Vertex AI para Python para fazer chamadas da API Vertex AI que criam seu conjunto de dados, criam seu modelo, treinam e implantam seu modelo e fazem previsões com o modelo. Para mais informações, consulte Usar o SDK da Vertex AI para Python.
Quando você instala o SDK da Vertex AI para Python, outros SDKs do Google Cloud de que ele depende também são instalados. Dois desses SDKs são usados neste tutorial:
Cloud Storage: quando você usa o SDK da Vertex AI para Python para fazer chamadas da API Vertex AI, a Vertex AI armazena artefatos em um bucket do Cloud Storage. O bucket é chamado de bucket de preparo. Especifique o bucket de preparo ao inicializar o SDK da Vertex AI para Python. Para mais informações, consulte Cliente Python para a API Google Cloud Storage.
BigQuery: a Vertex AI treina seu modelo usando um conjunto de dados públicos do BigQuery. O SDK do BigQuery precisa ser instalado para acessar e baixar o conjunto de dados usado neste tutorial. Para mais informações, consulte Bibliotecas de cliente da API BigQuery.
Para instalar o SDK da Vertex AI para Python e os SDKs dependentes, execute o código a seguir.
# Install the Vertex AI SDK
! pip3 install --upgrade --quiet google-cloud-aiplatform
A flag --quiet suprime a saída para que apenas erros sejam exibidos, se houver. O ponto de exclamação (!) indica que esse é um comando do shell.
Como esse é o primeiro código que você está executando no novo notebook, insira-o na célula de código em branco na parte superior do notebook. Depois de inserir
o código em uma célula de código, clique em Executar as células selecionadas e
avançar ou use o atalho de teclado Shift + Enter para executar o código.
Durante este tutorial, execute o código na célula de código vazia que aparece automaticamente abaixo do código executado mais recentemente. Se você quiser adicionar manualmente uma nova célula de código, clique no botão Inserir uma célula abaixo do arquivo do notebook.
Defina o ID do projeto e a região
Nesta etapa, você vai definir o ID do projeto e a região. Primeiro, atribua-os a variáveis para que possam ser referenciados facilmente mais adiante neste tutorial. Em seguida, use
o comando gcloud config para defini-los na sessão do Google Cloud.
Depois, você vai usá-los e o URI do bucket do Cloud Storage para inicializar o
SDK da Vertex AI para Python.
Configurar o ID do projeto
Para definir o ID do projeto, faça o seguinte:
Localize o ID do projeto do Google Cloud. Para mais informações, consulte Encontrar o ID do projeto.
Execute o seguinte em uma célula de código no seu notebook. No código, substitua PROJECT_ID pelo ID do projeto que você acabou de localizar. A saída gerada por esse comando é
Updated property [core/project].project_id = "PROJECT_ID" # @param {type:"string"} # Set the project id ! gcloud config set project ${project_id}
Defina sua região
Neste tutorial, usamos a região us-central1. Para definir a região, faça o
seguinte:
Execute o código a seguir para definir a variável
regionusada pela Vertex AI comous-central1. Esse comando não gera saída. Para mais informações, consulte Escolher seu local.region = "us-central1" # @param {type: "string"}
Crie um bucket do Cloud Storage
Neste tutorial, é necessário um bucket do Cloud Storage usado pela Vertex AI para organizar artefatos. A Vertex AI armazena os dados associados ao conjunto de dados que você cria e modela recursos no bucket de preparo. Esses dados são retidos e disponibilizados em várias sessões. Neste tutorial, a Vertex AI também armazena seu conjunto de dados no bucket de preparo. Especifique seu bucket de preparo ao inicializar o SDK da Vertex AI para Python.
Cada nome de bucket do Cloud Storage precisa ser globalmente exclusivo. Se você escolher um nome
usado, o comando para criar o bucket falhará. O
código a seguir usa um carimbo de data e hora e o nome do seu projeto para criar um nome de bucket
exclusivo. Anexe o nome do bucket a gs:// para criar o URI do
bucket do Cloud Storage. O comando do shell echo mostra o URI para que você possa
verificar se ele foi criado corretamente.
Para definir o nome e o URI do bucket, execute o código a seguir. A última linha exibe o URI do seu bucket do Cloud Storage.
bucket_name = "bucket-name-placeholder" # @param {type:"string"} bucket_uri = f"gs://{bucket_name}" from datetime import datetime timestamp = datetime.now().strftime("%Y%m%d%H%M%S") if bucket_name == "" or bucket_name is None or bucket_name == "bucket-name-placeholder": bucket_name = project_id + "aip-" + timestamp bucket_uri = "gs://" + bucket_name ! echo $bucket_uriPara criar um bucket usando a biblioteca de cliente do Cloud Storage e o URI do bucket, execute o código a seguir. Esse código não gera saída.
from google.cloud import storage client = storage.Client(project=project_id) # Create a bucket bucket = client.create_bucket(bucket_name, location=region)Para verificar se o bucket foi criado, execute o seguinte:
print("Bucket {} created.".format(bucket.name))
Inicializar o SDK da Vertex AI para Python
Para inicializar o SDK da Vertex AI para Python, primeiro importe a biblioteca dele,
aiplatform. Em seguida, você chama aiplatform.init e transmite valores para os
seguintes parâmetros:
project: oprojectespecifica qual projeto do Google Cloud usar quando você usa o SDK da Vertex AI para Python para fazer chamadas para a API Vertex AI. Neste tutorial, você especificará o projeto do Google Cloud com o nome dele. Também é possível especificar o projeto com o número dele.location: olocationespecifica qual região do Google Cloud usar quando você fizer chamadas de API. Se você não especificar um local, o SDK da Vertex AI para Python usaráus-central1.staging_bucket: ostaging_bucketespecifica qual bucket do Cloud Storage é usado para organizar artefatos ao usar o SDK da Vertex AI para Python. Especifique o bucket com um URI que comece comgs://. Neste tutorial, você usa o URI criado anteriormente em Criar um bucket do Cloud Storage.
Para definir o projeto, a região e o bucket de preparo do Google Cloud, execute o comando a seguir. Esse comando não gera saída.
from google.cloud import aiplatform
# Initialize the Vertex AI SDK
aiplatform.init(project=project_id, location=region, staging_bucket=bucket_uri)
Inicializar o BigQuery
Neste tutorial, usamos um conjunto de dados público do BigQuery de pinguins para treinar um modelo. Depois que a Vertex AI treina o modelo, você especifica parâmetros que representam características de pinguins, e o modelo usa essas características para prever as espécies de pinguins que eles representam. Para mais informações sobre os conjuntos de dados públicos, consulte Conjuntos de dados públicos do BigQuery.
Antes de usar o conjunto de dados do BigQuery, inicialize o BigQuery com o ID do projeto. Para isso, execute o comando a seguir. Esse comando não gera saída.
from google.cloud import bigquery
# Set up BigQuery client
bq_client = bigquery.Client(project=project_id)