Introdução aos componentes de pipeline do Google Cloud

O SDK de componentes do Google Cloud Pipeline (GCPC) fornece um conjunto de componentes pré-criados do Kubeflow Pipelines com qualidade de produção, desempenho e facilidade de uso. É possível usar os componentes do pipeline do Google Cloud para definir e executar pipelines de ML no Vertex AI Pipelines e outros back-ends de execução de pipeline de ML em conformidade com o Kubeflow Pipelines.

Por exemplo, é possível usar componentes para concluir o seguinte:

  • Crie um novo conjunto de dados e carregue diferentes tipos de dados nele (imagem, tabular, texto ou vídeo).
  • Exportar dados de um conjunto de dados para o Cloud Storage.
  • Use o AutoML para treinar um modelo usando dados de imagem, tabular, texto ou vídeo.
  • Execute um job de treinamento personalizado usando um contêiner personalizado ou um pacote do Python.
  • Fazer upload de um modelo existente para o Vertex AI para previsão em lote.
  • Criar um novo endpoint e implantar um modelo nele para previsões on-line.

Além disso, esses componentes pré-criados do Google Cloud Pipeline são compatíveis com o Vertex AI Pipelines e oferecem os seguintes benefícios:

  • Depuração mais fácil: mostra os recursos subjacentes iniciados a partir do componente para a depuração simplificada.
  • Tipos de artefato padronizados: fornecem interfaces consistentes para usar tipos de artefato padrão para entrada e saída. Esses artefatos padrão são rastreados nos Vertex ML Metadata, facilitando a análise da linhagem dos artefatos do pipeline. Para mais detalhes sobre a linhagem de artefatos, consulte Como rastrear a linhagem de artefatos de pipeline.
  • Entender os custos de pipeline com rótulos de faturamento: os rótulos de recursos são propagados automaticamente para os serviços do Google Cloud gerados pelos componentes de pipeline do Google Cloud na execução do pipeline. É possível usar rótulos de faturamento com a exportação do Cloud Billing para o BigQuery para analisar o custo da execução do pipeline. Para saber mais sobre o uso de rótulos para entender o custo da execução de um pipeline, consulte Entender os custos de execução do pipeline. Para mais informações sobre como os rótulos são propagados de uma execução de pipeline para recursos gerados pelos componentes de pipeline do Google Cloud, consulte Rotulagem de recursos pelos pipelines da Vertex AI.
  • Eficiência de custos*: o Vertex AI Pipelines otimiza a execução desses componentes ao lançar os recursos do Google Cloud sem precisar lançar o contêiner. Isso reduz a latência de inicialização e os custos do contêiner ocupado em espera.
* Esse recurso se aplica somente aos seguintes componentes:
  • CustomTrainingJobOp
  • WaitGcpResourcesOp (para Dataflow)
  • DataflowPythonJobOp

A seguir