Introdução aos componentes do pipeline Google Cloud

O SDK Google Cloud (GCPC) fornece um conjunto de componentes de pipelines Kubeflow pré-criados que são de qualidade de produção, têm um bom desempenho e são fáceis de usar. Pode usar Google Cloud componentes de pipeline para definir e executar pipelines de ML no Vertex AI Pipelines e noutros back-ends de execução de pipelines de ML em conformidade com o Kubeflow Pipelines.

Por exemplo, pode usar estes componentes para concluir o seguinte:

  • Crie um novo conjunto de dados e carregue diferentes tipos de dados no conjunto de dados (imagem, tabular, texto ou vídeo).
  • Exporte dados de um conjunto de dados para o Cloud Storage.
  • Use o AutoML para preparar um modelo com dados de imagens, tabulares ou de vídeo.
  • Execute uma tarefa de preparação personalizada com um contentor personalizado ou um pacote Python.
  • Carregue um modelo existente para o Vertex AI para a previsão em lote.
  • Crie um novo ponto final e implemente um modelo no mesmo para previsões online.

Além disso, Google Cloud os componentes de pipeline são compatíveis com estes componentes pré-criados nos pipelines do Vertex AI e oferecem as seguintes vantagens:

  • Depuração mais fácil: mostre os recursos subjacentes iniciados a partir do componente para uma depuração simplificada.
  • Tipos de artefactos padronizados: fornecem interfaces consistentes para usar tipos de artefactos padrão para entrada e saída. Os metadados do Vertex ML monitorizam estes artefactos padrão, o que facilita a análise da linhagem dos artefactos do seu pipeline. Para ver mais detalhes sobre a linhagem de artefactos, consulte o artigo Acompanhar a linhagem de artefactos de pipelines.
  • Compreenda os custos dos pipelines com etiquetas de faturação: as etiquetas de recursos são propagadas automaticamente para os Google Cloud serviços gerados pelos Google Cloud componentes do pipeline na execução do pipeline. Use etiquetas de faturação juntamente com a exportação de faturação da nuvem para o BigQuery para rever o custo da execução da sua pipeline. Para mais informações sobre a utilização de etiquetas para compreender o custo de uma execução de pipeline, consulte o artigo Compreenda os custos de execução de pipelines. Para mais informações sobre como as etiquetas são propagadas de uma execução de pipeline para recursos gerados por Google Cloud componentes de pipeline, consulte o artigo Etiquetagem de recursos pelos Vertex AI Pipelines.
  • Eficiências de custos*: os pipelines do Vertex AI otimizam a execução destes componentes ao iniciar os recursos Google Cloud , sem ter de iniciar o contentor. Isto reduz a latência de arranque e os custos do contentor de espera ativa.
* Esta funcionalidade aplica-se apenas aos seguintes componentes:
  • CustomTrainingJobOp
  • WaitGcpResourcesOp (para o Dataflow)
  • DataflowPythonJobOp

O que se segue?