Antes de executar o processo de machine learning (ML) nos pipelines da IA Platform, é preciso primeiro definir seu processo como um pipeline. É possível orquestrar seu processo de ML como um pipeline usando o TensorFlow Extended (TFX) ou o SDK do Kubeflow Pipelines.
Este documento fornece orientações para escolher a melhor opção para criar seu pipeline e recursos para começar.
- Se você estiver orquestrando um processo que treina um modelo do TensorFlow, use o TFX para criar o pipeline.
- Se você orquestrar um processo que treina um modelo usando frameworks como PyTorch, XGBoost e scikit-learn, use o SDK do Kubeflow Pipelines para criar seu canal.
Como criar pipelines usando o SDK do TFX
O TFX é um projeto de código aberto usado para definir seu fluxo de trabalho de ML como um pipeline. Atualmente, os componentes do TFX só podem treinar modelos baseados no TensorFlow. O TFX fornece componentes que podem ser usados para processar e transformar dados, treinar e avaliar um modelo, implantar um modelo treinado para inferência etc. Ao usar o TFX SDK, é possível compor um pipeline para seu processo de ML a partir de componentes TFX.
Para começar a criar pipelines com modelos de pipeline do TFX:
- Siga o tutorial sobre pipelines do TFX no Google Cloud.
- Leia o Guia do usuário do TFX para saber mais sobre os conceitos e componentes do TFX.
Como criar canais usando o SDK do Kubeflow Pipelines
O SDK do Kubeflow Pipelines tem código aberto e pode ser usado para criar pipelines complexos e personalizados de ML com base em contêineres. É possível reutilizar componentes predefinidos ou criar componentes de pipeline personalizados usando o SDK do Kubeflow Pipelines. Em um nível alto, é possível criar componentes e pipelines das seguintes formas:
- Ao desenvolver o código para cada etapa do seu fluxo de trabalho usando o idioma e as ferramentas da sua preferência.
- Ao criar uma imagem de contêiner do Docker para o código de cada etapa.
- Ao usar o Python para definir seu pipeline por meio do SDK do Kubeflow Pipelines.
Faça o seguinte para começar a criar pipelines com o SDK do Kubeflow Pipelines:
- Leia a Introdução ao SDK do Kubeflow Pipelines.
- Saiba mais sobre pipelines do Kubeflow explorando as amostras do Kubeflow Pipelines.
- Reutilize os componentes predefinidos ao explorar os componentes do pipeline do Kubeflow no GitHub.
A seguir
- Saiba como executar seus pipelines de ML.