Antes de ejecutar el proceso de aprendizaje automático (AA) en AI Platform Pipelines, debes definir el proceso como una canalización. Puedes organizar el proceso de AA como una canalización mediante TensorFlow Extended (TFX) o el SDK de Kubeflow Pipelines.
En este documento, se proporciona orientación a fin de que elijas la mejor opción para compilar la canalización y recursos con los que puedes comenzar la compilación.
- Si deseas organizar un proceso que entrene un modelo de TensorFlow, usa TFX para compilar la canalización.
- Si deseas organizar un proceso que entrene un modelo mediante frameworks como PyTorch, XGBoost y scikit-learn, usa el SDK de Kubeflow Pipelines para compilar la canalización.
Compila canalizaciones mediante el SDK de TFX
TFX es un proyecto de código abierto que puedes usar para definir el flujo de trabajo de AA como una canalización. En la actualidad, los componentes de TFX solo pueden entrenar modelos basados en TensorFlow. TFX proporciona componentes que puedes usar a fin de transferir y transformar datos, entrenar y evaluar un modelo, implementar un modelo entrenado para la inferencia, etc. Con el SDK de TFX, puedes crear una canalización para el proceso de AA a partir de componentes TFX.
Sigue estos pasos para comenzar a compilar canalizaciones con plantillas de canalización de TFX:
- Sigue el instructivo sobre canalizaciones de TFX en Google Cloud.
- Lee la Guía del usuario de TFX para obtener más información sobre los conceptos y componentes de TFX.
Compila canalizaciones mediante el SDK de Kubeflow Pipelines
El SDK de Kubeflow Pipelines es un SDK de código abierto que puedes usar para compilar canalizaciones personalizadas y complejas de AA basadas en contenedores. Puedes reutilizar componentes compilados con anterioridad o compilar componentes personalizados de canalización mediante el SDK de Kubeflow Pipelines. En un alto nivel, puedes compilar componentes y canalizaciones de las siguientes maneras:
- Desarrolla el código para cada paso del flujo de trabajo mediante el lenguaje y las herramientas que prefieras.
- Crea una imagen de contenedor de Docker para el código de cada paso.
- Usa Python para definir la canalización mediante el SDK de Kubeflow Pipelines.
Sigue estos pasos para comenzar a compilar canalizaciones con el SDK de Kubeflow Pipelines:
- Lee Introducción al SDK de Kubeflow Pipelines.
- Para obtener más información sobre las canalizaciones de Kubeflow, explora las muestras de Kubeflow Pipelines.
- Para volver a usar componentes compilados con anterioridad, explora los componentes de canalización de Kubeflow en GitHub.
¿Qué sigue?
- Obtén información sobre cómo ejecutar las canalizaciones de AA.