Debes desplegar tus recursos personalizados de predicción en el clúster de predicción que el operador de infraestructura (IO) crea para ti. El operador crea cargas de trabajo de predicción en este mismo clúster.
Para crear el clúster de predicción, colabora con el IO para asociar tu proyecto de predicción y asignar los grupos de nodos necesarios para las predicciones online en Google Distributed Cloud (GDC) air-gapped.
Para crear un clúster de predicción, sigue estos pasos:
Identifique el proyecto de su organización que quiera asociar al nuevo clúster para obtener predicciones online.
Para crear un proyecto, consulta Configurar un proyecto para Vertex AI. Necesitarás el ID de tu proyecto para hacer llamadas a la API.
En la lista de tipos de máquinas disponibles de Distributed Cloud, elige el tipo de máquina de los nodos que necesiten tus cargas de trabajo en el clúster.
El tipo de máquina que elijas dependerá del tamaño y la complejidad de tu modelo de predicción, y determinará los recursos de computación y de unidad de procesamiento gráfico (GPU) que proporcione tu IO al clúster. Sigue las recomendaciones para seleccionar nodos cuando elijas el tipo de máquina de tus nodos.
Envía un correo al IO con la plantilla de caso de clúster de predicción para abrir un caso y dirigir tu solicitud de creación del clúster.
Si es necesario, comunícate con el IO hasta que termine de crear el clúster de predicción asociado a tu proyecto y de asignar los grupos de nodos adecuados dentro del clúster.
Una vez completado el aprovisionamiento del clúster, el clúster de predicción estará listo para las predicciones online.
Recomendaciones de selección de nodos
Cuando el IO crea grupos de nodos en un clúster, asigna uno de los tipos de máquina disponibles en Distributed Cloud para proporcionar un conjunto predefinido de recursos a los nodos de trabajo. En función del tamaño y la complejidad del modelo, necesitarás diferentes rendimientos de computación y, por lo tanto, una cantidad específica de CPU, memoria y GPU. Debe proporcionar estos detalles en su comunicación con el IO cuando quiera crear un clúster de predicción.
Cuando determines con el IO el tipo de máquina de los grupos de nodos que necesitas en el clúster de predicción, debes seguir estas prácticas:
- Distributed Cloud añade una sobrecarga de computación a los nodos para los componentes del sistema obligatorios. Por lo tanto, debes elegir un tipo de máquina más grande para tus grupos de nodos que el que quieras usar en el grupo de recursos de tus modelos.
- Elige la solución que proporcione la memoria y los recursos informáticos mínimos necesarios para tus requisitos. Por ejemplo, si tu modelo requiere ocho vCPUs, elige el tipo de máquina
n2-highcpu-8-gdc, la solución más pequeña con ocho vCPUs y 8 GB de memoria en Distributed Cloud. - A medida que avances, considera soluciones de mayor rendimiento solo si las más pequeñas no se adaptan a tus necesidades y al tamaño y la complejidad del modelo. Es fundamental seguir el principio de mínimos accesos y usar solo los recursos que necesites para ejecutar tu flujo de trabajo específico. Este enfoque responsable asegura un uso considerado de los recursos en el entorno de nube distribuida.
- Elige solo soluciones que tengan GPUs si las necesitas para tu modelo.
- Si tu modelo requiere GPUs, considera el tipo de máquina
a2-highgpu-1g-gdc, la solución más pequeña que proporciona GPUs.
Plantilla de caso de clúster de predicción
Usa la siguiente plantilla para enviar un correo a tu IO. Se abrirá un caso para crear el clúster de predicción que necesitas para las predicciones online.
Good day,
I need to create a prediction cluster and associate it with a project in my organization to use online predictions.
Please use the following information for the creation of the cluster:
- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]
**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster
Thank you,
[Your name]