Especifique a configuração da máquina para uma etapa do pipeline
Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
Os componentes do pipeline do Kubeflow são funções de fábrica que criam etapas
de pipeline. Cada componente descreve as entradas, saídas e a implementação do
componente. Por exemplo, train_op é um componente no exemplo de código a seguir.
Por exemplo, um componente de treinamento pode usar um arquivo CSV como entrada e usá-lo
para treinar um modelo. Ao definir os parâmetros do tipo de máquina na etapa
de pipeline, é possível gerenciar os requisitos de cada etapa no pipeline. Se você
tem duas etapas de treinamento e uma etapa treina em um grande arquivo de dados e a segunda
treina em um arquivo de dados pequeno, é possível alocar mais memória e CPU para a
primeira tarefa e menos recursos para a segunda tarefa.
CPU_LIMIT: o limite máximo de CPU para este operador. Esse valor
de string pode ser um número (valor inteiro para o número de CPUs) ou um número
seguido de "m", o que significa 1/1000. É possível especificar, no máximo, 96 CPUs.
MEMORY_LIMIT: o limite máximo de memória para este operador. Esse
valor de string pode ser um número ou um número seguido de
"K" (kilobyte), "M" (megabyte) ou "G" (gigabyte).
São aceitos no máximo 624 GB.
SELECTOR_CONSTRAINT: cada restrição é um rótulo de par de chave-valor.
Para que o contêiner seja qualificado para execução em um nó, o nó precisa ter cada restrição como um rótulo. Por exemplo:
'cloud.google.com/gke-accelerator', 'NVIDIA_TESLA_T4'
ACCELERATOR_LIMIT: o limite do acelerador (GPU ou TPU) para o
operador. É possível especificar um número inteiro positivo. Para mais informações sobre as GPUs disponíveis e como configurá-las, consulte GPUs. Para mais informações sobre as TPUs disponíveis e como configurá-las, consulte TPUs.
O CustomJob oferece suporte a tipos de máquina específicos, que limitam você a um máximo de 96 CPUs e 624 GB de memória. Com base na configuração de CPU, memória e acelerador especificada, o Vertex AI Pipelines seleciona automaticamente a correspondência mais próxima a partir dos tipos de máquina compatíveis.
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Informações incorretas ou exemplo de código","incorrectInformationOrSampleCode","thumb-down"],["Não contém as informações/amostras de que eu preciso","missingTheInformationSamplesINeed","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2025-09-04 UTC."],[],[],null,["# Specify the machine configuration for a pipeline step\n\nKubeflow pipeline components are factory functions that create pipeline\nsteps. Each component describes the inputs, outputs, and implementation of the\ncomponent. For example, `train_op` is a component in the following code sample.\n\nFor example, a training component could take a CSV file as an input and use it\nto train a model. By setting the machine type parameters on the pipeline step,\nyou can manage the requirements of each step in your pipeline. If you have two\ntraining steps and one step trains on a huge data file and the second step\ntrains on a small data file, you can allocate more memory and CPU to the first\ntask, and fewer resources to the second task.\n\nBy default, the component will run on as a Vertex AI\n[`CustomJob`](/vertex-ai/docs/reference/rest/v1/projects.locations.customJobs)\nusing an **e2-standard-4** machine, with 4 core CPUs and 16GB memory. For more information about selecting one of the Google Cloud-specific machine resources listed in [Machine types](/vertex-ai/docs/training/configure-compute#machine-types), see [Request Google Cloud machine resources with Vertex AI Pipelines](/vertex-ai/docs/pipelines/request-gcp-machine-resources).\n\nThe following sample shows you how to set CPU, memory, and GPU configuration\nsettings for a step:\n**Note:** If you want to specify the disk space in the machine configuration, you must [create a custom training job from a component by requesting Google Cloud machine resources](/vertex-ai/docs/pipelines/request-gcp-machine-resources#create-customtrainingjob-from-component) instead. \n\n from kfp import dsl\n\n @dsl.pipeline(name='custom-container-pipeline')\n def pipeline():\n generate = generate_op()\n train = (\n train_op(\n training_data=generate.outputs['training_data'],\n test_data=generate.outputs['test_data'],\n config_file=generate.outputs['config_file'])\n .set_cpu_limit('\u003cvar translate=\"no\"\u003eCPU_LIMIT\u003c/var\u003e')\n .set_memory_limit('\u003cvar translate=\"no\"\u003eMEMORY_LIMIT\u003c/var\u003e')\n .add_node_selector_constraint(\u003cvar translate=\"no\"\u003e\u003cspan class=\"devsite-syntax-n\"\u003eSELECTOR_CONSTRAINT\u003c/span\u003e\u003c/var\u003e)\n .set_accelerator_limit(\u003cvar translate=\"no\"\u003e\u003cspan class=\"devsite-syntax-n\"\u003eACCELERATOR_LIMIT\u003c/span\u003e\u003c/var\u003e))\n\nReplace the following:\n\n- \u003cvar translate=\"no\"\u003eCPU_LIMIT\u003c/var\u003e: The maximum CPU limit for this operator. This string\n value can be a number (integer value for number of CPUs), or a number\n followed by \"m\", which means 1/1000. You can specify at most 96 CPUs.\n\n- \u003cvar translate=\"no\"\u003eMEMORY_LIMIT\u003c/var\u003e: The maximum memory limit for this operator. This\n string value can be a number, or a number followed by\n \"K\" (kilobyte), \"M\" (megabyte), or \"G\" (gigabyte).\n At most 624GB is supported.\n\n | **Note:** Vertex AI Pipelines does not support calling [`set_memory_request`](https://kubeflow-pipelines.readthedocs.io/page/source/dsl.html#kfp.dsl.PipelineTask.set_memory_request) on an operator ; you must use [`set_memory_limit`](https://kubeflow-pipelines.readthedocs.io/page/source/dsl.html#kfp.dsl.PipelineTask.set_memory_request) to request a specific memory amount.\n- \u003cvar translate=\"no\"\u003eSELECTOR_CONSTRAINT\u003c/var\u003e: Each constraint is a key-value pair label.\n For the container to be eligible to run on a node, the node must have each\n constraint as a label. For example:\n `'cloud.google.com/gke-accelerator', 'NVIDIA_TESLA_T4'`\n\n The following constraints are available:\n - `NVIDIA_GB200`^+^ (includes [GPUDirect-RDMA](/vertex-ai/docs/training/configure-compute#gpudirect-rdma))\n - `NVIDIA_B200`^\\*^ (includes [GPUDirect-RDMA](/vertex-ai/docs/training/configure-compute#gpudirect-rdma))\n - `NVIDIA_H100_MEGA_80GB`^\\*^ (includes [GPUDirect-TCPXO](/vertex-ai/docs/training/configure-compute#gpudirect-tcpxo))\n - `NVIDIA_H100_80GB`\n - `NVIDIA_H200_141GB`^\\*^ (includes [GPUDirect-RDMA](/vertex-ai/docs/training/configure-compute#gpudirect-rdma))\n - `NVIDIA_A100_80GB`\n - `NVIDIA_TESLA_A100` (NVIDIA A100 40GB)\n - `NVIDIA_TESLA_P4`\n - `NVIDIA_TESLA_P100`\n - `NVIDIA_TESLA_T4`\n - `NVIDIA_TESLA_V100`\n - `NVIDIA_L4`\n\n \u003cbr /\u003e\n\n - `TPU_V2`\n - `TPU_V3`\n- \u003cvar translate=\"no\"\u003eACCELERATOR_LIMIT\u003c/var\u003e: The accelerator (GPU or TPU) limit for the\n operator. You can specify a positive integer. For more information about the\n available GPUs and how to configure them, see\n [GPUs](/vertex-ai/docs/training/configure-compute#specifying_gpus). For more information\n about the available TPUs and how to configure them, see\n [TPUs](/vertex-ai/docs/training/configure-compute#tpu).\n\n | **Note:** TPUs are only available in specific locations. For more information, see [Using accelerators](/vertex-ai/docs/general/locations#accelerators).\n\n`CustomJob` supports specific machine types that limit you to a maximum of 96 CPUs and 624GB of memory. Based on the CPU, memory, and accelerator configuration that you specify, Vertex AI Pipelines automatically selects the closest match from the supported machine types."]]
