Kurzanleitung: Komponenten der Google Cloud-Pipeline

Diese Kurzanleitung führt Sie durch die Installation des Google Cloud Pipeline Components SDK (GCPC).

Neuesten Release installieren

Verwenden Sie den folgenden Befehl, um das Google Cloud Pipeline Components SDK aus dem Python Package Index (PyPI) zu installieren:

pip install --upgrade google-cloud-pipeline-components

Vordefinierte Komponente über das GCPC SDK verwenden

Nachdem Sie das Google Cloud Pipeline Components SDK installiert haben, können Sie es zum Importieren einer vordefinierten Komponente verwenden.

Informationen zu SDK-Referenzen für unterstützte Komponenten finden Sie in der Dokumentation zum google_cloud_pipeline_components SDK.

Sie können beispielsweise den folgenden Code verwenden, um die Dataflow-Komponente in eine Pipeline zu importieren und zu verwenden.

from google_cloud_pipeline_components.v1.dataflow import DataflowPythonJobOp
from kfp import dsl

@dsl.pipeline(
    name=PIPELINE_NAME,
    description='Dataflow launch python pipeline'
)
def pipeline(
    python_file_path:str = 'gs://ml-pipeline-playground/samples/dataflow/wc/wc.py',
    project_id:str = PROJECT_ID,
    location:str = LOCATION,
    staging_dir:str = PIPELINE_ROOT,
    requirements_file_path:str = 'gs://ml-pipeline-playground/samples/dataflow/wc/requirements.txt',
):
    dataflow_python_op = DataflowPythonJobOp(
        project=project_id,
        location=location,
        python_module_path=python_file_path,
        temp_location = staging_dir,
        requirements_file_path = requirements_file_path,
        args = ['--output', OUTPUT_FILE],
    )

Nächste Schritte