Panduan memulai: Google Cloud Pipeline Components

Panduan memulai ini memandu Anda dalam menginstal Google Cloud Pipeline Components (GCPC) SDK.

Menginstal rilis terbaru

Gunakan perintah berikut untuk menginstal Google Cloud Pipeline Components SDK dari Python Package Index (PyPI):

pip install --upgrade google-cloud-pipeline-components

Menggunakan komponen siap pakai melalui GCPC SDK

Setelah menginstal Google Cloud Pipeline Components SDK, Anda dapat menggunakannya untuk mengimpor komponen siap pakai.

Untuk mengetahui informasi referensi SDK tentang komponen yang didukung, lihat dokumentasi google_cloud_pipeline_components SDK.

Misalnya, Anda dapat menggunakan kode berikut untuk mengimpor dan menggunakan komponen Dataflow di pipeline.

from google_cloud_pipeline_components.v1.dataflow import DataflowPythonJobOp
from kfp import dsl

@dsl.pipeline(
    name=PIPELINE_NAME,
    description='Dataflow launch python pipeline'
)
def pipeline(
    python_file_path:str = 'gs://ml-pipeline-playground/samples/dataflow/wc/wc.py',
    project_id:str = PROJECT_ID,
    location:str = LOCATION,
    staging_dir:str = PIPELINE_ROOT,
    requirements_file_path:str = 'gs://ml-pipeline-playground/samples/dataflow/wc/requirements.txt',
):
    dataflow_python_op = DataflowPythonJobOp(
        project=project_id,
        location=location,
        python_module_path=python_file_path,
        temp_location = staging_dir,
        requirements_file_path = requirements_file_path,
        args = ['--output', OUTPUT_FILE],
    )

Langkah selanjutnya