A diferencia de los flujos de trabajo estándar que crean una instancia de un recurso de plantilla de flujo de trabajo creado previamente, los flujos de trabajo intercalados usan un archivo YAML o una definición WorkflowTemplate incorporada para ejecutar un flujo de trabajo.
Por el momento, la creación de flujos de trabajo intercalados no es compatible con Cloud Console. Las plantillas de flujo de trabajo y los flujos de trabajo en los que se crearon instancias se pueden ver desde la página Flujos de trabajo de Dataproc.
from google.cloud import dataproc_v1 as dataproc
def instantiate_inline_workflow_template(project_id, region):
"""This sample walks a user through submitting a workflow
for a Cloud Dataproc using the Python client library.
Args:
project_id (string): Project to use for running the workflow.
region (string): Region where the workflow resources should live.
"""
# Create a client with the endpoint set to the desired region.
workflow_template_client = dataproc.WorkflowTemplateServiceClient(
client_options={
'api_endpoint': f'{region}-dataproc.googleapis.com:443'
}
)
parent = workflow_template_client.region_path(project_id, region)
template = {
'jobs': [
{
'hadoop_job': {
'main_jar_file_uri': 'file:///usr/lib/hadoop-mapreduce/'
'hadoop-mapreduce-examples.jar',
'args': [
'teragen',
'1000',
'hdfs:///gen/'
]
},
'step_id': 'teragen'
},
{
'hadoop_job': {
'main_jar_file_uri': 'file:///usr/lib/hadoop-mapreduce/'
'hadoop-mapreduce-examples.jar',
'args': [
'terasort',
'hdfs:///gen/',
'hdfs:///sort/'
]
},
'step_id': 'terasort',
'prerequisite_step_ids': [
'teragen'
]
}],
'placement': {
'managed_cluster': {
'cluster_name': 'my-managed-cluster',
'config': {
'gce_cluster_config': {
# Leave 'zone_uri' empty for 'Auto Zone Placement'
# 'zone_uri': ''
'zone_uri': 'us-central1-a'
}
}
}
}
}
# Submit the request to instantiate the workflow from an inline template.
operation = workflow_template_client.instantiate_inline_workflow_template(
parent, template
)
operation.result()
# Output a success message.
print('Workflow ran successfully.')
