La plantilla de Pub/Sub a archivos de Avro en Cloud Storage es una canalización de transmisión que lee datos de un tema de Pub/Sub y escribe archivos de Avro en el bucket de Cloud Storage especificado.
Requisitos de la canalización
- El tema de entrada de Pub/Sub debe existir antes de la ejecución de la canalización.
Parámetros de la plantilla
| Parámetro | Descripción |
|---|---|
inputTopic |
Tema de Pub/Sub al cual suscribirse para el consumo de mensaje. El nombre del tema debe estar en formato projects/<project-id>/topics/<topic-name>. |
outputDirectory |
Directorio de salida en el que se archivan los archivos Avro de salida. Debe contener / al final.
Por ejemplo: gs://example-bucket/example-directory/. |
avroTempDirectory |
Directorio para los archivos de Avro temporales. Debe contener / al final. Por ejemplo: gs://example-bucket/example-directory/. |
outputFilenamePrefix |
Prefijo de nombre de archivo de salida para los archivos Avro (opcional). |
outputFilenameSuffix |
[Opcional] Sufijo de nombre de archivo de salida para los archivos Avro. |
outputShardTemplate |
[Opcional] Plantilla de fragmentación del archivo de salida. Se especifica como secuencias repetidas de las letras S o N. Por ejemplo, SSS-NNN. Estas se reemplazan por el número de fragmento o la cantidad total de fragmentos, respectivamente. Si no se especifica este parámetro, el formato de plantilla predeterminado es W-P-SS-of-NN. |
Ejecuta la plantilla
Consola
- Ve a la página Crear un trabajo a partir de una plantilla de Dataflow. Ir a Crear un trabajo a partir de una plantilla
- En el campo Nombre del trabajo, ingresa un nombre de trabajo único.
- Opcional: Para Extremo regional, selecciona un valor del menú desplegable. La región predeterminada es
us-central1.Para obtener una lista de regiones en las que puedes ejecutar un trabajo de Dataflow, consulta Ubicaciones de Dataflow.
- En el menú desplegable Plantilla de Dataflow, selecciona the Pub/Sub to Avro Files on Cloud Storage template.
- En los campos de parámetros proporcionados, ingresa los valores de tus parámetros.
- Haga clic en Ejecutar trabajo.
gcloud
En tu shell o terminal, ejecuta la plantilla:
gcloud dataflow jobs run JOB_NAME \
--gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_PubSub_to_Avro \
--region REGION_NAME \
--staging-location STAGING_LOCATION \
--parameters \
inputTopic=projects/PROJECT_ID/topics/TOPIC_NAME,\
outputDirectory=gs://BUCKET_NAME/output/,\
outputFilenamePrefix=FILENAME_PREFIX,\
outputFilenameSuffix=FILENAME_SUFFIX,\
outputShardTemplate=SHARD_TEMPLATE,\
avroTempDirectory=gs://BUCKET_NAME/temp/
Reemplaza lo siguiente:
JOB_NAME: Es el nombre del trabajo que elijasREGION_NAME: La región en la que deseas implementar tu trabajo de Dataflow, por ejemplo,us-central1VERSION: Es la versión de la plantilla que deseas usar.Puedes usar los siguientes valores:
latestpara usar la última versión de la plantilla, que está disponible en la carpeta superior non-dated en el bucket gs://dataflow-templates-REGION_NAME/latest/- el nombre de la versión, como
2023-09-12-00_RC00, para usar una versión específica de la plantilla, que se puede encontrar anidada en la carpeta superior con fecha correspondiente en el bucket gs://dataflow-templates-REGION_NAME/
STAGING_LOCATION: la ubicación para los archivos locales de etapa de pruebas (por ejemplo,gs://your-bucket/staging).TOPIC_NAME: Es el nombre del tema de Pub/Sub.BUCKET_NAME: Es el nombre del bucket de Cloud Storage.FILENAME_PREFIX: Es el prefijo del nombre de archivo de salida que prefieras.FILENAME_SUFFIX: Es el sufijo del nombre de archivo de salida que prefieras.SHARD_TEMPLATE: Es la plantilla de fragmentación de salida que prefieras.
API
Para ejecutar la plantilla con la API de REST, envía una solicitud HTTP POST. Para obtener más información de la API y sus permisos de autorización, consulta projects.templates.launch.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_PubSub_to_Avro
{
"jobName": "JOB_NAME",
"environment": {
"ipConfiguration": "WORKER_IP_UNSPECIFIED",
"additionalExperiments": []
},
"parameters": {
"inputTopic": "projects/PROJECT_ID/topics/TOPIC_NAME",
"outputDirectory": "gs://BUCKET_NAME/output/",
"avroTempDirectory": "gs://BUCKET_NAME/temp/",
"outputFilenamePrefix": "FILENAME_PREFIX",
"outputFilenameSuffix": "FILENAME_SUFFIX",
"outputShardTemplate": "SHARD_TEMPLATE"
}
}
Reemplaza lo siguiente:
PROJECT_ID: El ID del proyecto de Google Cloud en el que deseas ejecutar el trabajo de Dataflow.JOB_NAME: Es el nombre del trabajo que elijasLOCATION: La región en la que deseas implementar tu trabajo de Dataflow, por ejemplo,us-central1VERSION: Es la versión de la plantilla que deseas usar.Puedes usar los siguientes valores:
latestpara usar la última versión de la plantilla, que está disponible en la carpeta superior non-dated en el bucket gs://dataflow-templates-REGION_NAME/latest/- el nombre de la versión, como
2023-09-12-00_RC00, para usar una versión específica de la plantilla, que se puede encontrar anidada en la carpeta superior con fecha correspondiente en el bucket gs://dataflow-templates-REGION_NAME/
STAGING_LOCATION: la ubicación para los archivos locales de etapa de pruebas (por ejemplo,gs://your-bucket/staging).TOPIC_NAME: Es el nombre del tema de Pub/Sub.BUCKET_NAME: Es el nombre del bucket de Cloud Storage.FILENAME_PREFIX: Es el prefijo del nombre de archivo de salida que prefieras.FILENAME_SUFFIX: Es el sufijo del nombre de archivo de salida que prefieras.SHARD_TEMPLATE: Es la plantilla de fragmentación de salida que prefieras.
¿Qué sigue?
- Obtén información sobre las plantillas de Dataflow.
- Consulta la lista de plantillas que proporciona Google.