Descripción general (API del SDK 1.9.1 de Google Cloud Dataflow)

SDK de Cloud Dataflow para Java, versión 1.9.1

El SDK de Cloud Dataflow para Java ofrece un modelo de programación simple y elegante para expresar las canalizaciones de procesamiento de datos. Consulta la página del producto a fin de obtener las instrucciones para comenzar usarlo y más información.

Consultar: Descripción

Paquetes 
Paquete Descripción
com.google.cloud.dataflow.sdk
Proporciona un modelo simple y potente para compilar procesamientos de datos por lotes y en transmisión simultáneaPipeline.
com.google.cloud.dataflow.sdk.annotations
Define las anotaciones que se usaron en el SDK.
com.google.cloud.dataflow.sdk.coders
Define Coders para especificar cómo se codifican y decodifican los datos de las string de bytes.
com.google.cloud.dataflow.sdk.coders.protobuf
Define un Coder para los mensajes de los búfer de protocolo, ProtoCoder.
com.google.cloud.dataflow.sdk.io
Define las transformaciones para las operaciones de escritura y lectura en los formatos de almacenamiento comunes, como AvroIO, BigQueryIO y TextIO.
com.google.cloud.dataflow.sdk.io.bigtable
Define las transformaciones para las operaciones de escritura y lectura de Google Cloud Bigtable.
com.google.cloud.dataflow.sdk.io.datastore
Proporciona una API para realizar operaciones de lectura y escritura en Google Cloud Datastore en diferentes versiones de la biblioteca cliente de Cloud Datastore.
com.google.cloud.dataflow.sdk.io.range
Proporciona ayudas libres de amenaza para implementar trabajos dinámicos mediante el rebalanceo de las fuentes delimitadas en función de la posición.
com.google.cloud.dataflow.sdk.options
Define PipelineOptions para configurar la ejecución de la canalización.
com.google.cloud.dataflow.sdk.runners
Define los ejecutores encargados de la canalización en diferentes modos, incluido DirectPipelineRunner y DataflowPipelineRunner.
com.google.cloud.dataflow.sdk.runners.inprocess
Define el InProcessPipelineRunner que ejecuta Pipelines delimitado y no delimitado en la máquina local.
com.google.cloud.dataflow.sdk.testing
Define los servicios públicos para probar las unidades de canalización de Dataflow.
com.google.cloud.dataflow.sdk.transforms
Define los PTransform para transformar los datos en una canalización.
com.google.cloud.dataflow.sdk.transforms.display
Define HasDisplayData para realizar la anotación de los componentes que proporcionan el display data que se usa en las IU y en las herramientas de diagnóstico.
com.google.cloud.dataflow.sdk.transforms.join
Define la transformación CoGroupByKey para unir varias PCollection.
com.google.cloud.dataflow.sdk.transforms.windowing
Define la transformación Window para dividir los elementos de una PCollection en una ventana y Trigger para controlar la salida de estos elementos.
com.google.cloud.dataflow.sdk.values
Define PCollection y otras clases para representar los datos en una Pipeline.

El SDK de Cloud Dataflow para Java ofrece un modelo de programación simple y elegante para expresar las canalizaciones de procesamiento de datos. Consulta la página del producto a fin de obtener las instrucciones para comenzar usarlo y más información.

La forma más fácil de usar el SDK de Google Cloud Dataflow para Java es mediante uno de los artefactos publicados del Repositorio central de Maven. Consulta las notas de la versión para obtener más información sobre cada una.

Los números de la versión usan el formato major.minor.incremental y aumentan de la siguiente manera:

  • versión principal para cambios incompatibles con la API
  • versión inferior de nuevas funciones agregadas y que cuentan con retrocompatibilidad
  • versión incremental para la corrección de errores con versiones futuras

Ten en cuenta que las API con la marca @Experimental pueden cambiar en cualquier momento y no se garantiza la compatibilidad entre versiones.