E/S de Bigtable

Advertencia: El SDK 1.x de Cloud Dataflow para Java no es compatible a partir del 16 de octubre de 2018. Consulta Cómo migrar desde el SDK 1.x de Cloud Dataflow para Java si deseas obtener instrucciones relacionadas con la migración.

La documentación de esta página se aplica solo al SDK 1.x de Dataflow para Java.

El SDK 2.x de Dataflow para Java y el SDK de Dataflow para Python se basan en Apache Beam. Consulta la documentación de esos SDK.

Los SDK de Dataflow proporcionan una API para leer y escribir los datos en una base de datos de Google Cloud Bigtable. La fuente y el receptor BigtableIO te permiten leer o escribir una PCollection de objetos Row de un Bigtable determinado.

El conector de E/S de Bigtable de Dataflow se considera experimental y puede sufrir cambios incompatibles con las versiones anteriores en las versiones futuras del SDK de Dataflow para Java.

También puedes utilizar el conector de HBase de Dataflow, que se proporciona como parte del cliente de HBase de Bigtable, para leer y escribir en Bigtable en tu canalización.

Cómo configurar opciones de Bigtable

Cuando lees o escribes en Bigtable, debes proporcionar un ID de tabla y un conjunto de opciones de Bigtable. Estas opciones contienen información necesaria para identificar el clúster de Bigtable de destino, que incluye lo siguiente:

• ID del proyecto
• ID de clúster
• ID de zona

La forma más fácil de proporcionar estas opciones es construirlas con BigtableOptions.Builder en el paquete com.google.cloud.bigtable.config.BigtableOptions:

  BigtableOptions.Builder optionsBuilder =
     new BigtableOptions.Builder()
         .setProjectId("project")
         .setClusterId("cluster")
         .setZoneId("zone");

Cómo leer desde Bigtable

Para leer desde Bigtable, aplica la transformación BigtableIO.read() a tu objeto Pipeline. Deberás especificar un ID de tabla y BigtableOptions con .withTableId y .withBigtableOptions, respectivamente. De forma predeterminada, BigtableIO.read() analiza todo el Bigtable especificado y muestra PCollection de los objetos Row de Bigtable:

  // Scan the entire table.
  PCollection <Row> btRows = p.apply("read",
      BigtableIO.read()
          .withBigtableOptions(optionsBuilder)
          .withTableId("table"));

Si deseas escanear un subconjunto de las filas en el Bigtable especificado, puedes proporcionar un objeto RowFilter de Bigtable. Si proporcionas un RowFilter, BigtableIO.read() mostrará solo las Row que coincidan con el filtro:

  // Read only rows that match the specified filter.

  RowFilter filter = ...;

  PCollection <Row> filteredBtRows = p.apply("filtered read",
      BigtableIO.read()
          .withBigtableOptions(optionsBuilder)
          .withTableId("table")
          .withRowFilter(filter));

Cómo escribir en Bigtable

Para escribir en Bigtable, aplica la transformación BigtableIO.write() a la PCollection que contiene tus datos de salida. Deberás especificar un ID de tabla y BigtableOptions con .withTableId y .withBigtableOptions, respectivamente.

Cómo formatear los datos de salida de Bigtable

El receptor de datos de BigtableIO realiza cada operación de escritura como un conjunto de mutaciones de fila al Bigtable de destino. Por lo tanto, debes formatear tus datos de salida como PCollection<KV<ByteString, Iterable<Mutation>>>. Cada elemento en PCollection debe contener lo siguiente:

• La clave de la fila que se escribirá como ByteString.
• Un Iterable de objetos Mutation que representan una serie de operaciones de mutación de fila idempotentes.