Valores agregados en el momento de la escritura

Si deseas agregar tus datos en Bigtable en el momento de la escritura, puedes puedes usar agregados. Los agregados son celdas de una tabla de Bigtable que agregar valores de celda a medida que se escriben los datos. Cuando agregas un valor nuevo, se genera una la función de agregación combina el valor con el valor agregado que ya está en la celda. Otras bases de datos se refieren a funciones similares a las de los contadores o contadores distribuidos.

Durante la Vista previa, puedes trabajar con agregados usando el comando CLI de cbt y las bibliotecas cliente de Bigtable para C++, Go y Java.

En este documento, se brinda una descripción general de las agregaciones y se muestra cómo crear un agregar una familia de columnas y proporciona ejemplos de cómo agregar un valor a un Agregar celda. Antes de leer este documento, debes familiarizarte con los Bigtable descripción general y Escrituras .

Cuándo usar agregaciones

Los agregados de Bigtable son útiles en situaciones en las que te interesa datos de una entidad de forma agregada y no como datos individuales. Si estás migrar a Bigtable desde bases de datos como Apache Cassandra o Redis, puedes usar las agregaciones de Bigtable en lugares donde anteriormente dependía de contadores en estos sistemas.

Buckets de tiempo

Puedes usar buckets de tiempo para obtener valores agregados por un período, como una hora, un día o una semana. En lugar de agregar datos antes o después de que se escriben a tu tabla, debes agregar nuevos valores para agregar las celdas de la tabla.

Por ejemplo, si ofreces un servicio que ayuda a organizaciones benéficas a recaudar dinero, podrías desean saber la cantidad de donaciones en línea al día de cada campaña, pero no necesitan saber el momento exacto de cada donación ni el importe por hora. En la tabla, las claves de fila representan los ID de organizaciones familia llamada donations. Los calificadores de columnas de la fila son los IDs de campaña.

Como cada donación recibida en un día determinado para una campaña, se suma a la suma de la celda de agregación en la columna de ese día. Cada agregado solicitud de celda usa una marca de tiempo truncada al comienzo del día, así que que, en efecto, cada solicitud tiene la misma marca de tiempo. Truncar las marcas de tiempo garantiza que todas las donaciones de ese día se agreguen a la misma celda. El al día siguiente, todas tus solicitudes van a una nueva celda, con marcas de tiempo que son se truncará hasta la nueva fecha, y ese patrón continuará.

Según su caso de uso, puede optar por crear columnas nuevas para su campaña nueva agrega en su lugar. Según la cantidad de buckets que planees podrías considerar un diseño de clave de fila diferente.

Si deseas obtener más información sobre buckets temporales, consulta Diseño de esquemas para series temporales datos categóricos.

Optimización de los flujos de trabajo

Las agregaciones te permiten agregar tus datos a tu tabla de Bigtable sin necesidad de usar ningún ETL ni software de procesamiento de transmisión para agregar tus datos antes o después de escribirlos en Bigtable. Por ejemplo: si tu aplicación publicó mensajes anteriormente en Pub/Sub y, luego, usó Dataflow para leer los mensajes y agregar los datos antes escribirlos en Bigtable, en su lugar, podrías enviarlos directamente para agregar celdas en Bigtable.

Familias de columnas agregadas

Para crear y actualizar celdas agregadas, debes tener una o más celdas agregadas familias de columnas de la tabla: familias de columnas que solo contienen datos agregados celdas. Puedes crearlas cuando creas una tabla o puedes agregar una agregación a una tabla que ya esté en uso. Cuando creas la columna debes especificar el tipo de agregación, como suma.

No puedes convertir una familia de columnas que contiene datos no agregados en un con una familia de columnas agregada. Las columnas de las familias de columnas agregadas no pueden contener celdas no agregadas y las familias de columnas estándar no pueden contener celdas agregadas.

Para crear una tabla nueva con una familia de columnas agregada, consulta Crea una de la tabla. Cómo agregar una columna de agregación a una tabla, consulta Agregar columna familias.

Tipos de agregación

Bigtable admite los siguientes tipos de agregación:

  • sum. Cuando agregas un valor a una celda de suma total, el valor de la celda se y se reemplaza por la suma del valor agregado recientemente y el valor actual de la celda. El tipo de entrada que se admite para las sumas es Int64.
  • min. Cuando se agrega un valor a una celda agregada mínima, el valor de la celda se reemplazado por el valor más bajo entre el valor agregado recientemente y el valor el valor de la celda. El tipo de entrada compatible con el valor mínimo es Int64.
  • max. Cuando se agrega un valor a una celda agregada máxima, el valor de la celda se reemplazado por el valor más alto entre el valor agregado recientemente y el valor el valor de la celda. El tipo de entrada que se admite para el máximo es Int64.

Marcas de tiempo

Una celda de agregación se define por la clave de fila, la familia de columnas, el calificador de columna y y marca de tiempo. Se usa la misma marca de tiempo cada vez que se agregan datos a la celda. Si envía un valor a la misma clave de fila, familia de columnas y calificador de columna, pero con un una marca de tiempo diferente, se crea una nueva celda agregada en la columna.

Una solicitud de agregado que se envía a una celda de agregación debe incluir una marca de tiempo.

Tipo de entrada

El tipo de entrada del valor en la solicitud de agregado debe coincidir con el tipo de entrada que con la que se crea la familia de columnas. Por ejemplo, si envías un valor de cadena a una configurada para Int64, se rechaza la solicitud.

AddToCell

Una solicitud de adición envía una mutación AddToCell en la API de datos de Bigtable. Por el contrario, una solicitud de escritura no agregada envía una mutación SetCell. Para ver más consulta la página de la API de Data referencia . Las operaciones AddToCell están sujetas a las mismas operaciones límites que otras mutaciones de la tabla.

En una tabla replicada, una celda agregada converge en el mismo valor total en a todos los clústeres con el retraso de replicación actual. El valor total es el agregado de todas las mutaciones de AddToCell enviadas a esa celda en todos los clústeres desde la última operación de eliminación o desde que se creó la celda.

Agrega ejemplos de solicitudes

En los siguientes ejemplos, se muestra cómo agregar un valor a una celda de agregación. El ejemplos se suman a una suma en una familia de columnas que espera el tipo de entrada Int64.

cbt

cbt addtocell TABLE_ID ROW_KEY FAMILY_NAME:COLUMN_QUALIFER=VALUE@TIMESTAMP

Reemplaza lo siguiente:

  • TABLE_ID: el identificador permanente de la tabla
  • ROW_KEY: Es la clave de fila.
  • FAMILY_NAME: Es el nombre de la familia de columnas agregada.
  • COLUMN_QUALIFIER: Un identificador para la columna
  • VALUE: Es el valor que se agregará a la celda.
  • TIMESTAMP: Una marca de tiempo de Unix en microsegundos, como 1710868850000000

Ejemplo:

cbt addtocell mobile-data device-1 updates:week12=100@1710868850000000

Go

Para aprender a instalar y usar la biblioteca cliente de Bigtable, consulta Bibliotecas cliente de Bigtable.

Para autenticarte en Bigtable, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para bibliotecas cliente. 

import (
	"context"
	"fmt"
	"io"
	"time"

	"cloud.google.com/go/bigtable"
)

func writeAggregate(w io.Writer, projectID, instanceID string, tableName string) error {
	// projectID := "my-project-id"
	// instanceID := "my-instance-id"
	// tableName := "mobile-time-series"

	ctx := context.Background()
	client, err := bigtable.NewClient(ctx, projectID, instanceID)
	if err != nil {
		return fmt.Errorf("bigtable.NewClient: %w", err)
	}
	defer client.Close()
	tbl := client.Open(tableName)
	columnFamilyName := "view_count"
	viewTimestamp, err := time.Parse(time.RFC3339, "2024-03-13T12:41:34Z")
	if err != nil {
		return err
	}
	hourlyBucket := viewTimestamp.Truncate(time.Hour)

	mut := bigtable.NewMutation()
	mut.AddIntToCell(columnFamilyName, "views", bigtable.Time(hourlyBucket), 1)

	rowKey := "page#index.html"
	if err := tbl.Apply(ctx, rowKey, mut); err != nil {
		return fmt.Errorf("Apply: %w", err)
	}

	fmt.Fprintf(w, "Successfully wrote row: %s\n", rowKey)
	return nil
}

Java

Para aprender a instalar y usar la biblioteca cliente de Bigtable, consulta Bibliotecas cliente de Bigtable.

Para autenticarte en Bigtable, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para bibliotecas cliente. 


import com.google.cloud.bigtable.data.v2.BigtableDataClient;
import com.google.cloud.bigtable.data.v2.models.RowMutation;
import java.time.Instant;
import java.time.temporal.ChronoUnit;

public class WriteAggregate {
  private static final String COUNT_COLUMN_FAMILY_NAME = "view_count";
  private static final long MICROS_PER_MILLI = 1000;

  public static void writeAggregate(String projectId, String instanceId, String tableId) {
    // String projectId = "my-project-id";
    // String instanceId = "my-instance-id";
    // String tableId = "page-view-counter";

    try (BigtableDataClient dataClient = BigtableDataClient.create(projectId, instanceId)) {

      String rowKey = "page#index.html";
      Instant viewTimestamp = Instant.parse("2024-03-13T12:41:34.123Z");

      // Bucket the views for an hour into a single count, giving us an hourly view count for a
      // given page.
      Instant hourlyBucket = viewTimestamp.truncatedTo(ChronoUnit.HOURS);
      long hourlyBucketMicros = hourlyBucket.toEpochMilli() * MICROS_PER_MILLI;

      RowMutation rowMutation =
          RowMutation.create(tableId, rowKey)
              .addToCell(COUNT_COLUMN_FAMILY_NAME, "views", hourlyBucketMicros, 1);

      dataClient.mutateRow(rowMutation);
      System.out.printf("Successfully wrote row %s", rowKey);

    } catch (Exception e) {
      System.out.println("Error during WriteAggregate: \n" + e.toString());
    }
  }
}

¿Qué sigue?