Configurar una base de datos de AlloyDB para PostgreSQL para CDC

En esta página se describe cómo configurar la captura de datos de cambios (CDC) para transmitir datos desde una base de datos de AlloyDB para PostgreSQL a un destino admitido, como BigQuery o Cloud Storage.

Configurar la conectividad entre Datastream y AlloyDB

Para que Datastream pueda conectarse a la instancia de AlloyDB, debe configurar un proxy TCP en el proyecto de consumidor. La imagen del proxy TCP está disponible públicamente para todos los clientes.

  1. Inicia el contenedor proxy:

    1. Activa Cloud Shell en el proyecto del consumidor.
    2. Ejecuta la siguiente secuencia de comandos para crear el proxy TCP y deshabilitar la red de puente para evitar problemas de conectividad:
    gcloud compute instances create-with-container \
  --zone=REGION_ID VM_NAME \
  --container-image gcr.io/dms-images/tcp-proxy \
  --tags=dms-tcp-proxy \
  --container-env=SOURCE_CONFIG=ALLOYDB_IP:ALLOYDB_PORT \
  --can-ip-forward \
  --network=SOURCE_AND_DEST_VPC \
  --machine-type=VM_TIER \
  --metadata=startup-script='#! /bin/bash
  mkdir -p /etc/docker
  cat <<EOF > /etc/docker/daemon.json
  {"bridge":"none"}
  EOF
  systemctl restart docker'

    Haz los cambios siguientes:

    • REGION_ID: la región en la que quieres crear el proxy TCP.
    • VM_NAME: nombre de la máquina virtual.
    • ALLOYDB_IP: la dirección IP de la instancia de AlloyDB para PostgreSQL.
    • ALLOYDB_PORT: el número de puerto de la instancia de AlloyDB para PostgreSQL.
    • SOURCE_AND_DEST_VPC: la red de VPC a la que están conectados el origen y el destino.
    • VM_TIER: el tipo de máquina virtual.

    Un ejemplo de comando con parámetros actualizados:

    gcloud compute instances create-with-container \
  --zone=us-central1-c ds-tcp-proxy \
  --container-image gcr.io/dms-images/tcp-proxy \
  --tags=ds-tcp-proxy \
  --container-env=SOURCE_CONFIG=10.16.0.5:5432 \
  --can-ip-forward \
  --network=default \
  --machine-type=e2-micro
  --metadata=startup-script='#! /bin/bash
  mkdir -p /etc/docker
  cat <<EOF > /etc/docker/daemon.json
  {"bridge":"none"}
  EOF
  systemctl restart docker'

  2. Ejecuta la secuencia de comandos para imprimir la dirección IP del proxy TCP con las siguientes entradas:

    gcloud compute instances describe VM_NAME \
  --format="yaml(networkInterfaces[].networkIP)" \
  --zone=REGION_ID

    Haz los cambios siguientes:

    • VM_NAME: nombre de la máquina virtual.
    • REGION_ID: la región en la que has creado el proxy TCP.

  3. (Opcional) Crea una regla de cortafuegos para limitar el tráfico de entrada al proxy TCP:

    gcloud compute firewall-rules create FIREWALL_RULE_NAME \
  --direction=INGRESS \
  --priority=1000 \
  --target-tags=dms-tcp-proxy \
  --network=SOURCE_VPC \
  --action=ALLOW \
  --rules=tcp:ALLOYDB_PORT \
  --source-ranges=IP_RANGE

    Haz los cambios siguientes:

    • FIREWALL_RULE_NAME: el nombre de la regla de cortafuegos.
    • SOURCE_VPC: la red de VPC a la que está conectada tu fuente.
    • ALLOYDB_PORT: el número de puerto de la instancia de AlloyDB para PostgreSQL.
    • IP_RANGE: el intervalo de direcciones IP al que quieres limitar el tráfico entrante.

    Un ejemplo de comando para permitir el tráfico de entrada de todas las direcciones IP:

    gcloud compute firewall-rules create ds-proxy1 \
  --direction=INGRESS \
  --priority=1000 \
  --target-tags=ds-tcp-proxy \
  --network=default \
  --action=ALLOW \
  --rules=tcp:5432

Configurar AlloyDB para la replicación

  1. Habilita la decodificación lógica en la instancia principal de AlloyDB. En Google Cloud, asigna el valor ON a la marca alloydb.logical_decoding. Para obtener información sobre cómo actualizar las marcas de la base de datos, consulta Configurar las marcas de la base de datos de una instancia.

  2. Conéctate a la instancia de AlloyDB mediante la dirección IP del proxy TCP ejecutando el siguiente comando desde cualquier VM de la misma VPC:

      psql -h PROXY_IP \
    -U DB_USER \
    -d DB_NAME

    Haz los cambios siguientes:

    • PROXY_IP: la dirección IP del proxy TCP.
    • DB_USER: nombre de usuario de la base de datos de AlloyDB.
    • DB_NAME: nombre de la base de datos de AlloyDB.

  3. Ejecuta el siguiente comando para conceder privilegios de replicación a tu usuario de la base de datos:

    ALTER USER DB_USER WITH REPLICATION;

  4. Crea una publicación. Te recomendamos que crees una publicación solo para las tablas que quieras replicar. De esta forma, Datastream puede leer los datos relevantes y se reduce la carga de la base de datos y de Datastream:

    CREATE PUBLICATION PUBLICATION_NAME
FOR TABLE SCHEMA1.TABLE1, SCHEMA2.TABLE2;

    Haz los cambios siguientes:

    • PUBLICATION_NAME: el nombre de tu publicación. Deberá proporcionar este nombre cuando cree un flujo en el asistente de creación de flujos de Datastream.
    • SCHEMA: el nombre del esquema que contiene la tabla.
    • TABLE: el nombre de la tabla que quieres replicar.

    También puede crear una publicación para todas las tablas de su base de datos. Tenga en cuenta que este enfoque aumenta la carga tanto en la base de datos de origen como en Datastream:

    CREATE PUBLICATION PUBLICATION_NAME FOR ALL TABLES;

  5. Crea un slot de replicación ejecutando el siguiente comando.

    SELECT PG_CREATE_LOGICAL_REPLICATION_SLOT('REPLICATION_SLOT_NAME', 'pgoutput');

    Haz los cambios siguientes:

    • REPLICATION_SLOT_NAME: el nombre de tu ranura de replicación. Deberá proporcionar este nombre cuando cree un flujo en el asistente de creación de flujos de Datastream.

Crear un usuario de Datastream

  1. Para crear un usuario de Datastream, introduce el siguiente comando de PostgreSQL:

    CREATE USER USER_NAME WITH REPLICATION LOGIN PASSWORD 'USER_PASSWORD';

    Haz los cambios siguientes:

    • USER_NAME: nombre del usuario de Datastream que quieras crear.
    • USER_PASSWORD: la contraseña de inicio de sesión del usuario de Datastream que quieras crear.

  2. Concede los siguientes privilegios al usuario que has creado:

    GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO USER_NAME;
GRANT USAGE ON SCHEMA SCHEMA_NAME TO USER_NAME;
ALTER DEFAULT PRIVILEGES IN SCHEMA SCHEMA_NAME GRANT SELECT ON TABLES TO USER_NAME;

    Haz los cambios siguientes:

    • SCHEMA_NAME: el nombre del esquema al que quieres conceder los privilegios.
    • USER_NAME: el usuario al que quieres conceder los privilegios.

Siguientes pasos