Cargar datos de PostgreSQL en BigQuery

Vista previa

Esta función está sujetas a los "Términos de las Ofertas de Acceso Previo a la Disponibilidad General" de la sección Términos Generales de los Servicios de los Términos Específicos de los Servicios. Las funciones previas a la disponibilidad general están disponibles tal cual y pueden tener una compatibilidad y asistencia limitadas. Para obtener más información, consulta las descripciones de las fases de lanzamiento.

Nota: Para obtener asistencia o enviar comentarios sobre esta función, ponte en contacto con [e-mail].

Puede cargar datos de PostgreSQL en BigQuery mediante el conector de BigQuery Data Transfer Service para PostgreSQL. El conector admite instancias de PostgreSQL alojadas en tu entorno local, Cloud SQL y otros proveedores de servicios en la nube pública, como Amazon Web Services (AWS) y Microsoft Azure. Con BigQuery Data Transfer Service, puedes programar tareas de transferencia periódicas que añadan tus datos más recientes de PostgreSQL a BigQuery.

Limitaciones

Las transferencias de datos de PostgreSQL están sujetas a las siguientes limitaciones:

• El número máximo de ejecuciones de transferencia simultáneas a una sola base de datos de PostgreSQL se determina en función del número máximo de conexiones simultáneas admitidas por la base de datos de PostgreSQL. El número de trabajos de transferencia simultáneos debe limitarse a un valor inferior al número máximo de conexiones simultáneas admitidas por la base de datos PostgreSQL.
• En PostgreSQL, algunos tipos de datos se asignan al tipo de cadena en BigQuery para evitar la pérdida de datos. Por ejemplo, los tipos numéricos definidos en PostgreSQL que no tienen una precisión y una escala definidas se asignan al tipo de cadena en BigQuery.
• Una configuración de transferencia solo puede admitir una ejecución de transferencia de datos a la vez. Si se programa una segunda transferencia de datos para que se ejecute antes de que se complete la primera, solo se completará la primera transferencia de datos y se omitirán las demás transferencias de datos que se solapen con la primera.
  • Para evitar que se omitan transferencias en una misma configuración de transferencia, le recomendamos que aumente el tiempo que transcurre entre las transferencias de grandes cantidades de datos configurando la frecuencia de repetición.

Antes de empezar

• Crea un usuario en la base de datos de PostgreSQL.
• Comprueba que has completado todas las acciones necesarias para habilitar BigQuery Data Transfer Service.
• Crea un conjunto de datos de BigQuery para almacenar tus datos.
• Asegúrate de que tienes los roles necesarios para completar las tareas que se describen en este documento.

Roles obligatorios

Si tienes previsto configurar notificaciones de ejecuciones de transferencias para Pub/Sub, asegúrate de que tienes el permiso de pubsub.topics.setIamPolicyGestión de Identidades y Accesos (IAM). No se necesitan permisos de Pub/Sub si solo configuras notificaciones por correo electrónico. Para obtener más información, consulta el artículo sobre las notificaciones de ejecución de BigQuery Data Transfer Service.

Para obtener los permisos que necesitas para crear una transferencia de datos de PostgreSQL, pide a tu administrador que te asigne el rol de gestión de identidades y accesos Administrador de BigQuery (roles/bigquery.admin) en tu proyecto. Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene los permisos necesarios para crear una transferencia de datos de PostgreSQL. Para ver los permisos exactos que se necesitan, despliega la sección Permisos necesarios:

Permisos obligatorios

Para crear una transferencia de datos de PostgreSQL, se necesitan los siguientes permisos:

• bigquery.transfers.update
• bigquery.datasets.get

También puedes obtener estos permisos con roles personalizados u otros roles predefinidos.

Conexiones de red

Si no hay disponible ninguna dirección IP pública para la conexión de la base de datos PostgreSQL, debes configurar un adjunto de red.

Para obtener instrucciones detalladas sobre la configuración de red necesaria, consulta los siguientes documentos:

• Si vas a transferir datos desde Cloud SQL, consulta el artículo Configurar el acceso a la instancia de Cloud SQL.
• Si vas a transferir datos desde AWS, consulta Configurar la VPN de AWS-Google Cloud y la conexión de red.
• Si vas a hacer la transferencia desde Azure, consulta Configurar la VPN de AzureGoogle Cloud y la conexión de red.

Configurar una transferencia de datos de PostgreSQL

Añada datos de PostgreSQL a BigQuery configurando una transferencia con una de las siguientes opciones:

Consola

1. Ve a la página Transferencias de datos.

   Ir a Transferencias de datos

2. Haz clic en Crear transferencia.

3. En la sección Tipo de fuente, en Fuente, selecciona PostgreSQL.

4. En la sección Nombre de la configuración de transferencia, en Nombre visible, indica un nombre para la transferencia. El nombre de la transferencia puede ser cualquier valor que te permita identificarla si necesitas modificarla más adelante.

5. En la sección Opciones de programación, haga lo siguiente:

   • Selecciona una frecuencia de repetición. Si selecciona la opción Horas, Días (opción predeterminada), Semanas o Meses, también debe especificar una frecuencia. También puedes seleccionar la opción Personalizar para crear una frecuencia de repetición más específica. Si seleccionas la opción Bajo demanda, esta transferencia de datos solo se realizará cuando la inicies manualmente.
   • Si procede, selecciona la opción Empezar ahora o Empezar a una hora determinada y proporciona una fecha de inicio y un tiempo de ejecución.

6. En la sección Configuración de destino, en Conjunto de datos, selecciona el conjunto de datos que has creado para almacenar los datos o haz clic en Crear conjunto de datos y crea uno para usarlo como conjunto de datos de destino.

7. En la sección Detalles de la fuente de datos, haga lo siguiente:

   • En Red adjunta, selecciona una red adjunta o haz clic en Crear red adjunta. Para obtener más información, consulta la sección Conexiones de red de este documento.
   • En Host (Host), introduce el nombre de host o la dirección IP del servidor de la base de datos PostgreSQL.
   • En Número de puerto, introduce el número de puerto del servidor de bases de datos PostgreSQL.
   • En Nombre de la base de datos, introduce el nombre de la base de datos de PostgreSQL.
   • En Nombre de usuario, introduce el nombre de usuario de PostgreSQL que inicia la conexión con la base de datos de PostgreSQL.
   • En Contraseña, introduce la contraseña del usuario de PostgreSQL que inicia la conexión con la base de datos de PostgreSQL.

   • Para transferir objetos de PostgreSQL, haz una de las siguientes acciones:

     • Haz clic en Examinar para seleccionar las tablas de PostgreSQL que se necesiten para la transferencia y, a continuación, haz clic en Seleccionar.
     • Introduce manualmente los nombres de las tablas de los objetos de PostgreSQL que quieras transferir.

   

8. Opcional: En el menú Cuenta de servicio, especifica una cuenta de servicio personalizada para autorizar la transferencia. Asegúrate de que la cuenta de servicio que se utiliza tenga todos los roles y permisos necesarios. Para obtener más información, consulta el artículo Transferir la propiedad a una cuenta de servicio.

9. Opcional: En la sección Opciones de notificación, haz lo siguiente:

   • Para habilitar las notificaciones por correo, haz clic en el interruptor Notificaciones por correo para activarlo. Si habilita esta opción, el administrador de las transferencias recibirá una notificación por correo cuando falle una ejecución de transferencia.
   • Para configurar las notificaciones de Pub/Sub sobre la transferencia, activa el interruptor Notificaciones de Pub/Sub. Puedes seleccionar el tema o hacer clic en Crear un tema para crear uno.

10. Haz clic en Guardar.

bq

Introduce el comando bq mk y proporciona la marca de creación de transferencia --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Haz los cambios siguientes:

• PROJECT_ID (opcional): el ID de tu proyecto Google Cloud . Si no se proporciona la marca --project_id para especificar un proyecto concreto, se usará el proyecto predeterminado.
• DATA_SOURCE: la fuente de datos, que es postgresql.
• DISPLAY_NAME: el nombre visible de la configuración de transferencia de datos. El nombre de la transferencia puede ser cualquier valor que te permita identificarla si necesitas modificarla más adelante.
• DATASET: el conjunto de datos de destino de la configuración de transferencia de datos.

• PARAMETERS: los parámetros de la configuración de transferencia creada en formato JSON. Por ejemplo: --params='{"param":"param_value"}'. Estos son los parámetros de una transferencia de PostgreSQL:

  • networkAttachment (opcional): nombre del archivo adjunto de red para conectarse a la base de datos PostgreSQL.
  • connector.database: el nombre de la base de datos de PostgreSQL.
  • connector.endpoint.host: el nombre de host o la dirección IP de la base de datos.
  • connector.endpoint.port: número de puerto de la base de datos.
  • connector.authentication.username: nombre de usuario del usuario de la base de datos.
  • connector.authentication.password: la contraseña del usuario de la base de datos.
  • assets: lista de los nombres de las tablas de PostgreSQL que se van a transferir de la base de datos de PostgreSQL como parte de la transferencia.

Por ejemplo, el siguiente comando crea una transferencia de PostgreSQL llamada My Transfer:

bq mk
    --transfer_config
    --target_dataset=mydataset
    --data_source=postgresql
    --display_name='My Transfer'
    --params='{"assets":["DB1/PUBLIC/DEPARTMENT","DB1/PUBLIC/EMPLOYEES"],
        "connector.authentication.username": "User1",
        "connector.authentication.password":"ABC12345",
        "connector.database":"DB1",
        "connector.endpoint.host":"192.168.0.1",
        "connector.endpoint.port":5432}'

API

Usa el método projects.locations.transferConfigs.create y proporciona una instancia del recurso TransferConfig.

Cuando guardas la configuración de la transferencia, el conector de PostgreSQL activa automáticamente una ejecución de la transferencia según la opción de programación que hayas elegido. En cada ejecución de la transferencia, el conector de PostgreSQL transfiere todos los datos disponibles de PostgreSQL a BigQuery.

Para ejecutar manualmente una transferencia de datos fuera de tu programación habitual, puedes iniciar una ejecución de rellenado.

Asignación de tipos de datos

En la siguiente tabla se asignan los tipos de datos de PostgreSQL a los tipos de datos de BigQuery correspondientes.

Tipo de datos de PostgreSQL	Tipo de datos de BigQuery
bigint	INTEGER
bigserial	INTEGER
bit(n)	STRING
bit varying(n)	STRING
boolean	BOOLEAN
bytea	BYTES
character	STRING
character varying	STRING
double precision	FLOAT
integer	INTEGER
numeric(precision, scale)/decimal(precision, scale)	NUMERIC
real	FLOAT
smallint	INTEGER
smallserial	INTEGER
serial	INTEGER
text	STRING
date	DATE
time [ (p) ] [ without timezone ]	TIMESTAMP
time [ (p) ] with time zone	TIMESTAMP
timestamp [ (p) ] [ without timezone ]	TIMESTAMP
timestamp [ (p) ] with time zone	TIMESTAMP
xml	STRING
tsquery	STRING
tsvector	STRING
uuid	STRING
box	STRING
cidr	STRING
circle	STRING
inet	STRING
interval	STRING
json	STRING
jsonb	STRING
line	STRING
lseg	STRING
macaddr	STRING
macaddr8	STRING
money	STRING
path	STRING
point	STRING
polygon	STRING

Solucionar problemas

Si tienes problemas para configurar la transferencia de datos, consulta Problemas con la transferencia de PostgreSQL.

Siguientes pasos

• Para obtener una descripción general de BigQuery Data Transfer Service, consulta el artículo ¿Qué es BigQuery Data Transfer Service?
• Para obtener información sobre cómo usar las transferencias, como obtener información sobre una configuración de transferencia, enumerar configuraciones de transferencia y ver el historial de ejecuciones de una transferencia, consulta Gestionar transferencias.
• Consulta cómo cargar datos con operaciones entre nubes.