BigQuery

El conector de BigQuery te permite insertar, borrar, actualizar y leer operaciones en datos de Google BigQuery.

Antes de comenzar

Antes de usar el conector de BigQuery, realiza las siguientes tareas:

• En tu proyecto de Google Cloud, haz lo siguiente:
  • Otorga el rol de IAM roles/connectors.admin al usuario que configure el conector.
  • Otorga los siguientes roles de IAM a la cuenta de servicio que deseas usar para el conector:
    • roles/bigquery.dataEditor

    Una cuenta de servicio es un tipo de Cuenta de Google especial que representa a un usuario no humano que debe autenticarse y tener autorización para acceder a los datos de las APIs de Google. Si no tienes una cuenta de servicio, debes crear una. Para obtener más información, consulta Crea una cuenta de servicio.

  • Habilita los siguientes servicios:
    • secretmanager.googleapis.com (API de Secret Manager)
    • connectors.googleapis.com (API de conectores)

    Para comprender cómo habilitar servicios, consulta Habilita servicios.

  Si estos servicios o permisos no se habilitaron antes para tu proyecto, se te solicitará que los habilites cuando configures el conector.

Configura el conector

Para configurar el conector, debes crear una conexión a tu fuente de datos (sistema de backend). Una conexión es específica de una fuente de datos. Significa que, si tienes muchas fuentes de datos, debes crear una conexión independiente para cada fuente. Para crear una conexión, sigue estos pasos:

1. En la consola de Cloud, ve a la página Conectores de Integration > Conexiones y, luego, selecciona o crea un proyecto de Google Cloud.

   Ir a la página Conexiones

2. Haz clic en + CREAR NUEVO para abrir la página Crear conexión.
3. En la sección Ubicación, elige la ubicación para la conexión.
   1. Región: selecciona una ubicación de la lista desplegable.

      Para obtener la lista de todas las regiones compatibles, consulta Ubicaciones.

   2. Haz clic en SIGUIENTE.
4. En la sección Detalles de la conexión, completa lo siguiente:
   1. Conector: Selecciona BigQuery en la lista desplegable de conectores disponibles.
   2. Versión del conector: selecciona la versión del conector de la lista desplegable de versiones disponibles.
   3. En el campo Nombre de la conexión, ingresa un nombre para la instancia de conexión.

      Los nombres de las conexiones deben cumplir con los siguientes criterios:

      • Los nombres de las conexiones pueden usar letras, números o guiones.
      • Las letras deben estar en minúsculas.
      • Los nombres de las conexiones deben comenzar con una letra y terminar con una letra o un número.
      • Los nombres de las conexiones no pueden superar los 49 caracteres.
   4. De manera opcional, ingresa una Descripción para la instancia de conexión.
   5. De manera opcional, habilita Cloud Logging y, luego, selecciona un nivel de registro. De forma predeterminada, el nivel de registro se establece en Error.
   6. Cuenta de servicio: Selecciona una cuenta de servicio que tenga los roles necesarios.
   7. De manera opcional, configura los parámetros de nodo de conexión:
      • Cantidad mínima de nodos: Ingresa la cantidad mínima de nodos de conexión.
      • Cantidad máxima de nodos: Ingresa la cantidad máxima de nodos de conexión.

      Un nodo es una unidad (o réplica) de una conexión que procesa transacciones. Se requieren más nodos para procesar más transacciones para una conexión y, del mismo modo, se requieren menos para procesar menos transacciones. Para comprender cómo los nodos afectan el precio del conector, consulta Precios de nodos de conexión. Si no ingresas ningún valor, se establecen de forma predeterminada los nodos mínimos en 2 (para una mejor disponibilidad) y los nodos máximos se establecen en 50.

   Nota: Puedes personalizar los valores de los nodos de conexión solo si eres un cliente de pago por uso.
   8. ID del proyecto: Ingresa el ID del proyecto de Google Cloud en el que residen los datos.
   9. ID del conjunto de datos: Ingresa el ID del conjunto de datos de BigQuery.
   10. Usar proxy: selecciona esta casilla de verificación a fin de configurar un servidor proxy para la conexión y configurar los siguientes valores:
   • Esquema de autenticación del proxy: Selecciona el tipo de autenticación para autenticar con el servidor proxy. Se admiten los siguientes tipos de autenticación:
     • Básico: Autenticación HTTP básica.
     • Resumen: Autenticación de HTTP de resumen.
   • Usuario de proxy: Un nombre de usuario que se usará para autenticarse con el servidor proxy.
   • Contraseña de proxy: el secreto de Secret Manager de la contraseña del usuario.
   • Tipo de SSL del proxy: el tipo de SSL que se usará para conectarse al servidor del proxy. Se admiten los siguientes tipos de autenticación:
     • Automático: Configuración predeterminada. Si la URL es HTTPS, se usa la opción Túnel. Si la URL es una URL HTTP, se usa la opción NUNCA.
     • Siempre: La conexión siempre está habilitada para SSL.
     • Nunca: La conexión no está habilitada para SSL.
     • Túnel: La conexión se realiza a través de un proxy de túnel. El servidor proxy abre una conexión con el host remoto y el tráfico fluye de un lado a otro a través del proxy.
   • En la sección Proxy Server, ingresa los detalles del servidor proxy.
     1. Haz clic en Agregar destino.
     2. Selecciona un Tipo de destino.
        • Dirección del host: Especifica el nombre de host o la dirección IP del destino.

          Si deseas establecer una conexión privada a tu sistema de backend, haz lo siguiente:

          • Crea un adjunto de servicio de PSC.
          • Crea un adjunto de extremo y, luego, ingresa los detalles del adjunto del extremo en el campo Dirección del host.
   11. De forma opcional, haz clic en + AGREGAR ETIQUETA para agregar una etiqueta a la conexión en forma de un par clave-valor.
   12. Haga clic en SIGUIENTE.
5. En la sección Autenticación, ingresa los detalles de autenticación.
   1. Selecciona si quieres autenticarte con OAuth 2.0: Código de autorización o si quieres continuar sin autenticación.

      Para comprender cómo configurar la autenticación, consulta Configura la autenticación.

   2. Haz clic en SIGUIENTE.
6. Revisa: Revisa tus detalles de conexión y autenticación.
7. Haz clic en Crear.

Configura la autenticación

Ingresa los detalles según la autenticación que desees usar.

• Sin autenticación: Selecciona esta opción si no requieres autenticación.
• OAuth 2.0 - Código de autorización: selecciona esta opción para autenticar usando un flujo de acceso de usuarios basado en la Web. Especifica los siguientes detalles:
• ID de cliente: Es el ID de cliente necesario para conectarse a tu servicio de backend de Google.
• Alcances: Una lista separada por comas de los permisos deseados. Para ver todos los alcances de OAuth 2.0 admitidos para el servicio de Google requerido, consulta la sección correspondiente en la página Alcances de OAuth 2.0 para las APIs de Google.
• Secreto del cliente: Selecciona el secreto de Secret Manager. Debes haber creado el secreto de Secret Manager antes de configurar esta autorización.
• Versión del secreto: La versión del secreto de Secret Manager para el secreto del cliente.

Para el tipo de autenticación Authorization code, después de crear la conexión, debes realizar algunos pasos adicionales para configurar la autenticación. Para obtener más información, consulta Pasos adicionales después de la creación de la conexión.

Pasos adicionales después de la creación de la conexión

Si seleccionaste OAuth 2.0 - Authorization code para la autenticación, debes seguir estos pasos adicionales después de crear la conexión:

1. En la página Conexiones, ubica la conexión recién creada.

   Ten en cuenta que el Estado del nuevo conector será Se requiere autorización.

2. Haz clic en Se requiere autorización.

   Se mostrará el panel Editar autorización.

3. Copia el valor del URI de redireccionamiento en tu aplicación externa.
4. Verifica los detalles de la autorización.
5. Haz clic en Autorizar.

   Si la autorización se realiza correctamente, el estado de la conexión se establecerá como Activa en la Página Conexiones.

Cómo volver a autorizar el código de autorización

Si usas el tipo de autenticación Authorization code y cambiaste la configuración en BigQuery, haz lo siguiente: debes volver a autorizar tu conexión a BigQuery. Para volver a autorizar una conexión, sigue estos pasos:

1. Haz clic en la conexión requerida en la página Conexiones.

   Se abrirá la página de detalles de la conexión.

2. Haz clic en Editar para editar los detalles de la conexión.
3. Verifica los detalles de OAuth 2.0: Código de autorización en la sección Autenticación.

   Si es necesario, realiza los cambios necesarios.

4. Haz clic en Guardar. Esto te llevará a la página de detalles de la conexión.
5. Haz clic en Editar autorización en la sección Autenticación. Se mostrará el panel Autorizar.
6. Haz clic en Autorizar.

   Si la autorización se realiza correctamente, el estado de la conexión se establecerá como Activa en la página Conexiones.

Entidades, operaciones y acciones

Todos los Integration Connectors proporcionan una capa de abstracción para los objetos de la aplicación conectada. Solo puedes acceder a los objetos de una aplicación a través de esta abstracción. La abstracción se expone como entidades, operaciones y acciones.

Nota: Puedes ver las entidades, operaciones y acciones de un conector en la tarea de conectores.

• Entidades: Una entidad puede considerarse como un objeto o una colección de propiedades en la aplicación o servicio conectados. La definición de una entidad difiere de conector a conector. Por ejemplo, en un conector de bases de datos, las tablas son las entidades; en un conector de servidor de archivos, las carpetas son las entidades; en un conector de sistema de mensajería, las colas son las entidades.

  Sin embargo, es posible que un conector no admita o tenga ninguna entidad, en cuyo caso la lista Entities estará vacía.

• Operaciones: Una operación es la actividad que puedes realizar en una entidad. Puedes realizar cualquiera de las siguientes operaciones en una entidad:
  • Lista
  • Obtener
  • Crear
  • Actualizar
  • Borrar

  Cuando se selecciona una entidad de la lista disponible, se genera una lista de operaciones disponibles para esa entidad. Para obtener una descripción detallada de las operaciones, consulta las operaciones de entidades de la tarea de conectores. Sin embargo, si un conector no admite ninguna de las operaciones de entidad, estas operaciones no compatibles no se incluyen en la lista Operations.

• Acción: Una acción es una función de primera clase que está disponible para la integración mediante la interfaz de Conectores. Una acción te permite realizar cambios en una entidad o entidades y variar de un conector a otro. Normalmente, una acción tendrá algunos parámetros de entrada y una parámetro. Sin embargo, es posible que un conector no admita ninguna acción, en cuyo caso la lista Actions estará vacía.

Nota: Todas las entidades y acciones tendrán un esquema asociado. Por ejemplo, un esquema de acción tendrá los detalles de los parámetros, como los nombres de los parámetros y su tipo de datos correspondiente. La conexión recupera el esquema (metadatos) de las entidades y las acciones durante el tiempo de ejecución desde tu backend. Si hay actualizaciones en el esquema, estas no se se reflejan automáticamente en tus conexiones existentes; debes actualizar el esquema de forma manual. Para actualizar el esquema de una conexión, abre la página Detalles de la conexión de la conexión y, luego, haz clic en Actualizar esquema de conexión.

Limitaciones del sistema

El conector de BigQuery puede procesar un máximo de 8 transacciones por segundo, por nodo y throttles cualquiera transacciones superiores a este límite. De forma predeterminada, Integration Connectors asigna 2 nodos (para una mejor disponibilidad) por una conexión.

Para obtener información sobre los límites aplicables a Integration Connectors, consulta Límites.

Nota: La cantidad de nodos de Integration Connectors ajustará la escala de forma automática y dinámica según tu uso. Sin embargo, si deseas reservar capacidad para grandes volúmenes sin mientras esperas el ajuste de escala automático, puedes ajustar el valor mínimo de nodo para una conexión. Más se requieren nodos para procesar más transacciones para una conexión. Por el contrario, se requieren menos nodos si una conexión procesa menos transacciones. Cómo configurar el nodo de salida, haz lo siguiente:

• Si eres cliente de pago por uso, configura el valor mínimo y máximo de los nodos en la página de edición de la conexión.
• Si eres un cliente basado en suscripciones, comunícate con el equipo de asistencia.

La cantidad máxima de transacciones que puede controlar un nodo depende de varios factores. Por lo tanto, antes de ajustar los nodos mínimos para obtener una mejor capacidad de procesamiento, te recomendamos que verifiques si tus sistemas de backend están configurados de manera óptima para controlar el tráfico requerido.

Tipos de datos admitidos

A continuación, se indican los tipos de datos admitidos para este conector:

• BIGINT
• BINARY
• BIT
• BOOLEAN
• CHAR
• DATE
• DECIMAL
• DOUBLE
• FLOAT
• INTEGER
• LONGN VARCHAR
• LONG VARCHAR
• NCHAR
• NUMERIC
• NVARCHAR
• REAL
• SMALLINT
• TIME
• TIMESTAMP
• ENTERO TÍPICO
• VARBINARY
• VARCHAR

Problemas conocidos

El conector de BigQuery no admite la clave primaria en una tabla de BigQuery. Significa que no puedes realizar las operaciones de entidad Obtener, actualizar y borrar con un entityId Como alternativa, puedes usar la cláusula de filtro para filtrar los registros según un ID.

Acciones

En esta sección, se describen las acciones disponibles en el conector de BigQuery.

Nota: Los resultados de todas las operaciones de entidades y las acciones estarán disponibles como una respuesta JSON en el archivo connectorOutputPayload de la tarea Connectors parámetro de respuesta después de ejecutar la integración.

Acción CancelJob

Esta acción te permite cancelar un trabajo de BigQuery en ejecución.

En la siguiente tabla, se describen los parámetros de entrada de la acción CancelJob.

Nombre del parámetro	Tipo de dato	Descripción
JobId	String	El ID del trabajo que deseas cancelar. Este es un campo obligatorio.
Región	String	La región donde se ejecuta el trabajo actualmente. Esto no es necesario si el trabajo es en una región de EE.UU. o la UE.

Acción GetJob

Esta acción te permite recuperar la información de configuración y el estado de ejecución de un trabajo existente.

En la siguiente tabla, se describen los parámetros de entrada de la acción GetJob.

Nombre del parámetro	Tipo de dato	Descripción
JobId	String	El ID del trabajo para el que deseas recuperar la configuración. Este es un campo obligatorio.
Región	String	La región en la que se está ejecutando el trabajo. Esto no es obligatorio si el trabajo está en una región de EE.UU. o la UE.

Acción InsertJob

Esta acción te permite insertar un trabajo de BigQuery, que se puede seleccionar más adelante para recuperar los resultados de la consulta.

En la siguiente tabla, se describen los parámetros de entrada de la acción InsertJob.

Nombre del parámetro	Tipo de dato	Descripción
Consulta	String	La consulta que se enviará a BigQuery. Este es un campo obligatorio.
IsDML	String	Se debe configurar como true si la consulta es una declaración DML o false. de lo contrario. El valor predeterminado es false.
DestinationTable	String	La tabla de destino de la consulta, en formato DestProjectId:DestDatasetId.DestTable.
WriteDisposition	String	Especifica cómo escribir datos en la tabla de destino. como truncar los resultados existentes, agregar resultados existentes o escribir solo cuando la tabla esté vacía Los siguientes son los valores admitidos: WRITE_TRUNCATE WRITE_APPEND WRITE_EMPTY El valor predeterminado es WRITE_TRUNCATE.
DryRun	String	Especifica si la ejecución del trabajo es una ejecución de prueba.
MaximumBytesBilled	String	Especifica la cantidad máxima de bytes que puede procesar la tarea. BigQuery cancela el si este intenta procesar más bytes que el valor especificado.
Región	String	Especifica la región en la que se debe ejecutar la tarea.

Acción InsertLoadJob

Esta acción te permite insertar un trabajo de carga de BigQuery, que agrega datos de Google Cloud Storage a una tabla existente.

En la siguiente tabla, se describen los parámetros de entrada de la acción InsertLoadJob.

Nombre del parámetro	Tipo de dato	Descripción
SourceURIs	String	Es una lista de URIs de Google Cloud Storage separados por espacios.
SourceFormat	String	Es el formato de origen de los archivos. Los siguientes son los valores admitidos: AVRO NEWLINE_DELIMITED_JSON DATASTORE_BACKUP PARQUET ORC CSV
DestinationTable	String	Es la tabla de destino de la consulta, en formato DestProjectId.DestDatasetId.DestTable.
DestinationTableProperties	String	Es un objeto JSON que especifica el nombre amigable, la descripción y la lista de etiquetas de la tabla.
DestinationTableSchema	String	Una lista JSON que especifica los campos usados para crear la tabla.
DestinationEncryptionConfiguration	String	Un objeto JSON que especifica la configuración de encriptación de KMS para la tabla.
SchemaUpdateOptions	String	Una lista JSON que especifica las opciones que se deben aplicar cuando se actualiza el esquema de la tabla de destino.
TimePartitioning	String	Un objeto JSON que especifica el tipo y el campo de partición de tiempo.
RangePartitioning	String	Un objeto JSON que especifica el campo de partición por rango y los buckets.
Agrupamiento en clústeres	String	Un objeto JSON que especifica los campos que se usarán para el agrupamiento en clústeres.
Detección automática	String	Especifica si las opciones y el esquema se deben determinar automáticamente para los archivos JSON y CSV.
CreateDisposition	String	Especifica si la tabla de destino se debe crear si aún no existe. Siguiendo son los valores admitidos: CREATE_IF_NEEDED CREATE_NEVER El valor predeterminado es CREATE_IF_NEEDED.
WriteDisposition	String	Especifica cómo escribir datos en la tabla de destino, por ejemplo: truncar los resultados existentes agregando resultados existentes o escribiendo solo cuando la tabla está vacía. A continuación, se incluyen las valores admitidos: WRITE_TRUNCATE WRITE_APPEND WRITE_EMPTY El valor predeterminado es WRITE_APPEND.
Región	String	Especifica la región en la que se debe ejecutar la tarea. Tanto los recursos de Google Cloud Storage como el conjunto de datos de BigQuery deben estar en la misma región.
DryRun	String	Especifica si la ejecución del trabajo es una ejecución de prueba. El valor predeterminado es false.
MaximumBadRecords	String	Especifica la cantidad de registros que pueden ser no válidos antes de que se cancele todo el trabajo. De forma predeterminada, todos los registros deben ser válidos. El valor predeterminado es 0.
IgnoreUnknownValues	String	Especifica si se deben ignorar los campos desconocidos en el archivo de entrada o si se deben tratar como errores. De forma predeterminada, se tratan como errores. El valor predeterminado es false.
AvroUseLogicalTypes	String	Especifica si se deben usar tipos lógicos de Avro para convertir datos de Avro en tipos de BigQuery. Predeterminado valor es true.
CSVSkipLeadingRows	String	Especifica cuántas filas se deben omitir al comienzo de los archivos CSV. Por lo general, se usa para omitir filas de encabezado.
CSVEncoding	String	Tipo de codificación de los archivos CSV. Los siguientes son los valores admitidos: ISO-8859-1 UTF-8 El valor predeterminado es UTF-8.
CSVNullMarker	String	Si se proporciona, esta cadena se usa para valores NULL dentro de los archivos CSV. De forma predeterminada, los archivos CSV no pueden usar NULL.
CSVFieldDelimiter	String	El carácter que se usa para separar columnas dentro de archivos CSV. El valor predeterminado es una coma (,).
CSVQuote	String	Es el carácter que se usa para los campos entrecomillados en los archivos CSV. Se puede establecer en vacío para inhabilitar las comillas. El valor predeterminado es comillas dobles (").
CSVAllowQuotedNewlines	String	Especifica si los archivos CSV pueden contener saltos de línea dentro de los campos entre comillas. El valor predeterminado es false.
CSVAllowJaggedRows	String	Especifica si los archivos CSV pueden contener campos faltantes. El valor predeterminado es false.
DSBackupProjectionFields	String	Una lista JSON de campos para cargar desde una copia de seguridad de Cloud Datastore.
ParquetOptions	String	Un objeto JSON que especifica las opciones de importación específicas de Parquet.
DecimalTargetTypes	String	Una lista JSON que proporciona el orden de preferencias aplicado a los tipos numéricos.
HivePartitioningOptions	String	Un objeto JSON que especifica las opciones de particionamiento del lado del código fuente.

Ejecuta una consulta de SQL personalizada

Para crear una consulta personalizada, sigue estos pasos:

1. Sigue las instrucciones detalladas para agregar una tarea de conectores.
2. Cuando configures la tarea del conector, en el tipo de acción que desees realizar, selecciona Acciones.
3. En la lista Acción, selecciona Ejecutar consulta personalizada y, luego, haz clic en Listo.

   

4. Expande la sección Task input y, luego, haz lo siguiente:
   1. En el campo Timeout after, ingresa la cantidad de segundos que se espera hasta que se ejecute la consulta.

      Valor predeterminado: 180 segundos.

   2. En el campo Cantidad máxima de filas, ingresa la cantidad máxima de filas que se mostrarán en la base de datos.

      Valor predeterminado: 25.

   3. Para actualizar la consulta personalizada, haz clic en Edit Custom Script (Editar secuencia de comandos personalizada). Se abrirá el diálogo Editor de secuencia de comandos.

      

   4. En el diálogo Editor de secuencia de comandos, ingresa la consulta de SQL y haz clic en Guardar.

      Puedes usar un signo de interrogación (?) en una sentencia SQL para representar un solo parámetro que se debe especificar en la lista de parámetros de consulta. Por ejemplo, la siguiente consulta de SQL selecciona todas las filas de la tabla Employees que coinciden con los valores especificados para la columna LastName:

      SELECT * FROM Employees where LastName=?

      Nota: Se admiten las declaraciones de lenguaje de manipulación de datos (DML) y lenguaje de definición de datos (DDL).
   5. Si usaste signos de interrogación en tu consulta en SQL, debes agregar el parámetro. Para ello, haz clic en + Agregar nombre del parámetro en cada signo de interrogación. Mientras se ejecuta la integración, estos parámetros reemplazan los signos de interrogación (?) en la consulta SQL de forma secuencial. Por ejemplo, si agregaste tres signos de interrogación (?), debes agregar tres parámetros en orden de secuencia.

      

      Para agregar parámetros de consulta, haz lo siguiente:

      1. En la lista Tipo, selecciona el tipo de datos del parámetro.
      2. En el campo Valor, ingresa el valor del parámetro.
      3. Para agregar varios parámetros, haz clic en + Agregar parámetro de consulta.

Usa Terraform para crear conexiones

Puedes usar Terraform resource para crear una conexión nueva.

Si deseas obtener más información para aplicar o quitar una configuración de Terraform, consulta los comandos básicos de Terraform.

Si quieres ver una plantilla de Terraform de muestra para crear conexiones, consulta la plantilla de muestra.

Cuando creas esta conexión con Terraform, debes configurar las siguientes variables en tu archivo de configuración de Terraform:

Nombre del parámetro	Tipo de datos	Obligatorio	Descripción
project_id	STRING	Verdadero	El ID del proyecto que contiene el conjunto de datos de BigQuery. p.ej., miproyecto.
dataset_id	STRING	Falso	Es el ID del conjunto de datos de BigQuery sin el nombre del proyecto, p. ej., mydataset.
proxy_enabled	BOOLEAN	Falso	Selecciona esta casilla de verificación a fin de configurar un servidor proxy para la conexión.
proxy_auth_scheme	ENUM	Falso	El tipo de autenticación que se utiliza para autenticarse en el proxy ProxyServer. Los valores admitidos son: BASIC, DIGEST, NONE.
proxy_user	STRING	Falso	Es un nombre de usuario que se usará para autenticarse en el proxy de ProxyServer.
proxy_password	SECRET	Falso	Una contraseña que se usará para autenticarse en el proxy ProxyServer.
proxy_ssltype	ENUM	Falso	El tipo de SSL que se usará para conectarse al proxy ProxyServer. Los valores admitidos son AUTO, ALWAYS, NEVER, TUNNEL.

Usa la conexión de BigQuery en una integración

Después de crear la conexión, estará disponible en la integración de Apigee y en la integración de aplicaciones. Puedes usar la conexión en una integración a través de la tarea Conectores.

• Para comprender cómo crear y usar la tarea Conectores en la integración de Apigee, consulta Tarea Conectores.
• Para comprender cómo crear y usar la tarea Conectores en Application Integration, consulta la Tarea Conectores.

Obtén ayuda de la Comunidad de Google Cloud

Puedes publicar tus preguntas y debatir sobre este conector en la comunidad de Google Cloud en Cloud Forums.

¿Qué sigue?

• Obtén información sobre cómo suspender y reanudar una conexión.
• Aprende a supervisar el uso del conector.
• Aprende a ver los registros del conector.