Programa una transferencia de Oracle
El servicio de transferencia de datos de BigQuery para el conector de Oracle te permite administrar y programar de manera automática trabajos de carga recurrentes de Oracle en BigQuery.
Limitaciones
Las transferencias de Oracle están sujetas a las siguientes limitaciones:
- La cantidad máxima de conexiones simultáneas a una base de datos de Oracle es limitada y, como resultado, la cantidad de ejecuciones de transferencias simultáneas a una sola base de datos de Oracle se limita a esa cantidad máxima.
- Debes configurar un adjunto de red en los casos en que una IP pública no esté disponible para una conexión de base de datos de Oracle, con los siguientes requisitos:
- Se debe poder acceder a la fuente de datos desde la subred en la que reside el adjunto de red.
- El adjunto de red no debe estar en la subred dentro del rango
240.0.0.0/24
. - Los adjuntos de red no se pueden borrar si hay conexiones activas con el adjunto. Para borrar un adjunto de red, comunícate con la Atención al cliente de Cloud.
- Para la multirregión
us
, el adjunto de red debe estar en la regiónus-central1
. Para la multirregióneu
, el adjunto de red debe estar en la regióneurope-west4
.
- La consola de Google Cloud solo admite el uso del rol de usuario
NORMAL
de Oracle para conectar Oracle al Servicio de transferencia de datos de BigQuery. Debes usar la CLI de BigQuery para conectarte mediante los roles de usuario de OracleSYSDBA
ySYSOPER
. - El tiempo de intervalo mínimo entre transferencias recurrentes de Oracle es de 15 minutos. El intervalo predeterminado para una transferencia recurrente es de 24 horas.
Antes de comenzar
En las siguientes secciones, se describen los pasos que debes seguir antes de crear una transferencia de Oracle.
Requisitos previos de Oracle
- Crea una credencial de usuario en la base de datos de Oracle.
- Otorga privilegios de sistema
Create Session
al usuario para permitir la creación de sesiones. - Asigna un espacio de tabla a la cuenta de usuario.
También debes tener la siguiente información de base de datos de Oracle cuando crees una transferencia de Oracle.
Nombre del parámetro | Descripción |
---|---|
database |
Es el nombre de la base de datos. |
host |
Nombre de host o dirección IP de la base de datos. |
port |
Número de puerto de la base de datos. |
username |
Nombre de usuario para acceder a la base de datos. |
password |
Contraseña para acceder a la base de datos. |
connectionType |
El tipo de conexión. Puede ser |
oracleObjects |
Lista de objetos de Oracle para transferir. |
Requisitos previos de BigQuery
- Verifica si completaste todas las acciones necesarias para habilitar el Servicio de transferencia de datos de BigQuery
- Crea un conjunto de datos de BigQuery para almacenar tus datos.
- Si quieres configurar las notificaciones de ejecución de transferencias para Pub/Sub, asegúrate de tener el permiso
pubsub.topics.setIamPolicy
de Identity and Access Management (IAM). Los permisos de Pub/Sub no son necesarios si solo configuras las notificaciones por correo electrónico. Para obtener más información, consulta la sección sobre notificaciones de ejecución del Servicio de transferencia de datos de BigQuery.
Roles de BigQuery requeridos
Para obtener los permisos que necesitas para crear una transferencia,
pídele a tu administrador que te otorgue el rol de IAM de
administrador de BigQuery (roles/bigquery.admin
).
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
Este rol predefinido contiene los permisos necesarios para crear una transferencia. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:
Permisos necesarios
Se requieren los siguientes permisos para crear una transferencia:
-
bigquery.transfers.update
en el usuario -
bigquery.datasets.get
en el conjunto de datos de destino -
bigquery.datasets.update
en el conjunto de datos de destino
También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.
Configura una transferencia de datos de Oracle
Selecciona una de las siguientes opciones:
Console
Ve a la página Transferencia de datos en la consola de Google Cloud.
Haz clic en
Crear transferencia.En la sección Tipo de fuente, para Fuente, selecciona Oracle.
En la sección Detalles de fuente de datos, haz lo siguiente:
- En Adjunto de red, selecciona un adjunto de red existente o haz clic en Crear adjunto de red.
- En Host, ingresa el nombre de host o la IP de la base de datos.
- En Puerto, ingresa el número de puerto que usa la base de datos de Oracle para las conexiones entrantes, como
1520
. - En Nombre de la base de datos, ingresa el nombre de la base de datos de Oracle.
- En Tipo de conexión, ingresa el tipo de URL de conexión, ya sea
SERVICE
,SID
oTNS
. - En Nombre de usuario, ingresa el nombre de usuario del usuario que inicia la conexión de la base de datos de Oracle.
- En Contraseña, ingresa la contraseña del usuario que inicia la conexión de la base de datos de Oracle.
En Objetos de Oracle para transferir, haz clic en EXPLORAR a fin de seleccionar las tablas que se transferirán al conjunto de datos de destino de BigQuery.
- También puedes ingresar de forma manual cualquier objeto que desees incluir en la transferencia de datos en este campo.
En la sección Configuración de destino, en Conjunto de datos de destino, selecciona el conjunto de datos que creaste para almacenar tus datos.
En la sección Nombre de configuración de la transferencia (Transfer config name), en Nombre visible (Display name), ingresa el nombre de la transferencia de datos.
En la sección Opciones de programación, haz lo siguiente:
En la lista Frecuencia de repetición, selecciona una opción para especificar la frecuencia con la que se ejecuta esta transferencia de datos. Para especificar una frecuencia de repetición personalizada, selecciona Personalizada. Si seleccionas Según demanda, esta transferencia se ejecuta cuando activas la transferencia de forma manual.
Si corresponde, selecciona Comenzar ahora o Comenzar a una hora determinada y proporciona una fecha de inicio y una hora de ejecución.
En el menú Cuenta de servicio, selecciona una cuenta de servicio asociada con tu proyecto de Google Cloud. La cuenta de servicio seleccionada debe tener los roles necesarios para ejecutar esta transferencia de datos.
Si accediste con una identidad federada, se requiere una cuenta de servicio para crear una transferencia de datos. Si accediste con una Cuenta de Google, la cuenta de servicio para la transferencia es opcional.
Para obtener más información sobre el uso de cuentas de servicio con transferencias de datos, consulta Usa cuentas de servicio.
Opcional: En la sección Opciones de notificación, haz lo siguiente:
- Para habilitar las notificaciones por correo electrónico, haz clic en el botón de activar o desactivar Notificación por correo electrónico. Si habilitas esta opción, el administrador de transferencias recibirá una notificación por correo electrónico cuando falle la ejecución de una transferencia.
- Si quieres habilitar las notificaciones de ejecución de transferencias de Pub/Sub para esta transferencia, haz clic en el botón de activar Notificaciones de Pub/Sub. Puedes seleccionar el nombre del tema o hacer clic en Crear un tema para crear uno.
Haz clic en Guardar.
bq
Ingresa el comando bq mk
y suministra la marca de creación de transferencias --transfer_config
.
bq mk \ --transfer_config \ --project_id=PROJECT_ID \ --data_source=DATA_SOURCE \ --display_name=DISPLAY_NAME \ --target_dataset=DATASET \ --params='PARAMETERS'
Donde:
- PROJECT_ID (opcional): Tu ID del proyecto de Google Cloud.
Si no se proporciona
--project_id
para especificar un proyecto en particular, se usa el proyecto predeterminado. - DATA_SOURCE: La fuente de datos:
oracle
. - DISPLAY_NAME es el nombre visible de la configuración de transferencia. El nombre de la transferencia de datos puede ser cualquier valor que te permita identificarla si es necesario hacerle modificaciones más tarde.
- DATASET es el conjunto de datos de destino para la configuración de transferencia.
PARAMETERS son los parámetros de la configuración de transferencia creada en formato JSON. Por ejemplo:
--params='{"param":"param_value"}'
Los siguientes son los parámetros para una transferencia de datos de Oracle:connector.networkAttachment
(opcional): nombre del adjunto de red para conectarse a la base de datos de Oracle.connector.authentication.Username
: el nombre de usuario de la cuenta de Oracleconnector.authentication.Password
: la contraseña de la cuenta de Oracle.connector.database
: Es el nombre de la base de datos de Oracle.connector.endpoint.host
: El nombre de host o la IP de la base de datos.connector.endpoint.port
: El número de puerto que usa la base de datos de Oracle para las conexiones entrantes, como1520
.connector.connectionType
: Es el tipo de URL de conexión, ya seaSERVICE
,SID
oTNS
.assets
: La ruta de acceso a los objetos de Oracle que se transferirán a BigQuery, mediante el siguiente formato:DATABASE_NAME/SCHEMA_NAME/TABLE_NAME
Por ejemplo, el siguiente comando crea una transferencia de datos de Oracle en el proyecto predeterminado con todos los parámetros obligatorios:
bq mk \ --transfer_config \ --target_dataset=mydataset \ --data_source=oracle \ --display_name='My Transfer' \ --params='{"assets":["DB1/USER1/DEPARTMENT","DB1/USER1/EMPLOYEES"], \ "connector.authentication.username": "User1", \ "connector.authentication.password":"ABC12345", \ "connector.database":"DB1", \ "Connector.endpoint.host":"192.168.0.1", \ "Connector.endpoint.port":"1520", \ "connector.connectionType":"SERVICE", \ "connector.networkAttachment": \ "projects/dev-project1/regions/us-central1/networkattachments/na1"}'
API
Usa el método projects.locations.transferConfigs.create
y suministra una instancia del recurso TransferConfig
.
Asignación de tipos de datos
En la siguiente tabla, se asignan los tipos de datos de Oracle a los tipos de datos de BigQuery correspondientes.
Tipo de datos de Oracle | Tipo de datos de BigQuery |
---|---|
BFILE |
BYTES |
BINARY_DOUBLE |
FLOAT |
BINARY_FLOAT |
FLOAT |
BLOB |
BYTES |
CHAR |
STRING |
CLOB |
STRING |
DATE |
DATETIME |
FLOAT |
FLOAT |
INTERVAL DAY TO SECOND |
STRING |
INTERVAL YEAR TO MONTH |
STRING |
LONG |
STRING |
LONG RAW |
BYTES |
NCHAR |
STRING |
NCLOB |
STRING |
NUMBER (without precision and scale) |
STRING |
NUMBER (with precision and scale) |
NUMERIC |
NVARCHAR2 |
STRING |
RAW |
BYTES |
ROWID |
STRING |
TIMESTAMP |
DATETIME |
TIMESTAMP WITH LOCAL TIME ZONE |
DATETIME |
TIMESTAMP WITH TIME ZONE |
TIMESTAMP |
UROWID |
STRING |
VARCHAR |
STRING |
VARCHAR2 |
STRING |
Soluciona problemas con la configuración de una transferencia
Si tienes problemas para configurar tu transferencia de datos, consulta Problemas de transferencia de Oracle.
Precios
No se aplican costos por transferir datos de Oracle a BigQuery mientras esta función está en vista previa.
¿Qué sigue?
- Si deseas obtener una descripción general del Servicio de transferencia de datos de BigQuery, consulta la página sobre la introducción al Servicio de transferencia de datos de BigQuery.
- Para obtener información sobre el uso de las transferencias (por ejemplo, cómo obtener información sobre una configuración de transferencia, mostrar distintas configuraciones o visualizar su historial de ejecuciones), consulta Trabaja con transferencias.
- Obtén más información sobre cómo cargar datos con operaciones entre nubes.