Fuente de los lotes de la base de datos

En esta página, se proporcionan instrucciones para configurar la fuente por lotes de la base de datos. en Cloud Data Fusion.

Puedes usar esta fuente genérica cada vez que necesites leer desde una base de datos. Para Por ejemplo, puedes usarlo para crear instantáneas diarias de una tabla de base de datos genérica y escribir el resultado en BigQuery.

Cómo configurar el complemento

  1. Ir a la interfaz web de Cloud Data Fusion y haz clic en Studio.
  2. Comprueba que la opción Canalización de datos - Por lotes esté seleccionada (no En tiempo real).
  3. En el menú Fuente, haz clic en Base de datos.
  4. Para configurar el complemento, mantén el puntero sobre el nodo del complemento y haz clic en Propiedades:

  5. Ingresa las siguientes propiedades. Para obtener más información sobre cada propiedad, consulta Propiedades.

    1. Ingresa una Etiqueta para el nodo de la base de datos, en ejemplo, database tables.

    2. Ingresa los detalles de la conexión. Puedes configurar una nueva conexión única o una conexión existente y reutilizable.

      Nueva conexión

      Para agregar una conexión única a la base de datos, sigue estos pasos: pasos:

      1. Mantén la opción Usar conexión desactivada.
      2. Ingresa las siguientes propiedades de conexión:
        1. En el campo de nombre del controlador de JDBC, ingresa el nombre del controlador. si la hay. De lo contrario, mantén seleccionada la opción No JDBC plugins.
        2. En el campo Cadena de conexión, ingresa la conexión de JDBC. que incluye el nombre de la base de datos.
        3. Opcional: Si tu base de datos requiere autenticación, ingresa el nombre de usuario y la contraseña de la base de datos.
        4. Opcional: Si tu controlador JDBC necesita configuraciones adicionales, En el campo Argumentos de la conexión, ingresa el par clave-valor. argumentos para la conexión.

      Conexión reutilizable

      Para volver a usar una conexión existente, sigue estos pasos:

      1. Activa Usar conexión.
      2. Haz clic en Browse connections.

      3. Selecciona la conexión.

      4. Opcional: Si no existe una conexión y quieres crear una nueva y reutilizable, haz clic en Agregar conexión y consulta los pasos que se indican en la pestaña Conexión nueva en esta página.

    3. Opcional: Para probar la conectividad, haz clic en Obtener esquema. Este esquema es en lugar del esquema que obtenga de la consulta. Debe coinciden con el esquema que devuelve la consulta, excepto que puedes marcar campos como anulables y puede contener un subconjunto de los campos.

    4. En el campo Consulta de importación, ingresa una consulta de SELECT para importar datos. de la tabla especificada, por ejemplo, select id, name, email, phone from users;.

    5. Opcional: En el campo Consulta de límite, ingresa el valor mínimo y el máximo. valores que deben leerse, por ejemplo, SELECT * FROM table WHERE $CONDITIONS.

    6. Opcional: En el campo Nombre del campo de división, ingresa el nombre del que genera las divisiones.

    7. Opcional: En el campo Number of splits to generate, ingresa un por ejemplo, 2.

    8. Opcional: En el campo Tamaño de recuperación, ingresa un número, por ejemplo: 1000.

    9. Opcional: Ingresa Advanced properties, como cambiar las mayúsculas y minúsculas de los nombres de las columnas.

  6. Opcional: Haz clic en Validar y soluciona los errores que encuentres.

  7. Haz clic en Cerrar. Las propiedades se guardan y puedes seguir creando tu de datos en Cloud Data Fusion Studio.

Propiedades

Propiedad Macro habilitado Obligatorio Descripción
Etiqueta No Sí El nombre del nodo en tu canalización de datos.
Usar conexión No No Busca una conexión con la fuente. Si La opción Usar conexión está seleccionada, no necesitas proporcionarla. credenciales.
Conexión Sí Sí Nombre de la conexión que se usará. Si Usar conexión está seleccionado, aparecerá este campo. La información de la base de datos y la tabla es que proporciona la conexión.
Nombre del controlador JDBC Sí Sí El controlador JDBC que se usará.
El valor predeterminado es No JDBC plugins.
Cadena de conexión Sí Sí Cadena de conexión de JDBC, incluido el nombre de la base de datos.
Nombre de usuario Sí No La identidad del usuario para conectarse a la base de datos. Obligatorio para las bases de datos que necesitan autenticación. Opcional para las bases de datos que no requieren la autenticación de varios factores.
Contraseña Sí No Es la contraseña que se usará para conectarse a la base de datos especificada. Necesario para bases de datos que necesitan autenticación. Opcional para las bases de datos que no requieren autenticación.
Argumentos de la conexión Sí No Una lista de pares de etiqueta/valor de cadena arbitrarios como argumentos de conexión. Para los controladores de JDBC que necesitan configuración adicional, estos argumentos son pasan al controlador de JDBC como argumentos de conexión en la siguiente formato: key1=value1;key2=value.
Nombre de referencia No Sí Un nombre que identifique de manera única esta fuente para el linaje y la anotación metadatos. Por lo general, es el nombre de la tabla o la vista.
Obtener esquema No No El esquema de registros que genera la fuente. Se usa en lugar del que muestra la consulta. Debe coincidir con el esquema que aparece de la consulta, con la excepción de que te permite marcar los campos como anulables y puede contener un subconjunto de los campos.
Importar consulta Sí Sí La consulta SELECT para importar datos de la cantidad especificada desde una tabla de particiones. Puedes especificar un número arbitrario de columnas para importar. importar todas las columnas con * La consulta debe contener los $CONDITIONS. Por ejemplo: SELECT * FROM table WHERE $CONDITIONS. El Se reemplazó la cadena $CONDITIONS por el campo splitBy límite especificado en el campo Consulta de límite. El La cadena $CONDITIONS no es necesaria si la Cantidad de splits se establece en 1.
Consulta de límite Sí No La consulta de límite que devuelve el mínimo y el máximo de los valores de la columna de división. Por ejemplo, SELECT MIN(id),MAX(id) FROM table. No es necesario si el elemento cantidad de divisiones se establece en 1.
Nombre del campo de división Sí No El nombre de campo que se usa para generar divisiones. No es necesario si la cantidad de divisiones que se generarán se establece en 1.
Cantidad de divisiones que se generarán Sí No Cantidad de divisiones que se generarán.
El valor predeterminado es 1.
Tamaño de recuperación Sí No La cantidad de filas que se recuperarán a la vez por división. Un tamaño de recuperación mayor pueden hacer que una importación sea más rápida, con la contrapartida de un mayor uso de memoria.
El valor predeterminado es 1,000.
Habilita la confirmación automática No No Establece si se habilita la confirmación automática para las consultas que ejecuta esta fuente. Conservar esto se configura como False, a menos que uses un controlador JDBC que genera un error cuando se ejecuta la operación de confirmación.
El valor predeterminado es False.
Caso de nombre de columna Sí No Establece las mayúsculas y minúsculas de los nombres de las columnas que muestra la consulta. Tú puedes elegir mayúsculas o minúsculas. De forma predeterminada, o para cualquier otra entrada, los nombres de las columnas no se modifican y el uso de mayúsculas y minúsculas devuelve base de datos en la nube. Configurar esta propiedad permite predecir usar mayúsculas en el nombre de una columna en diferentes bases de datos, pero podría provocar los nombres de las columnas están en conflicto si varios nombres de columna son iguales cuando sucede se ignora.
El valor predeterminado es Sin cambios.
Nivel de aislamiento de transacción Sí No El nivel de aislamiento de transacción para las consultas que ejecuta este receptor. Para ver más información, consulta la setTransactionIsolation(). El controlador JDBC de Phoenix arroja una excepción si la base de datos de Phoenix no tiene habilitadas las transacciones y este campo está establecido en true. Para conductores como ese, establece este campo en TRANSACTION_NONE.
El valor predeterminado es TRANSACTION_SERIALIZABLE.
Patrón para reemplazar No No El patrón que se debe reemplazar en el nombre del campo en la tabla (usado generalmente con la propiedad Replace with). Si el botón No se estableció la propiedad Replace with, por lo que se quita el patrón. del nombre del campo.
Reemplazar por No No La cadena que se reemplaza en el nombre del campo en la tabla. Debes configura también el campo Pattern to replace.
Esquema de salida No No Especifica el esquema que se genera. Solo las columnas definidas en el esquema se incluyen en el registro de salida.

Prácticas recomendadas

Comprueba si hay un complemento más específico disponible para tu base de datos. Por ejemplo, Tienes una fuente de base de datos de Oracle, en su lugar, usa la fuente por lotes de la base de datos de Oracle. porque está diseñado para funcionar con el esquema de Oracle.

¿Qué sigue?