Origine batch di database

Questa pagina fornisce indicazioni sulla configurazione del plug-in dell'origine batch del database in Cloud Data Fusion.

Puoi utilizzare questa origine generica ogni volta che devi leggere da un database. Per Ad esempio, potresti usarlo per creare snapshot giornalieri di una tabella di database generica e scrivere l'output in BigQuery.

Configura il plug-in

  1. Vai all'interfaccia web di Cloud Data Fusion e fai clic su Studio.
  2. Verifica che sia selezionata l'opzione Pipeline di dati - Batch (non In tempo reale).
  3. Nel menu Origine, fai clic su Database.
  4. Per configurare il plug-in, tieni il puntatore del mouse sul nodo del plug-in e fai clic su Proprietà.

  5. Inserisci le seguenti proprietà. Per ulteriori informazioni su ogni proprietà, consulta Proprietà.

    1. Inserisci un'etichetta per il nodo del database, ad esempio ad esempio database tables.

    2. Inserisci i dettagli della connessione. Puoi configurare una nuova connessione una tantum o una connessione esistente riutilizzabile.

      Nuova connessione

      Per aggiungere una connessione una tantum al database, segui questi passaggi passaggi:

      1. Mantieni disattivata l'opzione Usa connessione.
      2. Inserisci le seguenti proprietà di connessione:
        1. Nel campo Nome driver JDBC, inserisci il nome del driver, se disponibile. In caso contrario, mantieni selezionata l'opzione Nessun plug-in JDBC.
        2. Nel campo Stringa di connessione, inserisci la connessione JDBC. con il nome del database.
        3. (Facoltativo) Se il database richiede l'autenticazione, inserisci le credenziali di un nome utente e una password del database.
        4. (Facoltativo) Se il driver JDBC ha bisogno di configurazioni aggiuntive, Nel campo Argomenti di connessione, inserisci la coppia chiave-valore per la connessione.

      Connessione riutilizzabile

      Per riutilizzare una connessione esistente:

      1. Attiva l'opzione Usa connessione.
      2. Fai clic su Browse connections (Sfoglia connessioni).

      3. Seleziona la connessione.

      4. Facoltativo: se non esiste una connessione e vuoi creare una connessione nuova e riutilizzabile, fai clic su Aggiungi connessione e consulta i passaggi nella scheda Nuova connessione di questa pagina.

    3. (Facoltativo) Per verificare la connettività, fai clic su Ottieni schema. Questo schema è invece di qualsiasi schema restituito dalla query. Deve corrispondere allo schema restituito dalla query, con la differenza che puoi contrassegna i campi come nulli e può contenere un sottoinsieme di campi.

    4. Nel campo Importa query, inserisci una query SELECT per l'importazione dei dati. dalla tabella specificata, ad esempio select id, name, email, phone from users;.

    5. (Facoltativo) Nel campo Query di confine, inserisci i valori minimo e massimo valori da leggere, ad esempio SELECT * FROM table WHERE $CONDITIONS.

    6. (Facoltativo) Nel campo Nome campo Suddividi per, inserisci il nome del che genera le suddivisioni.

    7. (Facoltativo) Nel campo Numero di suddivisioni da generare, inserisci un numero, ad esempio 2.

    8. (Facoltativo) Nel campo Dimensioni recupero, inserisci un numero, ad esempio 1000.

    9. (Facoltativo) Inserisci Proprietà avanzate, ad esempio cambiando le maiuscole e le minuscole i nomi delle colonne.

  6. (Facoltativo) Fai clic su Convalida e risolvi gli eventuali errori rilevati.

  7. Fai clic su Chiudi. Le proprietà vengono salvate e puoi continuare a creare in Cloud Data Fusion Studio.

Proprietà

Proprietà Macro attivata Obbligatorio Descrizione
Etichetta No Sì Il nome del nodo nella pipeline di dati.
Usa connessione No No Cerca una connessione all'origine. Se L'opzione Utilizza connessione è selezionata, non è necessario fornire e credenziali.
Connessione Sì Sì Nome della connessione da utilizzare. Se Usa connessione , viene visualizzato questo campo. Le informazioni sul database e sulle tabelle vengono fornite dalla connessione.
Nome driver JDBC Sì Sì Il driver JDBC da utilizzare.
L'impostazione predefinita è Nessun plug-in JDBC.
Stringa di connessione Sì Sì Stringa di connessione JDBC, incluso il nome del database.
Nome utente Sì No Identità utente per la connessione al database. Obbligatorio per i database che richiedono l'autenticazione. Facoltativo per i database che non richiedono autenticazione.
Password Sì No Password da utilizzare per connettersi al database specificato. Obbligatorio per o database che richiedono l'autenticazione. Facoltativo per i database che non richiedono l'autenticazione.
Argomenti di connessione Sì No Un elenco di coppie di tag/valori di stringa arbitrarie come argomenti di connessione. Per i driver JDBC che richiedono una configurazione aggiuntiva, questi argomenti sono passati al driver JDBC come argomenti di connessione nel formato: key1=value1;key2=value.
Nome di riferimento No Sì Un nome che identifica in modo univoco questa sorgente per la derivazione e l'annotazione metadati. Di solito è il nome della tabella o della vista.
Ottieni schema No No Lo schema dei record di output dall'origine. Viene utilizzato al posto dello schema restituito dalla query. Deve corrispondere allo schema fornito dalla query, ma consente di contrassegnare i campi come nulli può contenere un sottoinsieme di campi.
Importa query Sì Sì La query SELECT per importare dati dall'elemento specificato tabella. Puoi specificare un numero arbitrario di colonne da importare. importa tutte le colonne utilizzando *. La query deve contenere il parametro Stringa $CONDITIONS. Ad esempio: SELECT * FROM table WHERE $CONDITIONS. La La stringa $CONDITIONS è stata sostituita dal campo splitBy specificato nel campo Query di confine. La La stringa $CONDITIONS non è necessaria se il valore Numero di splits è impostato su 1.
Query di confine Sì No La query di confine che restituisce il minimo e il massimo dei valori della colonna divisa. Ad esempio: SELECT MIN(id),MAX(id) FROM table. Non è obbligatorio se di suddivisioni sia impostato su 1.
Nome campo suddiviso per Sì No Il nome del campo utilizzato per generare le suddivisioni. Non è obbligatorio se il numero i segmenti da generare sia impostato su 1.
Numero di suddivisioni da generare Sì No Numero di suddivisioni da generare.
Il valore predefinito è 1.
Dimensioni recupero Sì No Il numero di righe da recuperare alla volta per ogni suddivisione. Una dimensione di recupero maggiore può causare un'importazione più rapida, con il compromesso di un utilizzo maggiore della memoria.
Il valore predefinito è 1000.
Abilita il commit automatico No No Indica se abilitare il commit automatico per le query eseguite da questa origine. Conserva impostato su False, a meno che non utilizzi un driver JDBC che causa un errore quando viene eseguita l'operazione di commit.
Il valore predefinito è False.
Maiuscole/minuscole per il nome della colonna Sì No Imposta la lettera maiuscola per i nomi delle colonne restituiti dalla query. Tu può scegliere lettere maiuscole o minuscole. Per impostazione predefinita o per qualsiasi altro input, i nomi delle colonne non vengono modificati e viene utilizzata la maiuscola restituita dal database. L'impostazione di questa proprietà fornisce prevedibilità lettere maiuscole nei nomi delle colonne in database diversi, ma potrebbe il nome della colonna è in conflitto se più nomi di colonna sono uguali quando viene ignorato.
Il valore predefinito è Nessuna modifica.
Livello di isolamento delle transazioni Sì No Il livello di isolamento delle transazioni per le query eseguite da questo sink. Per ulteriori informazioni informazioni, consulta setTransactionIsolation() Il driver JDBC di Phoenix genera un'eccezione se il database Phoenix non ha transazioni abilitate e questo campo è impostato su true. Per conducenti di questo tipo, imposta questo campo su TRANSACTION_NONE.
Il valore predefinito è TRANSACTION_SERIALIZABLE.
Sequenza da sostituire No No Il pattern da sostituire nel nome del campo nella tabella (in genere utilizzato con la proprietà Sostituisci con). Se La proprietà Sostituisci con non è impostata e il pattern viene rimosso dal nome del campo.
Sostituisci con No No La stringa sostituita nel nome del campo nella tabella. Devi anche configurare il campo Pattern da sostituire.
Schema di output No No Specifica lo schema da generare. Nel record di output sono incluse solo le colonne definite nello schema.

Best practice

Controlla se è disponibile un plug-in più specifico per il tuo database. Ad esempio, se Se disponi di un'origine di database Oracle, utilizza invece l'origine batch del database Oracle perché è progettato per funzionare con lo schema Oracle.

Passaggi successivi