Pianifica un trasferimento Oracle
Il connettore BigQuery Data Transfer Service per Oracle consente di eseguire di pianificare e gestire i job di caricamento ricorrenti da in BigQuery.
Limitazioni
I trasferimenti Oracle sono soggetti alle seguenti limitazioni:
- Il numero massimo di connessioni simultanee a un database Oracle è limitato e, di conseguenza, il numero di trasferimenti simultanei eseguiti a un singolo database Oracle è limitato a questo limite massimo.
- Devi configurare un collegamento di rete nei casi in cui non sia disponibile un IP pubblico per una connessione a un database Oracle, con i seguenti requisiti:
- .
- L'origine dati deve essere accessibile dalla subnet in cui la rete allegato.
- Il collegamento di rete non deve trovarsi nella subnet compresa nell'intervallo
240.0.0.0/24
. - Impossibile eliminare i collegamenti di rete se esistono connessioni attive al allegato. Per eliminare un collegamento di rete, contatta l'assistenza clienti Google Cloud.
- Per la località multiregionale
us
, il collegamento di rete deve trovarsi inus-central1
regione. Per la località multiregionaleeu
, il collegamento di rete deve trovarsi ineurope-west4
regione.
- La console Google Cloud supporta solo l'utilizzo del ruolo utente Oracle
NORMAL
per collegare Oracle a BigQuery Data Transfer Service. Per connetterti utilizzando i ruoli utente OracleSYSDBA
eSYSOPER
, devi utilizzare l'interfaccia a riga di comando di BigQuery. - L'intervallo di tempo minimo tra i trasferimenti ricorrenti di Oracle è 15 minuti. L'intervallo predefinito per un bonifico periodico è di 24 ore.
Prima di iniziare
Le seguenti sezioni descrivono i passaggi da seguire prima di per creare un trasferimento Oracle.
Prerequisiti Oracle
- Creare una credenziale utente nel database Oracle.
- Concedi all'utente i privilegi di sistema di
Create Session
per consentire la creazione di sessioni. - Assegna uno spazio delle tabelle all'account utente.
Quando devi inoltre disporre delle seguenti informazioni sul database Oracle la creazione di un Trasferimento Oracle.
Nome parametro | Descrizione |
---|---|
database |
Nome del database. |
host |
Nome host o indirizzo IP del database. |
port |
Numero di porta del database. |
username |
Nome utente per accedere al database. |
password |
Password per accedere al database. |
connectionType |
Il tipo di connessione. Può essere |
oracleObjects |
Elenco degli oggetti Oracle da trasferire. |
Prerequisiti di BigQuery
- Verifica di aver completato tutte le azioni richieste per abilitare BigQuery Data Transfer Service.
- Crea un set di dati BigQuery per archiviare i dati.
- Se intendi configurare le notifiche di esecuzione del trasferimento per Pub/Sub,
assicurati di disporre dell'autorizzazione Identity and Access Management (IAM) di
pubsub.topics.setIamPolicy
. Pub/Sub le autorizzazioni non sono necessarie se configuri solo le notifiche via email. Per ulteriori informazioni le informazioni, vedi Notifiche di esecuzione di BigQuery Data Transfer Service.
Ruoli BigQuery obbligatori
Per ottenere le autorizzazioni necessarie per creare un trasferimento,
chiedi all'amministratore di concederti
Ruolo IAM Amministratore BigQuery (roles/bigquery.admin
).
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.
Questo ruolo predefinito contiene le autorizzazioni necessarie per creare un trasferimento. Per vedere le autorizzazioni esatte obbligatorie, espandi la sezione Autorizzazioni obbligatorie:
Autorizzazioni obbligatorie
Per creare un trasferimento sono necessarie le seguenti autorizzazioni:
-
bigquery.transfers.update
sull'utente -
bigquery.datasets.get
sul set di dati di destinazione -
bigquery.datasets.update
sul set di dati di destinazione
Potresti anche riuscire a ottenere queste autorizzazioni con ruoli personalizzati e altri ruoli predefiniti.
Configura un trasferimento di dati Oracle
Seleziona una delle seguenti opzioni:
Console
Nella console Google Cloud, vai alla pagina BigQuery.
Fai clic su Trasferimenti di dati > Crea un trasferimento.
Nella sezione Tipo di origine, per Origine, seleziona Oracle.
Nella sezione Nome configurazione di trasferimento, per Nome visualizzato, inserisci un nome del trasferimento.
Nella sezione Opzioni di pianificazione:
Nell'elenco Frequenza di ripetizione, seleziona un'opzione per specificare la spesso viene eseguito questo trasferimento. Per specificare una frequenza di ripetizione personalizzata, seleziona Personalizzato. Se selezioni On demand, il trasferimento viene eseguita quando attivi manualmente il trasferimento.
Se applicabile, seleziona Inizia ora o Inizia all'ora impostata. e specificare una data di inizio e un'ora di esecuzione.
Nella sezione Impostazioni destinazione, per Set di dati, seleziona il creato per archiviare i dati.
Nella sezione Dettagli origine dati:
- In Collegamento di rete, seleziona un collegamento di rete esistente o fai clic su Crea collegamento di rete.
- In Host, inserisci il nome host o l'IP del database.
- In Porta, inserisci il numero di porta
utilizzato per le connessioni in entrata, ad esempio
1520
. - In Nome database, inserisci il nome dell'amministratore per configurare un database.
- In Tipo di connessione, inserisci il tipo di URL di connessione.
SERVICE
,SID
oTNS
. - In Username (Nome utente), inserisci il nome utente dell'utente che avvia Oracle connessione al database.
- In Password, inserisci la password dell'utente che avvia Oracle connessione al database.
Per Oggetti Oracle da trasferire, fai clic su SFOGLIA per selezionare qualsiasi oggetto tabelle da trasferire nella destinazione BigQuery del set di dati.
- Puoi anche inserire manualmente gli oggetti da includere nel trasferire in questo campo.
Nel menu Account di servizio, seleziona un account di servizio associati al tuo progetto Google Cloud. Il servizio selezionato l'account deve disporre dei ruoli richiesti per eseguire questa trasferimento.
Se hai eseguito l'accesso con un'identità federata: per creare un trasferimento è necessario un account di servizio. Se hai firmato con un Account Google, poi l'account di servizio per il trasferimento è facoltativo.
Per ulteriori informazioni sull'utilizzo degli account di servizio con i trasferimenti di dati, vedi Utilizzare gli account di servizio.
(Facoltativo) Nella sezione Opzioni di notifica, procedi nel seguente modo:
- Per attivare le notifiche via email, fai clic su Notifica email pulsante di attivazione/disattivazione. Quando abiliti questa opzione, l'amministratore dei trasferimenti riceve una notifica via email quando un trasferimento non va a buon fine.
- Per attivare Notifiche di esecuzione del trasferimento di Pub/Sub per questo trasferimento, fai clic sull'opzione di attivazione/disattivazione Notifiche Pub/Sub. Tu puoi selezionare argomento personalizzato oppure fai clic su Crea un argomento per crearne uno.
Fai clic su Salva.
bq
Inserisci il comando bq mk
.
e fornire il flag di creazione del trasferimento
--transfer_config
:
bq mk \ --transfer_config \ --project_id=PROJECT_ID \ --data_source=DATA_SOURCE \ --display_name=DISPLAY_NAME \ --target_dataset=DATASET \ --params='PARAMETERS'
Dove:
- (Facoltativo) PROJECT_ID: il tuo ID progetto Google Cloud.
Se
--project_id
non viene specificato per specificare un particolare progetto, viene utilizzato il progetto predefinito. - DATA_SOURCE: origine dati -
oracle
. - DISPLAY_NAME: il nome visualizzato del trasferimento configurazione. Il nome del trasferimento può essere qualsiasi valore che ti consenta identificare il trasferimento se devi modificarlo in un secondo momento.
- DATASET: set di dati di destinazione per il trasferimento configurazione.
PARAMETERS: i parametri per il trasferimento creato configurazione in formato JSON. Ad esempio:
--params='{"param":"param_value"}'
. Di seguito sono riportati i parametri un trasferimento Oracle:- (Facoltativo)
connector.networkAttachment
: nome del collegamento di rete per la connessione al database Oracle. connector.authentication.Username
: nome utente dell'Oracle .connector.authentication.Password
: password dell'Oracle .connector.database
: nome dell'Oracle per configurare un database.connector.endpoint.host
: il nome host o l'IP del database.connector.endpoint.port
: il numero di porta che l'Oracle utilizzato per le connessioni in entrata, ad esempio1520
.connector.connectionType
: il tipo di URL di connessione,SERVICE
,SID
oTNS
.assets
: il percorso degli oggetti Oracle da trasferire BigQuery, utilizzando il formato:DATABASE_NAME/SCHEMA_NAME/TABLE_NAME
- (Facoltativo)
Ad esempio, il comando seguente crea un trasferimento Oracle nel progetto predefinito con tutti i parametri richiesti:
bq mk \ --transfer_config \ --target_dataset=mydataset \ --data_source=oracle \ --display_name='My Transfer' \ --params='{"assets":["DB1/USER1/DEPARTMENT","DB1/USER1/EMPLOYEES"], \ "connector.authentication.username": "User1", \ "connector.authentication.password":"ABC12345", \ "connector.database":"DB1", \ "Connector.endpoint.host":"192.168.0.1", \ "Connector.endpoint.port":"1520", \ "connector.connectionType":"SERVICE", \ "connector.networkAttachment": \ "projects/dev-project1/regions/us-central1/networkattachments/na1"}'
API
Utilizza la projects.locations.transferConfigs.create
e fornisce un'istanza del metodo TransferConfig
risorsa.
Risolvere i problemi di configurazione del trasferimento
Se riscontri problemi durante la configurazione del trasferimento, vedi Problemi di trasferimento Oracle.
Prezzi
Non è previsto alcun costo per il trasferimento dei dati Oracle in BigQuery mentre questa funzionalità è in Anteprima.
Passaggi successivi
- Per una panoramica di BigQuery Data Transfer Service, consulta Introduzione a BigQuery Data Transfer Service.
- Per informazioni sull'utilizzo dei cambi, inclusa la ricerca di informazioni su un configurazione di trasferimento, elencare le configurazioni di trasferimento e visualizzare cronologia esecuzioni del trasferimento, vedi Utilizzo dei trasferimenti.
- Scopri come caricare i dati con operazioni cross-cloud.