Pianifica un trasferimento Oracle
Il connettore BigQuery Data Transfer Service per Oracle consente di pianificare e gestire automaticamente i job di caricamento ricorrenti da Oracle a BigQuery.
Limitazioni
I trasferimenti Oracle sono soggetti alle seguenti limitazioni:
- Il numero massimo di connessioni simultanee a un database Oracle è limitato e, di conseguenza, il numero di esecuzioni simultanee di trasferimenti a un singolo database Oracle è limitato alla quantità massima.
- Devi configurare un collegamento di rete nei casi in cui non sia disponibile un IP pubblico per una connessione al database Oracle, con i seguenti requisiti:
- L'origine dati deve essere accessibile dalla subnet in cui si trova il collegamento di rete.
- Il collegamento di rete non deve trovarsi nella subnet compresa nell'intervallo
240.0.0.0/24
. - Impossibile eliminare i collegamenti di rete se esistono connessioni attive all'allegato. Per eliminare un collegamento di rete, contatta l'assistenza clienti Google Cloud.
- Per la località multiregionale
us
, il collegamento di rete deve trovarsi nell'area geograficaus-central1
. Per la località multiregionaleeu
, il collegamento di rete deve trovarsi nell'area geograficaeurope-west4
.
- La console Google Cloud supporta solo l'utilizzo del ruolo utente Oracle
NORMAL
per il connettore Oracle a BigQuery Data Transfer Service. Devi utilizzare l'interfaccia a riga di comando di BigQuery per connetterti utilizzando i ruoli utente OracleSYSDBA
eSYSOPER
. - L'intervallo di tempo minimo tra trasferimenti Oracle ricorrenti è di 15 minuti. L'intervallo predefinito per un bonifico ricorrente è di 24 ore.
Prima di iniziare
Le seguenti sezioni descrivono i passaggi da seguire prima di creare un trasferimento Oracle.
Prerequisiti Oracle
- Crea una credenziale utente nel database Oracle.
- Concedi i privilegi di sistema di
Create Session
all'utente per consentire la creazione di sessioni. - Assegna uno spazio table all'account utente.
Quando crei un trasferimento Oracle, devi anche avere le seguenti informazioni del database Oracle.
Nome parametro | Descrizione |
---|---|
database |
Nome del database. |
host |
Nome host o indirizzo IP del database. |
port |
Numero di porta del database. |
username |
Nome utente per accedere al database. |
password |
Password per accedere al database. |
connectionType |
Il tipo di connessione. Può essere |
oracleObjects |
Elenco di oggetti Oracle da trasferire. |
Prerequisiti BigQuery
- Verifica di aver completato tutte le azioni necessarie per abilitare BigQuery Data Transfer Service.
- Crea un set di dati BigQuery per archiviare i tuoi dati.
- Se intendi configurare le notifiche di esecuzione del trasferimento per Pub/Sub, assicurati di avere l'autorizzazione
pubsub.topics.setIamPolicy
Identity and Access Management (IAM). Le autorizzazioni Pub/Sub non sono necessarie se configuri solo le notifiche via email. Per ulteriori informazioni, consulta Notifiche di esecuzione di BigQuery Data Transfer Service.
Ruoli BigQuery obbligatori
Per ottenere le autorizzazioni necessarie per creare un trasferimento,
chiedi all'amministratore di concederti il ruolo IAM
Amministratore BigQuery (roles/bigquery.admin
).
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.
Questo ruolo predefinito contiene le autorizzazioni necessarie per creare un trasferimento. Per visualizzare le autorizzazioni esatte necessarie, espandi la sezione Autorizzazioni richieste:
Autorizzazioni obbligatorie
Per creare un trasferimento sono necessarie le seguenti autorizzazioni:
-
bigquery.transfers.update
per l'utente -
bigquery.datasets.get
sul set di dati di destinazione -
bigquery.datasets.update
sul set di dati di destinazione
Potresti anche essere in grado di ottenere queste autorizzazioni con i ruoli personalizzati o altri ruoli predefiniti.
Configura un Data Transfer Oracle
Seleziona una delle seguenti opzioni:
Console
Nella console Google Cloud, vai alla pagina BigQuery.
Fai clic su Trasferimenti di dati > Crea un trasferimento.
Nella sezione Tipo di origine, per Origine, seleziona Oracle.
Nella sezione Nome configurazione di trasferimento, in Nome visualizzato, inserisci un nome per il trasferimento.
Nella sezione Opzioni di pianificazione:
Nell'elenco Frequenza di ripetizione, seleziona un'opzione per specificare la frequenza di esecuzione di questo trasferimento. Per specificare una frequenza di ripetizione personalizzata, seleziona Personalizzata. Se selezioni On demand, questo trasferimento viene eseguito quando attivi manualmente il trasferimento.
Se applicabile, seleziona Inizia ora o Inizia all'ora impostata e specifica una data di inizio e un'ora di esecuzione.
Nella sezione Impostazioni destinazione, per Set di dati, seleziona il set di dati creato per archiviare i dati.
Nella sezione Dettagli origine dati, procedi nel seguente modo:
- Per Collegamento di rete, seleziona un collegamento di rete esistente o fai clic su Crea collegamento di rete.
- In Host, inserisci il nome host o l'IP del database.
- In Porta, inserisci il numero di porta utilizzato dal database Oracle per le connessioni in entrata, ad esempio
1520
. - In Nome database, inserisci il nome del database Oracle.
- In Tipo di connessione, inserisci il tipo di URL di connessione:
SERVICE
,SID
oTNS
. - In Nome utente, inserisci il nome utente dell'utente che avvia la connessione al database Oracle.
- In Password, inserisci la password dell'utente che avvia la connessione al database Oracle.
In Oggetti Oracle da trasferire, fai clic su SFOGLIA per selezionare le tabelle da trasferire al set di dati di destinazione BigQuery.
- Puoi anche inserire manualmente gli oggetti da includere nel trasferimento in questo campo.
Nel menu Account di servizio, seleziona un account di servizio associato al tuo progetto Google Cloud. L'account di servizio selezionato deve disporre dei ruoli richiesti per eseguire questo trasferimento.
Se hai eseguito l'accesso con un'identità federata, è necessario un account di servizio per creare un trasferimento. Se hai eseguito l'accesso con un Account Google, un account di servizio per il trasferimento è facoltativo.
Per ulteriori informazioni sull'utilizzo degli account di servizio con il trasferimento di dati, vedi Utilizzare gli account di servizio.
(Facoltativo) Nella sezione Opzioni di notifica, segui questi passaggi:
- Per abilitare le notifiche via email, fai clic sul pulsante di attivazione/disattivazione Notifica via email. Abilitando questa opzione, l'amministratore dei trasferimenti riceve una notifica via email quando un'esecuzione del trasferimento non va a buon fine.
- Per abilitare le notifiche dell'esecuzione del trasferimento di Pub/Sub per questo trasferimento, fai clic sul pulsante di attivazione/disattivazione Notifiche Pub/Sub. Puoi selezionare il nome dell'argomento o fare clic su Crea un argomento per crearne uno.
Fai clic su Salva.
bq
Inserisci il comando bq mk
e fornisci il flag di creazione del trasferimento
--transfer_config
:
bq mk \ --transfer_config \ --project_id=PROJECT_ID \ --data_source=DATA_SOURCE \ --display_name=DISPLAY_NAME \ --target_dataset=DATASET \ --params='PARAMETERS'
Dove:
- PROJECT_ID (facoltativo): il tuo ID progetto Google Cloud.
Se non viene fornito il valore
--project_id
per specificare un progetto specifico, viene utilizzato il progetto predefinito. - DATA_SOURCE: l'origine dati,
oracle
. - DISPLAY_NAME: il nome visualizzato per la configurazione di trasferimento. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in seguito.
- DATASET: il set di dati di destinazione per la configurazione del trasferimento.
PARAMETERS: i parametri per la configurazione di trasferimento creata in formato JSON. Ad esempio:
--params='{"param":"param_value"}'
. Di seguito sono riportati i parametri per un trasferimento Oracle:connector.networkAttachment
(facoltativo): nome del collegamento di rete per la connessione al database Oracle.connector.authentication.Username
: nome utente dell'account Oracle.connector.authentication.Password
: password dell'account Oracle.connector.database
: nome del database Oracle.connector.endpoint.host
: il nome host o l'IP del database.connector.endpoint.port
: il numero di porta che il database Oracle utilizza per le connessioni in entrata, ad esempio1520
.connector.connectionType
: il tipo di URL di connessione,SERVICE
,SID
oTNS
.assets
: il percorso degli oggetti Oracle da trasferire a BigQuery, utilizzando il formato:DATABASE_NAME/SCHEMA_NAME/TABLE_NAME
Ad esempio, il seguente comando crea un trasferimento Oracle nel progetto predefinito con tutti i parametri richiesti:
bq mk \ --transfer_config \ --target_dataset=mydataset \ --data_source=oracle \ --display_name='My Transfer' \ --params='{"assets":["DB1/USER1/DEPARTMENT","DB1/USER1/EMPLOYEES"], \ "connector.authentication.username": "User1", \ "connector.authentication.password":"ABC12345", \ "connector.database":"DB1", \ "Connector.endpoint.host":"192.168.0.1", \ "Connector.endpoint.port":"1520", \ "connector.connectionType":"SERVICE", \ "connector.networkAttachment": \ "projects/dev-project1/regions/us-central1/networkattachments/na1"}'
API
Utilizza il metodo projects.locations.transferConfigs.create
e fornisci un'istanza della risorsa TransferConfig
.
Risolvere i problemi di configurazione del trasferimento
Se hai problemi di configurazione del trasferimento, consulta Problemi di trasferimento con Oracle.
Prezzi
Non è previsto alcun costo per il trasferimento dei dati Oracle in BigQuery mentre questa funzionalità è in Anteprima.
Passaggi successivi
- Per una panoramica di BigQuery Data Transfer Service, consulta Introduzione a BigQuery Data Transfer Service.
- Per informazioni sull'utilizzo dei trasferimenti, tra cui il recupero di informazioni su una configurazione di trasferimento, l'elenco delle configurazioni di trasferimento e la visualizzazione della cronologia delle esecuzioni di un trasferimento, vedi Utilizzo dei trasferimenti.
- Scopri come caricare dati con le operazioni cross-cloud.