Oracle-Übertragung planen

Mit dem BigQuery Data Transfer Service für Oracle-Connector können Sie wiederkehrende Ladejobs von Oracle in BigQuery automatisch planen und verwalten.

Beschränkungen

Oracle-Übertragungen unterliegen den folgenden Einschränkungen:

  • Die maximale Anzahl gleichzeitiger Verbindungen zu einer Oracle-Datenbank ist begrenzt. Daher ist die Anzahl der gleichzeitigen Übertragungen zu einer einzelnen Oracle-Datenbank auf diesen Höchstwert begrenzt.
  • Sie müssen einen Netzwerkanhang einrichten, wenn für eine Oracle-Datenbankverbindung keine öffentliche IP-Adresse verfügbar ist. Beachten Sie dabei die folgenden Anforderungen:
    • Die Datenquelle muss über das Subnetz zugänglich sein, in dem sich der Netzwerkanhang befindet.
    • Der Netzwerkanhang darf sich nicht im Subnetz im Bereich 240.0.0.0/24 befinden.
    • Netzwerkanhänge können nicht gelöscht werden, wenn aktive Verbindungen zum Anhang bestehen. Wenn Sie einen Netzwerkanhang löschen möchten, wenden Sie sich an Cloud Customer Care.
    • Für die Multi-Region us muss sich der Netzwerkanhang in der Region us-central1 befinden. Für die Multi-Region eu muss sich der Netzwerkanhang in der Region europe-west4 befinden.
  • Die Google Cloud Console unterstützt nur die Verwendung der Oracle-Nutzerrolle NORMAL zum Verbinden von Oracle mit BigQuery Data Transfer Service. Sie müssen die BigQuery-Befehlszeile verwenden, um eine Verbindung mit den Oracle-Nutzerrollen SYSDBA und SYSOPER herzustellen.
  • Das Mindestintervall zwischen wiederkehrenden Oracle Übertragungen beträgt 15 Minuten. Das Standardintervall für eine wiederkehrende Übertragung beträgt 24 Stunden.

Vorbereitung

In den folgenden Abschnitten werden die Schritte beschrieben, die Sie vor dem Erstellen einer Oracle-Übertragung ausführen müssen.

Voraussetzungen für Oracle

Beim Erstellen einer Oracle-Übertragung benötigen Sie außerdem die folgenden Oracle-Datenbankinformationen.

Parametername Beschreibung
database Name der Datenbank.
host

Hostname oder IP-Adresse der Datenbank.
port

Portnummer der Datenbank.
username

Nutzername für den Zugriff auf die Datenbank.
password

Passwort für den Zugriff auf die Datenbank.
connectionType

Entspricht dem Verbindungstyp. Das kann SERVICE, SID oder TNS sein.

oracleObjects

Liste der zu übertragenden Oracle-Objekte.

Voraussetzungen für BigQuery

Erforderliche BigQuery-Rollen

Bitten Sie Ihren Administrator, Ihnen den IAM-Rolle BigQuery-Administrator (roles/bigquery.admin) zu gewähren, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer Übertragung benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen einer Übertragung erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Erstellen einer Übertragung erforderlich:

  • bigquery.transfers.update für den Nutzer
  • bigquery.datasets.get für das Ziel-Dataset
  • bigquery.datasets.update für das Ziel-Dataset

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Oracle-Datenübertragung einrichten

Wählen Sie eine der folgenden Optionen aus:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Datenübertragungen auf.

    Zu „Datenübertragungen”

  2. Klicken Sie auf Übertragung erstellen.

  3. Wählen Sie im Abschnitt Source type (Quelltyp) für Source (Quelle) die Option Oracle aus.

  4. Führen Sie im Abschnitt Details zur Datenquelle folgende Schritte aus:

    • Wählen Sie unter Netzwerkanhang einen vorhandenen Netzwerkanhang aus oder klicken Sie auf Netzwerkanhang erstellen.
    • Geben Sie unter Host den Hostnamen oder die IP-Adresse der Datenbank ein.
    • Geben Sie unter Port die Portnummer ein, die die Oracle-Datenbank für eingehende Verbindungen verwendet, z. B. 1520.
    • Geben Sie unter Datenbankname den Namen der Oracle-Datenbank ein.
    • Geben Sie unter Verbindungstyp den URL-Typ der Verbindung ein, entweder SERVICE, SID oder TNS.
    • Geben Sie unter Nutzername den Nutzernamen des Nutzers ein, der die Oracle-Datenbankverbindung initiiert.
    • Geben Sie unter Passwort das Passwort des Nutzers ein, der die Oracle-Datenbankverbindung initiiert.

    • Klicken Sie für Zu übertragende Oracle-Objekte auf DURCHSUCHEN, um alle Tabellen auszuwählen, die an das BigQuery-Ziel-Dataset übertragen werden sollen.

      • Sie können in dieses Feld auch manuell alle Objekte eingeben, die in die Datenübertragung einbezogen werden sollen.

      Oracle-Übertragungskonfiguration konfigurieren

  5. Wählen Sie im Abschnitt Zieleinstellungen für Dataset das Dataset aus, das Sie zum Speichern Ihrer Daten erstellt haben.

  6. Geben Sie im Abschnitt Konfigurationsname für Übertragung für Anzeigename einen Namen für die Datenübertragung ein.

  7. Im Abschnitt Zeitplanoptionen:

    • Wählen Sie in der Liste Wiederholungshäufigkeit aus, wie oft diese Übertragung ausgeführt werden soll. Wenn Sie eine benutzerdefinierte Wiederholungshäufigkeit angeben möchten, wählen Sie Benutzerdefiniert aus. Wenn Sie On-Demand auswählen, wird diese Übertragung ausgeführt, wenn Sie die Übertragung manuell auslösen.

    • Wählen Sie gegebenenfalls Jetzt starten oder Zu festgelegter Zeit starten aus und geben Sie ein Startdatum und eine Laufzeit an.

  8. Wählen Sie im Menü Dienstkonto ein Dienstkonto aus, das Ihrem Google Cloud-Projekt zugeordnet ist. Das ausgewählte Dienstkonto muss die erforderlichen Rollen für diese Übertragung haben.

    Wenn Sie sich mit einer föderierten Identität angemeldet haben, ist ein Dienstkonto zum Erstellen einer Übertragung erforderlich. Wenn Sie sich mit einem Google-Konto angemeldet haben, ist ein Dienstkonto für die Übertragung optional.

    Weitere Informationen zur Verwendung von Dienstkonten mit Datenübertragungen finden Sie unter Dienstkonten verwenden.

  9. Optional: Gehen Sie im Abschnitt Benachrichtigungsoptionen so vor:

    • Klicken Sie zum Aktivieren von E-Mail-Benachrichtigungen auf die Ein/Aus-Schaltfläche E-Mail-Benachrichtigung. Wenn Sie diese Option aktivieren, erhält der Übertragungsadministrator eine E-Mail-Benachrichtigung, wenn eine Übertragung fehlschlägt.
    • Klicken Sie auf die Ein/Aus-Schaltfläche Pub/Sub-Benachrichtigungen, um Pub/Sub-Benachrichtigungen über die Ausführung von Übertragungen für diese Übertragung zu aktivieren. Sie können den Namen für das Thema auswählen oder auf Thema erstellen klicken, um eines zu erstellen.

  10. Klicken Sie auf Speichern.

bq

Geben Sie den Befehl bq mk ein und geben Sie das Flag --transfer_config für die Übertragungserstellung an.

bq mk \
    --transfer_config \
    --project_id=PROJECT_ID \
    --data_source=DATA_SOURCE \
    --display_name=DISPLAY_NAME \
    --target_dataset=DATASET \
    --params='PARAMETERS'

Dabei gilt:

  • PROJECT_ID (Optional) Ihre Google Cloud-Projekt-ID. Wenn --project_id nicht bereitgestellt wird, um ein bestimmtes Projekt anzugeben, wird das Standardprojekt verwendet.
  • DATA_SOURCE. Die Datenquelle – oracle.
  • DISPLAY_NAME: Der Anzeigename für die Übertragungskonfiguration. Der Datenübertragungsname kann ein beliebiger Wert sein, mit dem Sie die Übertragung identifizieren können, wenn Sie sie später ändern müssen.
  • DATASET: Das Ziel-Dataset für die Übertragungskonfiguration.

  • PARAMETERS: die Parameter für die erstellte Übertragungskonfiguration im JSON-Format. Beispiel: --params='{"param":"param_value"}'. Im Folgenden finden Sie die Parameter für eine Oracle-Datenübertragung:

    • connector.networkAttachment (optional): Name des Netzwerkanhangs, der eine Verbindung zur Oracle-Datenbank herstellen soll.
    • connector.authentication.Username: der Nutzername des Oracle-Kontos.
    • connector.authentication.Password: das Passwort des Oracle-Kontos.
    • connector.database ist der Name der Oracle-Datenbank.
    • connector.endpoint.host: der Hostname oder die IP-Adresse der Datenbank.
    • connector.endpoint.port: die Portnummer, die die Oracle-Datenbank für eingehende Verbindungen verwendet, z. B. 1520
    • connector.connectionType: der URL-Typ der Verbindung, entweder SERVICE, SID oder TNS.
    • assets: der Pfad zu den Oracle-Objekten, die in BigQuery übertragen werden sollen, im Format DATABASE_NAME/SCHEMA_NAME/TABLE_NAME

Mit dem folgenden Befehl wird beispielsweise eine Oracle-Datenübertragung im Standardprojekt mit allen erforderlichen Parametern erstellt:

bq mk \
    --transfer_config \
    --target_dataset=mydataset \
    --data_source=oracle \
    --display_name='My Transfer' \
    --params='{"assets":["DB1/USER1/DEPARTMENT","DB1/USER1/EMPLOYEES"], \
        "connector.authentication.username": "User1", \
        "connector.authentication.password":"ABC12345", \
        "connector.database":"DB1", \
        "Connector.endpoint.host":"192.168.0.1", \
        "Connector.endpoint.port":"1520", \
        "connector.connectionType":"SERVICE", \
        "connector.networkAttachment": \
        "projects/dev-project1/regions/us-central1/networkattachments/na1"}'

API

Verwenden Sie die Methode projects.locations.transferConfigs.create und geben Sie eine Instanz der Ressource TransferConfig an.

Fehler bei der Übertragungseinrichtung beheben

Unterstützung bei Problemen mit der Einrichtung von Datenübertragungen finden Sie unter Oracle-Übertragungsprobleme.

Preise

Während sich dieses Feature in der Vorschau befindet, fallen keine Kosten für die Übertragung von Oracle-Daten in BigQuery an.

Nächste Schritte