DataStream APIs verwenden

---

Übersicht

Für Unternehmen mit vielen isolierten Datenquellen kann der Zugriff auf Unternehmensdaten im gesamten Unternehmen, insbesondere in Echtzeit, schwierig sein. Dies führt zu einem eingeschränkten und langsamen Datenzugriff, der die Fähigkeit des Unternehmens zur Selbstbeobachtung verhindert.

Datastream bietet nahezu in Echtzeit Zugriff auf Änderungsdaten aus einer Vielzahl von lokalen und cloudbasierten Datenquellen, um den Zugriff auf Unternehmensdaten zu ermöglichen. Datastream bietet eine einfache Einrichtung und eine vereinheitlichte Nutzung API, die den Zugriff des Unternehmens auf die aktuellsten verfügbaren Unternehmensdaten im gesamten Unternehmen demokratisiert und so eingebundene Szenarien nahezu in Echtzeit ermöglicht.

Ein solches Szenario besteht darin, Daten aus einer Quelldatenbank in einen cloudbasierten Speicherdienst oder eine Nachrichtenwarteschlange zu übertragen und in ein Formular umzuwandeln, das von anderen Anwendungen und Diensten, die mit diesem Speicherdienst oder dieser Nachrichtenwarteschlange kommunizieren, lesbar ist.

In dieser Anleitung erfahren Sie, wie Sie mit Datastream Schemas, Tabellen und Daten aus einer Oracle-Quelldatenbank in einen Ordner in einem Cloud Storage-Bucket übertragen. Cloud Storage ist ein Webdienst zum Speichern und Abrufen von Daten in Google Cloud. Der Dienst kombiniert die Leistung und Skalierbarkeit der Google Cloud mit erweiterten Sicherheits- und Freigabefunktionen.

Im Rahmen der Übertragung dieser Informationen in einen Ordner im Cloud Storage-Ziel-Bucket übersetzt Datastream diese Informationen in Avro. Avro wird durch ein Schema definiert, das in JavaScript Object Notation (JSON) geschrieben ist. Durch diese Übersetzung können Sie Daten aus verschiedenen Datenquellen einheitlich lesen.

Lernziele

In dieser Anleitung erfahren Sie mehr über die folgenden Themen:

• Umgebungsvariablen festlegen Sie verwenden diese Variablen, wenn Sie Anfragen an Datastream senden, um sowohl Verbindungsprofile als auch einen Stream zu erstellen und zu verwalten.
• Verbindungsprofile für eine Quelldatenbank und einen Ziel-Bucket in Cloud Storage erstellen und verwalten. Mit diesen Verbindungsprofilen erstellen Sie Datensätze mit Informationen zur Quelldatenbank und zum Cloud Storage-Ziel-Bucket. Der Stream in Datastream verwendet die Informationen in den Verbindungsprofilen, um Daten aus der Quelldatenbank in einen Ordner im Ziel-Bucket zu übertragen.
• Stream erstellen und verwalten. Datastream verwendet diesen Stream, um Daten, Schemas und Tabellen aus der Quelldatenbank in einen Ordner im Ziel-Bucket zu übertragen.
• Prüfen, ob Datastream die mit einem Schema der Oracle-Quelldatenbank verknüpften Daten und Tabellen in einen Ordner im Ziel-Bucket überträgt und diese Daten in das Avro-Dateiformat übersetzt.
• Ressourcen bereinigen, die Sie in Datastream erstellt haben, damit sie keine kostenpflichtigen Kontingente verbrauchen.

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

• Cloud Storage

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen. Neuen Google Cloud-Nutzern steht möglicherweise eine kostenlose Testversion zur Verfügung.

Hinweise

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Aktivieren Sie die Datastream API.

   API aktivieren

7. Achten Sie darauf, dass Ihrem Nutzerkonto die Rolle „Datastream-Administrator“ zugewiesen ist.

   Zur IAM-Seite

8. Sorgen Sie dafür, dass Sie eine Quelldatenbank haben, auf die Datastream zugreifen kann. In dieser Anleitung wird eine Oracle-Datenbank als Quelle verwendet.
9. Konfigurieren Sie Ihre Quelldatenbank so, dass eingehende Verbindungen von öffentlichen Datastream-IP-Adressen zugelassen werden. Informationen zum Zugriff auf die Standorte aller Datastream-Regionen und die zugehörigen öffentlichen IP-Adressen finden Sie unter IP-Zulassungslisten und Regionen.
10. Prüfen Sie, ob Sie einen Cloud Storage-Ziel-Bucket konfiguriert haben, auf den Datastream mithilfe der IP-Zulassungsliste, des Weiterleitungs-SSH-Tunnels oder der VPC-Peering-Netzwerkverbindungsmethode zugreifen kann.
11. In der Quelldatenbank müssen Daten, Tabellen und Schemas vorhanden sein, die von Datastream in einen Ordner im Cloud Storage-Ziel-Bucket übertragen werden können.
12. Laden Sie Cloud Shell herunter und installieren Sie es. Diese Clientanwendung bietet Ihnen eine Befehlszeile, mit der Sie auf Ihre Cloudressourcen (einschließlich Datastream) zugreifen können.
13. Installieren und konfigurieren Sie das Dienstprogramm jq. Dieses Dienstprogramm ist ein einfacher und flexibler JSON-Befehlszeilenprozessor. Mit diesem Prozessor zeigen Sie komplexe cURL-Befehle in leicht lesbarem Text an.

Umgebungsvariablen festlegen

Geben Sie für dieses Verfahren die folgenden Variablen an:

• $PROJECT: Diese Variable ist Ihrem Google Cloud-Projekt zugeordnet. Alle Google Cloud-Ressourcen, die Sie zuweisen und nutzen, müssen zu einem Projekt gehören.
• $TOKEN: Diese Variable ist einem Zugriffstoken zugeordnet. Das Zugriffstoken stellt eine Sitzung bereit, die Cloud Shell zum Ausführen von Aufgaben in Datastream über REST APIs verwendet.

1. Starten Sie Ihre Cloud Shell-Anwendung.

2. Geben Sie nach der Authentifizierung Ihrer Anwendung mit Ihrem Google-Konto gcloud auth login ein.

3. Geben Sie bei der Eingabeaufforderung Do you want to continue (Y/n)? den Wert Y ein.

4. Öffnen Sie einen Webbrowser und kopieren Sie die URL in den Browser.

5. Authentifizieren Sie sich mit Ihrem Google-Konto beim Google Cloud SDK. Auf der Seite Anmelden wird ein Code angezeigt. Dieser Code ist Ihr Zugriffstoken.

6. Kopieren Sie das Zugriffstoken, fügen Sie es in den Parameter Enter verification code: Ihrer Cloud Shell-Anwendung ein und drücken Sie Enter.

7. Geben Sie an der Eingabeaufforderung PROJECT="YOUR_PROJECT_NAME" ein, um die Umgebungsvariable $PROJECT auf Ihr Google Cloud-Projekt festzulegen.

8. Geben Sie bei der Eingabeaufforderung gcloud config set project YOUR_PROJECT_NAME ein, um das Projekt festzulegen, an dem Sie an Ihrem Google Cloud-Projekt arbeiten möchten.

   Die Eingabeaufforderung wird aktualisiert, um Ihr aktives Projekt zu berücksichtigen, und hat das Format USERNAME@cloudshell:~ (YOUR_PROJECT_NAME)$.

9. Geben Sie an der Eingabeaufforderung TOKEN=$(gcloud auth print-access-token) ein, um das Zugriffstoken abzurufen und als Variable zu speichern.

10. Geben Sie an der Eingabeaufforderung die folgenden Befehle ein, um sicherzustellen, dass die Variablen $PROJECT und $TOKEN korrekt festgelegt sind:

    • echo $PROJECT
    • echo $TOKEN

Nachdem Sie die Variablen festgelegt haben, können Sie Anfragen an Datastream senden, um sowohl Verbindungsprofile als auch einen Stream zu erstellen und zu verwalten.

Verbindungsprofile erstellen und verwalten

In diesem Abschnitt erstellen und verwalten Sie Verbindungsprofile für eine Oracle-Quelldatenbank und einen Ziel-Bucket in Cloud Storage.

Wenn Sie diese Verbindungsprofile erstellen, erstellen Sie Einträge, die Informationen über die Quelldatenbank und den Cloud Storage-Ziel-Bucket enthalten. Datastream verwendet die Informationen in den Verbindungsprofilen, um Daten aus der Quelldatenbank in einen Ordner im Ziel-Bucket zu übertragen.

Das Erstellen und Verwalten von Verbindungsprofilen umfasst:

• Verbindungsprofile für eine Oracle-Quelldatenbank und einen Ziel-Bucket in Cloud Storage erstellen.
• Informationen zu einem Verbindungsprofil abrufen.
• Verbindungsprofil ändern.
• Discover API-Aufruf für das Oracle-Verbindungsprofil ausführen. Mit diesem Aufruf können Sie in der Datenbank suchen, um die damit verknüpften Objekte zu sehen. Diese Objekte umfassen die Schemas und Tabellen, die die Daten der Datenbank enthalten. Wenn Sie Datastream zum Konfigurieren eines Streams verwenden, möchten Sie möglicherweise nicht alle Objekte aus der Datenbank abrufen, sondern nur einen Teil der Objekte, z. B. nur bestimmte Tabellen und Schemas der Datenbank. Verwenden Sie die Discover API, um die Teilmenge der Datenbankobjekte, die Sie abrufen möchten, zu finden (oder zu erkennen).

Verbindungsprofile erstellen

In diesem Verfahren erstellen Sie zwei Verbindungsprofile: eines für eine Oracle-Quelldatenbank und ein weiteres für einen Ziel-Bucket in Cloud Storage.

1. Erstellen Sie ein Verbindungsprofil zu einer Oracle-Quelldatenbank. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

ORACLE="{\"displayName\":\"DISPLAY_NAME\",\"oracle_profile\":{\"hostname\":\"HOSTNAME\",\"username\":\"USERNAME\",\"password\":\"PASSWORD\",\"database_service\":\"DATABASE_SERVICE\",\"port\":"PORT_NUMBER\"},\"no_connectivity\":{}}"
  

Die folgende Tabelle bietet einen Einblick in die Parameterwerte für die Oracle-Quelldatenbank:

Parameterwert	Ersetzen durch
DISPLAY_NAME	Der angezeigte Name des Verbindungsprofils zur Quelldatenbank.
HOSTNAME	Der Hostname des Quelldatenbankservers.
USERNAME	Der Nutzername des Kontos für die Quelldatenbank (z. B. ROOT).
PASSWORD	Das Passwort des Kontos für die Quelldatenbank.
DATABASE_SERVICE	Der Dienst, der sicherstellt, dass die Quelldatenbank geschützt und überwacht wird. Bei Oracle-Datenbanken ist der Datenbankdienst normalerweise ORCL.
PORT_NUMBER	Die Portnummer, die für die Quelldatenbank reserviert ist. Bei einer Oracle-Datenbank ist die Portnummer normalerweise 1521.

Hinweis: In dieser Anleitung wird die Netzwerkverbindungsmethode no_connectivity verwendet, da Sie die Oracle-Quelldatenbank so konfiguriert haben, dass eingehende Verbindungen von öffentlichen Datastream-IP-Adressen zugelassen werden. Zusätzlich zu no_connectivity werden zwei Methoden zur Netzwerkverbindung unterstützt, mit denen Sie eine Verbindung zwischen der Quelldatenbank und dem Ordner im Cloud Storage-Ziel-Bucket herstellen können.

• IP-Zulassungsliste: Bei dieser Methode wird die Quelldatenbank so konfiguriert, dass sie Verbindungen von der öffentlichen Datastream-IP-Adresse akzeptiert. Wenn Sie die IP-Zulassungsliste als Netzwerkverbindungsmethode verwenden, ersetzen Sie no_connectivity durch StaticIpConnectivity.
• Weiterleitungs-SSH-Tunnel: Diese Methode stellt die Verbindung von der Quelldatenbank zu Datastream über einen sicheren SSH-Tunnel her. Wenn Sie den Weiterleitungs-SSH-Tunnel als Methode zur Netzwerkverbindung verwenden, ersetzen Sie no_connectivity durch forwardSshTunnelConnectivity. Informationen zu den Werten, die Sie für diese Netzwerkverbindungsmethode festlegen können, finden Sie in der Referenzdokumentation.

1. Geben Sie an der Eingabeaufforderung den Befehl echo $ORACLE | jq ein, um das von Ihnen erstellte Quellverbindungsprofil als leicht lesbaren Text anzuzeigen.

   {
     "displayName": "DISPLAY_NAME",
     "oracle_profile": {
       "hostname": "HOSTNAME",
       "username": "USERNAME",
       "password": "PASSWORD",
       "database_service": "DATABASE_SERVICE",
       "port": PORT_NUMBER
      },
     "no_connectivity": {}
   }

2. Reichen Sie das Oracle-Verbindungsprofil ein, damit es erstellt werden kann. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   curl -X POST -d $ORACLE -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles?connection_profile_id=SOURCE_CONNECTION_PROFILE_ID

   Verwenden Sie die folgende Tabelle, um die Parameterwerte für diesen Befehl zu verstehen:

   Parameterwert	Ersetzen durch
   DATASTREAM_API_VERSION	Die aktuelle Version der Datastream API (z. B. v1).
   PROJECT_PATH	Der vollständige Pfad Ihres Google Cloud-Projekts (z. B. projects/$PROJECT/locations/YOUR_PROJECT_LOCATION).
   SOURCE_CONNECTION_PROFILE_ID	Die eindeutige Kennung, die für dieses Verbindungsprofil reserviert ist (z. B. cp-1).

3. Prüfen Sie, ob die folgenden Codezeilen angezeigt werden:

   {
     "name": "PROJECT_PATH/operations/operation-SOURCE_CONNECTION_PROFILE_OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
       "createTime": "DATE_AND_TIME_STAMP",
       "target": "datastream.googleapis.com/DATASREAM_VERSION/PROJECT_PATH/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
       "verb": "create",
       "requestedCancellation": false,
       "apiVersion": "DATASTREAM_API_VERSION"
     },
     "done": false
   }

   Hinweis: Der Parameterwert SOURCE_CONNECTION_PROFILE_OPERATION_ID ist ein alphanumerischer Wert für den Vorgang, der zum Erstellen dieses Verbindungsprofils verwendet wird. Der Parameterwert für DATE_AND_TIME_STAMP gibt an, wann das Verbindungsprofil erstellt wird, und hat das Format YYYY-MM-DDTHH:MM:SSZ.

4. Neues Verbindungsprofil zu einem Ziel-Bucket in Cloud Storage erstellen Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   GOOGLECLOUDSTORAGE="{\"displayName\":\"DISPLAY_NAME\",\"gcs_profile\":{\"bucket_name\":\"BUCKET_NAME\",\"root_path\":\"/FOLDER_PATH\"},\"no_connectivity\":{}}"

   Verwenden Sie die folgende Tabelle, um die Parameterwerte für den Ziel-Bucket zu verstehen:

   Parameterwert	Ersetzen durch
   DISPLAY_NAME	Der angezeigte Name des Verbindungsprofils zum Ziel-Bucket.
   BUCKET_NAME	Der Name des Ziel-Buckets.
   FOLDER_PATH	Der Ordner im Ziel-Bucket, in den Datastream Daten aus der Quelldatenbank überträgt (z. B. /root/path).

5. Geben Sie an der Eingabeaufforderung den Befehl echo $GOOGLECLOUDSTORAGE | jq ein, um das von Ihnen erstellte Zielverbindungsprofil als leicht lesbaren Text anzuzeigen.

   {
     "displayName": "DISPLAY_NAME",
     "gcs_profile": {
       "bucket_name": "BUCKET_NAME",
       "root_path": "/FOLDER_PATH"
     },
     "no_connectivity": {}
   }

6. Reichen Sie das Cloud Storage-Verbindungsprofil ein, damit es erstellt werden kann. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   curl -X POST -d $GOOGLECLOUDSTORAGE -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles?connection_profile_id=DESTINATION_CONNECTION_PROFILE_ID

   Wichtig: Achten Sie darauf, dass Sie für den Parameterwert DESTINATION_CONNECTION_PROFILE_ID eine andere Kennung für dieses Verbindungsprofil angeben (z. B. cp-2).

7. Prüfen Sie, ob die folgenden Codezeilen angezeigt werden:

   {
     "name": "PROJECT_PATH/operations/operation-DESTINATION_CONNECTION_PROFILE_OPERATION_ID",
     "metadata": {
       "@type": "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
       "createTime": "DATE_AND_TIME_STAMP",
       "target": "datastream.googleapis.com/DATASTREAM_VERSION/PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
       "verb": "create",
       "requestedCancellation": false,
       "apiVersion": "DATASTREAM_API_VERSION"
     },
     "done": false
   }

   Hinweis: Der Parameterwert DESTINATION_CONNECTION_PROFILE_OPERATION_ID ist ein alphanumerischer Wert für den Vorgang, der zum Erstellen dieses Verbindungsprofils verwendet wird.

8. Prüfen Sie, ob beide Verbindungsprofile erstellt wurden. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles

   Hinweis: Der String connectionProfiles am Ende des Befehls gibt an, dass Sie Informationen über beide Verbindungsprofile abrufen möchten, um zu bestätigen, dass sie erstellt wurden.

9. Prüfen Sie, ob Sie zwei zurückgegebene Ergebnisse für das Quell- und Zielverbindungsprofil erhalten.

   {
     "connectionProfiles": [
       {
         "name": "PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
         "createTime": "DATE_AND_TIME_STAMP",
         "updateTime": "DATE_AND_TIME_STAMP",
         "displayName": "DISPLAY_NAME",
         "gcsProfile": {
           "bucketName": "BUCKET_NAME",
           "rootPath": "FOLDER_PATH"
         },
         "noConnectivity": {}
       },
      {
       "name": "PROJECT_PATH/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
       "createTime": "DATE_AND_TIME_STAMP",
       "updateTime": "DATE_AND_TIME_STAMP",
       "displayName": "DISPLAY_NAME",
       "oracleProfile": {
         "hostname": "HOSTNAME",
         "port": PORT_NUMBER,
         "username": "USERNAME",
         "databaseService": "DATABASE_SERVICE"
       },
       "noConnectivity": {}
       }
     ]
   }

Verbindungsprofile verwalten

In diesem Verfahren verwalten Sie die Verbindungsprofile, die Sie für eine Oracle-Quelldatenbank und einen Ziel-Bucket in Cloud Storage erstellt haben. Dazu zählen:

• Informationen zum Cloud Storage-Zielverbindungsprofil abrufen.
• Verbindungsprofil ändern. In dieser Anleitung ändern Sie den Ordner des Cloud Storage-Ziel-Buckets in /root/tutorial. Datastream überträgt Daten aus der Quelldatenbank in diesen Ordner.
• Discover API-Aufruf für das Oracle-Verbindungsprofil ausführen.

1. Rufen Sie Informationen zum Cloud Storage-Zielverbindungsprofil ab. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID

2. Prüfen Sie, ob die Informationen zu diesem Verbindungsprofil angezeigt werden.

   {
     "name": "PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
     "createTime": "DATE_AND_TIME_STAMP",
     "updateTime": "DATE_AND_TIME_STAMP",
     "displayName": "DISPLAY_NAME",
     "gcsProfile": {
       "bucketName": "BUCKET_NAME",
       "rootPath": "FOLDER_PATH"
     },
     "noConnectivity": {}
   }

3. Ändern Sie dieses Verbindungsprofil. Legen Sie dazu zuerst die Variable UPDATE fest. Diese Variable enthält die Werte des Verbindungsprofils, das Sie ändern möchten. In dieser Anleitung ändern Sie den Ordner des Ziel-Buckets in /root/tutorial.

   Geben Sie an der Eingabeaufforderung den folgenden Befehl ein, um die Variable festzulegen:

   UPDATE="{\"gcsProfile\":{\"rootPath\":\"/root/tutorial\"}}"

4. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   curl -X PATCH -d $UPDATE -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID?update_mask=gcsProfile.rootPath

   Hinweis: Der Codeabschnitt update_mask=gcsProfile.rootPath gibt an, dass Sie den Wert des Parameters rootPath für das Cloud Storage-Verbindungsprofil ändern möchten.

5. Prüfen Sie, ob die folgenden Codezeilen angezeigt werden:

   {
     "name": "PROJECT_PATH/operations/operation-DESTINATION_CONNECTION_PROFILE_OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
       "createTime": "DATE_AND_TIME_STAMP",
       "target": "PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
       "verb": "update",
       "requestedCancellation": false,
       "apiVersion": "DATASTREAM_API_VERSION"
     },
     "done": false
   }

   Hinweis: Der Wert update für den Parameter verb gibt an, dass Sie dieses Verbindungsprofil geändert haben.

6. Prüfen Sie, ob das Verbindungsprofil geändert wurde. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID

7. Prüfen Sie, ob der Ordner des Ziel-Buckets des Cloud Storage-Verbindungsprofils jetzt /root/tutorial ist.

   {
     "name": "PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
     "createTime": "DATE_AND_TIME_STAMP",
     "updateTime": "DATE_AND_TIME_STAMP",
     "displayName": "DISPLAY_NAME",
     "gcsProfile": {
       "bucketName": "BUCKET_NAME",
       "rootPath": "/root/tutorial"
     },
     "noConnectivity": {}
   }

8. Ermitteln Sie mit der Datastream Discover API die Schemas und Tabellen der Oracle-Quelldatenbank. Datastream bietet über das Quellverbindungsprofil Zugriff auf diese Datenbank.

   1. Lernen Sie die Schemas der Oracle-Datenbank kennen. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

      curl -X POST -d "{\"connection_profile_name\":\"projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID\", \"oracle_rdbms\":{\"oracleSchemas\":[{\"schema\":\"ROOT\"}]}}" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles:discover

      Hinweis: Ersetzen Sie den Platzhalter YOUR_PROJECT_NUMBER durch die zehnstellige Identifikationsnummer Ihres Google Cloud-Projekts. Der Codeabschnitt connectionProfiles:discover gibt an, dass Sie das Verbindungsprofil für die Oracle-Quelldatenbank verwenden möchten, um alle Schemas dieser Datenbank zu ermitteln.

   2. Prüfen Sie, ob Datastream alle Schemas Ihrer Datenbank abruft.

   3. Rufen Sie die Tabellen eines Schemas in Ihrer Datenbank ab. In dieser Anleitung rufen Sie mit der Discover API die Tabellen des Schemas ROOT ab. Sie können jedoch die Tabellen jedes Schemas in Ihrer Datenbank ermitteln.

      Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   curl -X POST -d "{\"connection_profile_name\":\"projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID\", \"oracle_rdbms\":{\"oracleSchemas\":[{\"schema\":\"ROOT\"}]}}" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles:discover

   1. Prüfen Sie, ob Datastream alle Tabellen des Schemas abruft, das Sie angegeben haben (für diese Anleitung das Schema ROOT).

Nachdem Sie nun Verbindungsprofile für eine Oracle-Quelldatenbank und einen Ziel-Bucket in Cloud Storage erstellt und verwaltet haben, können Sie einen Stream in Datastream erstellen und verwalten.

Stream erstellen und verwalten

In diesem Abschnitt erstellen und verwalten Sie einen Stream. Datastream verwendet diesen Stream, um Daten, Schemas und Tabellen aus der Quelldatenbank in einen Ordner im Cloud Storage-Ziel-Bucket zu übertragen.

Das Erstellen und Verwalten eines Streams umfasst:

• Validieren eines Streams, um zu gewährleisten, dass der Stream erfolgreich ausgeführt wird und alle Validierungsprüfungen erfolgreich sind. Folgendes wird geprüft:
  • Ob die Quelle ordnungsgemäß konfiguriert ist, damit Datastream Daten von ihr streamen kann.
  • Ob er sowohl mit der Quelle als auch mit dem Ziel verbunden werden kann.
  • Die End-to-End-Konfiguration des Streams.
• Erstellen des Streams mit den folgenden Listen:
  • Einer Zulassungsliste. In dieser Liste sind die Tabellen und Schemas in der Quelldatenbank angegeben, die Datastream in einen Ordner im Ziel-Bucket in Cloud Storage übertragen kann. In dieser Anleitung ist dies der Ordner /root/tutorial.
  • Einer Ablehnungsliste. In dieser Liste sind die Tabellen und Schemas in der Quelldatenbank angegeben, die von Datastream nicht in den Ordner im Cloud Storage-Ziel-Bucket übertragen werden.
• Informationen zum Stream abrufen.
• Stream ändern.
• Stream starten, damit Datastream Daten, Schemas und Tabellen aus der Quelldatenbank in einen Ordner im Cloud Storage-Ziel-Bucket übertragen kann.
• Fetch Errors API verwenden, um mit dem Stream verknüpfte Fehler zu erkennen.
• Stream pausieren. Wenn ein Stream pausiert ist, ruft Datastream keine neuen Daten aus der Quelldatenbank in den Ziel-Bucket ab.
• Fortsetzen des pausierten Streams, damit Datastream weiterhin Daten in den Ziel-Bucket übertragen kann.

Stream erstellen

In diesem Verfahren erstellen Sie einen Stream aus der Oracle-Quelldatenbank in einem Ordner im Cloud Storage-Ziel-Bucket. Der von Ihnen erstellte Stream enthält sowohl eine Zulassungsliste als auch eine Ablehnungsliste.

1. Legen Sie eine SCHEMAS-Variable fest: Mit dieser Variable werden die Schemas definiert, die die Daten und Tabellen enthalten, die von Datastream aus der Quelldatenbank abgerufen und in den Ordner /root/tutorial des Cloud Storage-Ziel-Buckets übertragen werden sollen. In dieser Anleitung legen Sie die Variable SCHEMAS fest, die mit dem Schema ROOT verknüpft sein soll.

   Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   SCHEMAS="{\"oracleSchemas\":[{\"schema\":\"ROOT\"}]}"

2. Geben Sie an der Eingabeaufforderung den Befehl echo $SCHEMAS | jq ein, um das von Ihnen für diese Variable definierte ROOT-Schema als leicht lesbaren Text anzuzeigen.

3. Erstellen Sie einen Stream. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   STREAM="{\"display_name\":\"DISPLAY_NAME\",\"source_config\":{\"source_connection_profile_name\":\"PROJECT_PATH/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",\"oracle_source_config\":{\"allowlist\":$SCHEMAS,\"rejectlist\":{}}},\"destination_config\":{\"destination_connection_profile_name\":\"PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID\",\"gcs_destination_config\":{\"file_rotation_mb\":5,\"file_rotation_interval\":{\"seconds\":15},\"avro_file_format\":{}},\"backfill_all\":{}}}"

   Hinweis: Ersetzen Sie den Parameterwert DISPLAY_NAME durch den gewünschten Anzeigenamen für den Stream, z. B. stream1.

4. Geben Sie an der Eingabeaufforderung den Befehl echo $STREAM | jq ein, um den von Ihnen erstellten Stream als leicht lesbaren Text anzuzeigen.

   {
     "display_name": "DISPLAY_NAME",
     "source_config": {
       "source_connection_profile_name": "PROJECT_PATH/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
       "oracle_source_config": {
         "allowlist": {
           "oracleSchemas": [
             {
               "schema": "ROOT"
             }
           ]
         },
         "rejectlist": {}
       }
     },
     "destination_config": {
       "destination_connection_profile_name": "PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
       "gcs_destination_config": {
         "file_rotation_mb": 5,
         "file_rotation_interval": {
           "seconds": 15
         },
         "avro_file_format": {}
       }
     },
     "backfill_all": {}
   }

   Verwenden Sie diese Tabelle, um die folgenden Parameter des Streams zu verstehen:

   Parameter	Beschreibung
   allowlist	Die Schemas mit Tabellen und Daten, die von der Quelldatenbank in einen Ordner des Cloud Storage-Ziel-Buckets übertragen werden. In dieser Anleitung werden alle Tabellen und Daten aus dem Schema ROOT (und nur dieses Schema) in den Ordner /root/tutorial des Ziel-Buckets übertragen.
   rejectlist	Alle Schemas, die Tabellen und Daten enthalten und nicht in einen Ordner des Cloud Storage-Ziel-Buckets übertragen werden. In dieser Anleitung bedeutet der Wert {}, dass keine Tabellen und Daten aus der Quelldatenbank daran gehindert werden, in den Ziel-Bucket übertragen zu werden.
   file_rotation_mb	Die Größe (in MB) von Dateien, die Daten enthalten, die aus der Quelldatenbank in einen Ordner im Cloud Storage-Ziel-Bucket übertragen werden. Für diese Anleitung werden Daten, die aus der Quelldatenbank abgerufen werden, in 5-MB-Dateien geschrieben. Wenn Daten diese Größe überschreiten, werden die sie in mehrere 5-MB-Dateien segmentiert.
   file_rotation_interval	Die Anzahl der Sekunden, die verstreichen, bevor Datastream eine vorhandene Datei in einem Ordner des Cloud Storage-Ziel-Buckets schließt und eine andere Datei öffnet, um Daten aus der Quelldatenbank zu übertragen. In dieser Anleitung ist das Dateirotationsintervall auf 15 Sekunden festgelegt.
   avro_file_format	Das Format der Dateien, die Datastream aus der Quelldatenbank in einen Ordner des Cloud Storage-Ziel-Buckets überträgt. In dieser Anleitung ist Avro das Dateiformat. Neben Avro unterstützt Datastream jetzt auch das JSON-Ausgabeformat für Dateien, die in Cloud Storage geschrieben werden. Anstelle von avro_file_format wird dies durch den Parameter json_file_format dargestellt. Für das JSON-Format können Sie: Fügen Sie eine Unified Types-Schemadatei in den Pfad ein. Dadurch schreibt Datastream zwei Dateien in Cloud Storage: eine JSON-Datendatei und eine Avro-Schemadatei. Die Schemadatei hat denselben Namen wie die Datendatei, aber mit der Erweiterung .schema. gzip-Komprimierung aktivieren, damit Datastream die Dateien komprimiert, die in Cloud Storage geschrieben werden. Da diese beiden Attribute nicht für Avro gelten, ist der Wert des Parameters avro_file_format auf ein leeres Wörterbuch ({}) festgelegt.
   backfill_all	Dieser Parameter ist dem Verlaufsdaten-Backfill zugeordnet. Wenn Sie diesen Parameter auf ein leeres Wörterbuch ({}) setzen, führt Datastream einen Backfill für Folgendes aus: Verlaufsdaten, zusätzlich zu laufenden Änderungen an den Daten, von der Quelldatenbank in das Ziel Schemas und Tabellen von der Quelle in das Ziel

5. Validieren Sie den Stream, um sicherzustellen, dass er erfolgreich ausgeführt wird und alle Validierungsprüfungen erfolgreich sind. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   curl -X POST -d $STREAM -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" "https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams?stream_id=STREAM_ID&validate_only=true"

   Ersetzen Sie den Parameterwert STREAM_ID durch eine eindeutige Kennung, die für diesen Stream reserviert ist (z. B. stream-1).

   Der Wert &validate_only=true gibt an, dass Sie den Stream nur validieren. Sie erstellen ihn nicht. Geben Sie für diese Anfrage die gesamte URL in Anführungszeichen an. Dadurch wird von Datastream der Wert &validate_only=true zur Validierung des Streams übernommen.

6. Kontrollieren Sie, dass die Codezeile {} angezeigt wird. Dies bedeutet, dass der Stream alle Validierungsprüfungen bestanden hat und keine Fehler mit dem Stream verknüpft sind.

   Bei nicht bestandenen Validierungsprüfungen werden Informationen dazu angezeigt, warum die Prüfung fehlgeschlagen ist und wie sie das Problem beheben können.

   Nachdem Sie die entsprechenden Korrekturen vorgenommen haben, stellen Sie die Anfrage noch einmal, um sicherzustellen, dass alle Validierungsprüfungen bestanden wurden.

7. Senden Sie den Stream, damit er erstellt werden kann. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   curl -X POST -d $STREAM -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams?stream_id=STREAM_ID

8. Prüfen Sie, ob die folgenden Codezeilen angezeigt werden:

   {
     "name": "PROJECT_PATH/operations/operation-STREAM_OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
       "createTime": "DATE_AND_TIME_STAMP",
       "target": "PROJECT_PATH/streams/STREAM_ID",
       "verb": "create",
       "requestedCancellation": false,
       "apiVersion": "DATASTREAM_API_VERSION"
     },
     "done": false
   }

   Hinweis: Der Parameterwert STREAM_OPERATION_ID ist ein alphanumerischer Wert für den Vorgang, der zum Erstellen dieses Streams verwendet wird.

9. Prüfen Sie, ob der Stream erstellt wurde. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams

   Hinweis: Der String streams am Ende des Befehls gibt an, dass Sie Informationen zum Stream abrufen möchten, um dessen Erstellung zu bestätigen.

10. Prüfen Sie, ob Sie ein zurückgegebenes Ergebnis für den von Ihnen erstellten Stream erhalten.

    {
      "streams": [
        {
          "name": "PROJECT_PATH/streams/STREAM_ID",
          "createTime": "DATE_AND_TIME_STAMP",
          "updateTime": "DATE_AND_TIME_STAMP",
          "displayName": "DISPLAY_NAME",
          "sourceConfig": {
            "sourceConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
            "oracleSourceConfig": {
              "allowlist": {
                "oracleSchemas": [
                  {
                    "schema": "ROOT"
                  }
                ]
              },
              "rejectlist": {}
            }
          },
          "destinationConfig": {
            "destinationConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
          "gcsDestinationConfig": {
              "fileRotationMb": 5,
              "fileRotationInterval": "15s"
              "avroFileFormat": {}
            }
          },
          "state": "CREATED",
          "backfillAll": {}
        }
      ]
    }

Stream verwalten

In diesem Verfahren verwenden Sie den erstellten Stream, um Daten aus einer Oracle-Quelldatenbank in einen Ordner in einem Cloud Storage-Ziel-Bucket zu übertragen. Dazu zählen:

• Informationen zum Stream abrufen.
• Stream ändern.
• Stream starten.
• Fetch Errors API verwenden, um mit dem Stream verknüpfte Fehler zu erkennen.
• Stream pausieren und fortsetzen.

1. Informationen zum Stream abrufen Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID

2. Prüfen Sie, ob die Informationen zu diesem Stream angezeigt werden.

   {
     "name": "PROJECT_PATH/streams/STREAM_ID",
     "createTime": "DATE_AND_TIME_STAMP",
     "updateTime": "DATE_AND_TIME_STAMP",
     "displayName": "DISPLAY_NAME",
     "sourceConfig": {
       "sourceConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
       "oracleSourceConfig": {
         "allowlist": {
           "oracleSchemas": [
             {
               "schema": "ROOT"
             }
           ]
         },
         "rejectlist": {}
        }
       },
       "destinationConfig": {
         "destinationConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
         "gcsDestinationConfig": {
           "fileRotationMb": 5,
           "fileRotationInterval": "15s"
           "avroFileFormat": {}
         }
       },
       "state": "CREATED",
       "backfillAll": {}
     }

3. Ändern Sie diesen Stream. Legen Sie dazu zuerst die Variable UPDATE fest. Diese Variable enthält die Werte des Streams, den Sie ändern möchten. Ändern Sie für diese Anleitung die Größe (in MB) der Dateien mit Daten, die aus der Quelldatenbank in einen Ordner im Cloud Storage-Ziel-Bucket übertragen werden (von 5 MB auf 100 MB). Beim Abrufen von Daten aus der Quelldatenbank werden sie jetzt in Dateien mit einer Größe von 100 MB geschrieben. Wenn Daten diese Größe überschreiten, werden die sie in mehrere 100-MB-Dateien segmentiert.

   Geben Sie an der Eingabeaufforderung den folgenden Befehl ein, um die Variable festzulegen:

   UPDATE="{\"destination_config\":{\"gcs_destination_config\":{\"file_rotation_mb\":100}}}"

4. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   curl -X PATCH -d $UPDATE -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID/?update_mask=destination_config.gcs_destination_config.file_rotation_mb

   Hinweis: Der Codeabschnitt update_mask=destination_config.gcs_destination_config.file_rotation_mb gibt an, dass Sie den Wert des Parameters file_rotation_mb für das Cloud Storage-Verbindungsprofil ändern möchten.

5. Prüfen Sie, ob die folgenden Codezeilen angezeigt werden:

   {
     "name": "PROJECT_PATH/operations/operation-STREAM_OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
       "createTime": "DATE_AND_TIME_STAMP",
       "target": "PROJECT_PATH/streams/STREAM_ID",
       "verb": "update",
       "requestedCancellation": false,
       "apiVersion": "DATASTREAM_API_VERSION"
     },
     "done": false
   }

   Hinweis: Der Wert update für den Parameter verb gibt an, dass du diesen Stream geändert hast.

6. Prüfen Sie, ob der Stream geändert wurde. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID

7. Prüfen Sie, ob der Wert des Parameters fileRotationMb für das Cloud Storage-Verbindungsprofil jetzt 100 ist.

   {
     "name": "PROJECT_PATH/streams/STREAM_ID",
     "createTime": "DATE_AND_TIME_STAMP",
     "updateTime": "DATE_AND_TIME_STAMP",
     "displayName": "DISPLAY_NAME",
     "sourceConfig": {
       "sourceConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
       "oracleSourceConfig": {
         "allowlist": {
           "oracleSchemas": [
             {
               "schema": "ROOT"
             }
           ]
         },
         "rejectlist": {}
        }
       },
       "destinationConfig": {
         "destinationConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
         "gcsDestinationConfig": {
           "fileRotationMb": 100,
           "fileRotationInterval": "15s"
           "avroFileFormat": {}
         }
       },
       "state": "CREATED",
       "backfillAll": {}
     }

8. Starten Sie den Stream. Anleitung:

   1. Ändern Sie die Variable UPDATE. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

      UPDATE="{\"state\":\"RUNNING\"}"

   2. Geben Sie dann den folgenden Befehl ein:

      curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID?updateMask=state

      Bei Verwendung des Parameters updateMask in der Anfrage müssen nur die von Ihnen angegebenen Felder im Text der Anfrage enthalten sein.

      In diesem Beispiel ist das angegebene Feld das Feld state, das den Status (oder Zustand) des Streams darstellt. Wenn Sie den Stream starten, ändern Sie seinen Status von CREATED in RUNNING.

9. Prüfen Sie, ob die folgenden Codezeilen angezeigt werden.

   {
     "name": "PROJECT_PATH/operations/operation-STREAM_OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
       "createTime": "DATE_AND_TIME_STAMP",
       "target": "PROJECT_PATH/streams/STREAM_ID",
       "verb": "start",
       "requestedCancellation": false,
       "apiVersion": "DATASTREAM_API_VERSION"
     },
     "done": false
   }

10. Rufen Sie nach einigen Minuten Informationen zum Stream ab, um zu bestätigen, dass er gestartet wurde:

    curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID

    Hinweis: Es dauert einige Minuten, bis der Stream ausgeführt wird. Hintergrundressourcen müssen gestartet werden, damit der Stream gestartet werden kann.

11. Prüfen Sie, ob sich der Status des Streams von CREATED in RUNNING geändert hat.

    {
      "name": "PROJECT_PATH/streams/STREAM_ID",
      "createTime": "DATE_AND_TIME_STAMP",
      "updateTime": "DATE_AND_TIME_STAMP",
      "displayName": "DISPLAY_NAME",
      "sourceConfig": {
        "sourceConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
        "oracleSourceConfig": {
          "allowlist": {
            "oracleSchemas": [
              {
                "schema": "ROOT"
              }
            ]
          },
          "rejectlist": {}
        }
      },
      "destinationConfig": {
        "destinationConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
        "gcsDestinationConfig": {
          "fileRotationMb": 100,
          "fileRotationInterval": "15s"
          "avroFileFormat": {}
        }
      },
      "state": "RUNNING",
      "backfillAll": {}
    }

    Wenn ein Stream gestartet wird, ändert sich der Status zuerst in STARTING. Dies bedeutet, dass der Stream gerade gestartet und validiert wird.

    • Wenn der Stream gültig ist, ändert sich der Status des Streams von STARTING in RUNNING.
    • Wenn der Stream ungültig ist, ändert sich der Status des Streams von STARTING zurück in CREATED. Beheben Sie die Fehler im Zusammenhang mit dem Stream. Wenn beispielsweise Fehler mit den Konnektivitätsinformationen des Streams verknüpft sind, ändern Sie die Streamdefinition. Nachdem Sie alle Probleme des Streams behoben haben, starten Sie ihn noch einmal. Der Status ändert sich in STARTING und dann in RUNNING.

    Wenn der Status des Streams noch STARTING lautet, warten Sie einige Sekunden und geben Sie den Befehl zum Abrufen von Informationen über den Stream noch einmal ein. Der Status des Streams sollte sich in RUNNING ändern.

12. Rufen Sie mit der Fetch Errors API alle mit dem Stream verknüpften Fehler ab.

    1. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

       curl -X POST -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID:fetchErrors

    2. Prüfen Sie, ob die folgenden Codezeilen angezeigt werden:

         {
           "name": "PROJECT_PATH/operations/operation-FETCH_ERRORS_OPERATION_ID",
           "metadata": {
             "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
             "createTime": "DATE_AND_TIME_STAMP",
             "target": "PROJECT_PATH/streams/STREAM_ID",
             "verb": "fetchErrors",
             "requestedCancellation": false,
             "apiVersion": "DATASTREAM_API_VERSION"
           },
           "done": false
         }
         

       Hinweis: Der Parameterwert FETCH_ERRORS_OPERATION_ID ist ein alphanumerischer Wert für diesen Vorgang. Mit diesem Wert rufen Sie Fortschrittsinformationen zu dem Vorgang ab, mit dem Fehler im Zusammenhang mit dem Stream erkannt werden.

    3. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

       curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/operations/operation-FETCH_ERRORS_OPERATION_ID

    4. Prüfen Sie, ob die folgenden Codezeilen angezeigt werden:

         {
           "name": "PROJECT_PATH/operations/operation-FETCH_ERRORS_OPERATION_ID",
           "metadata": {
             "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
             "createTime": "DATE_AND_TIME_STAMP",
             "endTime": "DATE_AND_TIME_STAMP",
             "target": "PROJECT_PATH/streams/STREAM_ID",
             "verb": "fetchErrors",
             "requestedCancellation": false,
             "apiVersion": "DATASTREAM_API_VERSION"
           },
           "done": true,
           "response": {
             "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.FetchErrorsResponse"
           }
         }
         

       Hinweis: Nach der Codezeile "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.FetchErrorsResponse werden keine Fehler angezeigt. Dies weist darauf hin, dass Datastream keine Fehler für den Stream erkannt hat. Sie können den Stream verwenden, um Daten aus der Oracle-Quelldatenbank in den Ordner /root/tutorial im Cloud Storage-Ziel-Bucket zu übertragen. Ein Beispiel für einen Fehler, der mithilfe der Fetch Errors API abgerufen werden kann, ist BAD_CREDENTIALS. Dieser Fehler tritt auf, wenn das Quell- oder Zielverbindungsprofil einen ungültigen Wert enthält und Datastream die Profile nicht zum Herstellen einer Verbindung zur Quelldatenbank oder zum Ziel-Bucket in Cloud Storage verwenden kann.

13. Pausieren Sie den Stream. Anleitung:

    1. Ändern Sie die Variable UPDATE. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

       UPDATE="{\"state\":\"PAUSED\"}"

    2. Geben Sie dann den folgenden Befehl ein:

       curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID?updateMask=state

       Wenn Sie den Stream pausieren, ändern Sie seinen Status von RUNNING in PAUSED.

14. Prüfen Sie, ob die folgenden Codezeilen angezeigt werden.

    {
      "name": "PROJECT_PATH/operations/operation-STREAM_OPERATION_ID",
      "metadata": {
        "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
        "createTime": "DATE_AND_TIME_STAMP",
        "target": "PROJECT_PATH/streams/STREAM_ID",
        "verb": "start",
        "requestedCancellation": false,
        "apiVersion": "DATASTREAM_API_VERSION"
      },
      "done": false
    }

15. Rufen Sie Informationen zum Stream ab, um zu bestätigen, dass er pausiert ist.

    curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID

16. Prüfen Sie, ob sich der Status des Streams von RUNNING in PAUSED geändert hat.

    {
      "name": "PROJECT_PATH/streams/STREAM_ID",
      "createTime": "DATE_AND_TIME_STAMP",
      "updateTime": "DATE_AND_TIME_STAMP",
      "displayName": "DISPLAY_NAME",
      "sourceConfig": {
        "sourceConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
        "oracleSourceConfig": {
          "allowlist": {
            "oracleSchemas": [
              {
                "schema": "ROOT"
              }
            ]
          },
          "rejectlist": {}
        }
      },
      "destinationConfig": {
        "destinationConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
        "gcsDestinationConfig": {
          "fileRotationMb": 100,
          "fileRotationInterval": "15s"
          "avroFileFormat": {}
        }
      },
      "state": "PAUSED",
      "backfillAll": {}
    }

    Wenn ein Stream pausiert wird, ruft Datastream keine neuen Daten aus der Quelldatenbank in das Ziel ab. Einige Daten werden jedoch möglicherweise weiterhin in das Ziel geschrieben, da In-Flight-Daten weiterhin fließen.

    Wenn Sie einen Stream pausieren, ändert sich der Status des Streams von RUNNING in DRAINING. Durch das Draining eines Streams wird der Stream geleert, sodass er keine Daten enthält. Nachdem der Stream geleert wurde, ändert sich der Status des Streams von DRAINING in PAUSED.

17. Setzen Sie den pausierten Stream fort. Anleitung:

    1. Ändern Sie die Variable UPDATE. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

       UPDATE="{\"state\":\"RUNNING\"}"

    2. Geben Sie dann den folgenden Befehl ein:

       curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID?updateMask=state

       Wenn du den Stream fortsetzt, wird der Status von PAUSED wieder in RUNNING geändert.

18. Prüfen Sie, ob die folgenden Codezeilen angezeigt werden.

    {
      "name": "PROJECT_PATH/operations/operation-STREAM_OPERATION_ID",
      "metadata": {
        "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
        "createTime": "DATE_AND_TIME_STAMP",
        "target": "PROJECT_PATH/streams/STREAM_ID",
        "verb": "start",
        "requestedCancellation": false,
        "apiVersion": "DATASTREAM_API_VERSION"
      },
      "done": false
    }

19. Rufen Sie nach einigen Sekunden Informationen zum Stream ab, um zu bestätigen, dass er wieder ausgeführt wird.

    curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID

20. Prüfen Sie, ob sich der Status des Streams von PAUSED zurück in RUNNING geändert hat.

    {
      "name": "PROJECT_PATH/streams/STREAM_ID",
      "createTime": "DATE_AND_TIME_STAMP",
      "updateTime": "DATE_AND_TIME_STAMP",
      "displayName": "DISPLAY_NAME",
      "sourceConfig": {
        "sourceConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
        "oracleSourceConfig": {
          "allowlist": {
            "oracleSchemas": [
              {
                "schema": "ROOT"
              }
            ]
          },
          "rejectlist": {}
        }
      },
      "destinationConfig": {
        "destinationConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
        "gcsDestinationConfig": {
          "fileRotationMb": 100,
          "fileRotationInterval": "15s"
          "avroFileFormat": {}
        }
      },
      "state": "RUNNING",
      "backfillAll": {}
    }

Nachdem Sie einen Stream erstellt und verwaltet und bestätigt haben, dass mit dem Stream keine Fehler verbunden sind dass und der Status RUNNING lautet, können Sie überprüfen, ob er Daten aus der Quelldatenbank in einen Ordner im Cloud Storage-Ziel-Bucket übertragen kann.

Stream prüfen

In diesem Verfahren bestätigen Sie, dass Datastream:

• Die Daten aus allen Tabellen, die mit dem Schema ROOT Ihrer Oracle-Quelldatenbank verknüpft sind, in den Ordner /root/tutorial im Cloud Storage-Ziel-Bucket überträgt
• Die Daten in das Avro-Dateiformat übersetzt

1. Rufen Sie in Cloud Storage die Seite Storage-Browser auf.

   Zur Seite „Storage-Browser“

2. Klicken Sie auf den Link, der den Bucket enthält.

3. Wenn der Tab OBJEKTE nicht aktiv ist, klicken Sie darauf.

4. Klicken Sie auf den Ordner root und dann auf den Ordner tutorial.

   Hinweis: Datastream hat die Ordner root und tutorial erstellt, nachdem Sie das Zielverbindungsprofil durch Ändern des Ordners des Ziel-Buckets in /root/tutorial geändert haben.

5. Prüfen Sie, ob die Ordner angezeigt werden, die Tabellen des Schemas ROOT Ihrer Oracle-Quelldatenbank darstellen.

6. Klicken Sie auf einen der Tabellenordner und suchen Sie die Daten, die mit der Tabelle verknüpft sind.

7. Klicken Sie auf eine Datei, die die Daten darstellt, und dann auf HERUNTERLADEN.

8. Öffnen Sie diese Datei in einem Avro-Tool (z. B. Avro Viewer), um sicherzustellen, dass der Inhalt lesbar ist. Damit wird bestätigt, dass Datastream die Daten in das Avro-Dateiformat übersetzt hat.

Bereinigen

Nachdem Sie diese Anleitung abgeschlossen haben, können Sie die in Datastream erstellten Ressourcen bereinigen, damit sie keine kostenpflichtigen Kontingente verbrauchen. In den folgenden Abschnitten wird erläutert, wie Sie diese Ressourcen löschen oder deaktivieren.

Projekt löschen

Am einfachsten vermeiden Sie weitere Kosten durch Löschen des für die Anleitung erstellten Projekts.

So löschen Sie das Projekt:

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Cloud Storage-Ziel-Bucket löschen

1. Klicken Sie in der linken Navigationsleiste von Cloud Storage auf das Element Browser.

2. Klicken Sie auf das Kästchen links neben dem Bucket und dann auf LÖSCHEN.

3. Geben Sie im Fenster „Bucket löschen?“ den Namen Ihres Buckets in das Textfeld ein und klicken Sie auf BESTÄTIGEN.

Stream löschen

1. Prüfen Sie, ob Ihre Cloud Shell-Anwendung aktiv ist.

2. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   curl -X DELETE -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID

3. Prüfen Sie, ob die folgenden Codezeilen angezeigt werden:

   {
     "name": "PROJECT_PATH/operations/operation-STREAM_OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
       "createTime": "DATE_AND_TIME_STAMP",
       "target": "PROJECT_PATH/streams/STREAM_ID",
       "verb": "delete",
       "requestedCancellation": false,
       "apiVersion": "DATASTREAM_API_VERSION"
     },
     "done": false
   }

4. Prüfen Sie, ob der Stream gelöscht wurde. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams

5. Prüfen Sie, ob ein {}-Nullwert zurückgegeben wird. Dies bedeutet, dass im Datastream keine Streams mehr vorhanden sind und dass der von Ihnen erstellte Stream gelöscht wurde.

Verbindungsprofile löschen

1. Löschen Sie das Verbindungsprofil zur Oracle-Quelldatenbank. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   curl -X DELETE -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID

2. Prüfen Sie, ob die folgenden Codezeilen angezeigt werden:

   {
     "name": "PROJECT_PATH/operations/operation-SOURCE_CONNECTION_PROFILE_OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
       "createTime": "DATE_AND_TIME_STAMP",
       "target": "PROJECT_PATH/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
       "verb": "delete",
       "requestedCancellation": false,
       "apiVersion": "DATASTREAM_API_VERSION"
     },
     "done": false
   }

3. Löschen Sie das Verbindungsprofil zum Ziel-Bucket in Cloud Storage. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   curl -X DELETE -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID

4. Prüfen Sie, ob die folgenden Codezeilen angezeigt werden:

   {
     "name": "PROJECT_PATH/operations/operation-DESTINATION_CONNECTION_PROFILE_OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
       "createTime": "DATE_AND_TIME_STAMP",
       "target": "PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
       "verb": "delete",
       "requestedCancellation": false,
       "apiVersion": "DATASTREAM_API_VERSION"
     },
     "done": false
   }

5. Prüfen Sie, ob beide Verbindungsprofile gelöscht wurden. Geben Sie bei der Eingabeaufforderung folgenden Befehl ein:

   curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles

6. Prüfen Sie, ob ein {}-Nullwert zurückgegeben wird. Das bedeutet, dass in Datastream keine Verbindungsprofile mehr vorhanden sind und die von Ihnen erstellten Profile gelöscht werden.

Nächste Schritte

• Weitere Informationen zu Datastream
• Weitere Google Cloud-Features mit unseren Anleitungen testen