Datastream を使用して、ほぼリアルタイムでデータの変更をストリーミングする

準備

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Datastream API.

   Enable the API

7. ユーザー アカウントに Datastream 管理者のロールが割り当てられていることを確認します。

   IAM ページに移動

標準または共有 VPC ネットワークのプライベート接続構成を作成する場合は、追加の前提条件を満たす必要があります。詳細については、プライベート接続構成を作成するをご覧ください。

要件

Datastream には、さまざまな移行元オプション、移行先オプション、ネットワーク接続方法が用意されています。

このクイックスタートは、スタンドアロンの Oracle データベースと移行先の Cloud Storage サービスを使用していることを前提としています。移行元データベースでは、受信ファイアウォール ルールを追加できるようにネットワークを構成する必要があります。移行元データベースは、オンプレミスまたはクラウド プロバイダにできます。移行先が Cloud Storage であるため、Google のクラウド プロバイダ内にある必要があります。

ユーザーの具体的な環境を把握できないため、ネットワーク構成に関する詳細なステップは提供できません。

このクイックスタートでは、接続方法として [IP 許可リスト] を選択します。IP 許可リストは、ソース データベースのデータへのアクセスを信頼できるユーザーのみに制限し、アクセスを制御する際によく使われるセキュリティ機能です。IP 許可リストを使用して、ユーザーと、Datastream などの他の Cloud サービスがこのデータにアクセスできる、信頼できる IP アドレスまたは IP 範囲のリストを作成できます。IP 許可リストを使用するには、Datastream からの受信接続に対してソース データベースまたはファイアウォールを開く必要があります。

接続プロファイルの作成

ソースのデータベースと宛先の接続プロファイルを作成することで、ソースと宛先に関する情報を含むレコードを作成します。

このクイックスタートでは、移行元の接続プロファイルのプロファイル タイプとして Oracle を選択し、移行先接続プロファイルのプロファイル タイプとして Cloud Storage を選択します。Datastream は、接続プロファイルの情報を使用して、移行元 Oracle データベースから Cloud Storage の移行先バケットにデータを移行します。

Oracle データベース用のソース接続プロファイルの作成

1. Google Cloud Console で Datastream の [接続プロファイル] ページに移動します。

   [接続プロファイル] ページに移動

2. [プロファイルを作成] をクリックします。

3. [接続プロファイルの作成] ページで、[Oracle] プロファイル タイプをクリックします（Oracle データベースのソース接続プロファイルを作成するため）。

4. [Create Oracle profile] ページの [接続設定の定義] セクションに、次の情報を入力します。

   • 移行元データベースの [接続プロファイル名] として、My Source Connection Profile と入力します。
   • 自動生成された接続プロファイル ID を保持します。

   • 接続プロファイルを保存する [リージョン] を選択します。

     接続プロファイルは他のすべてのリソースと同様にリージョンに保存され、ストリームはストリームと同じリージョンに保存されている接続プロファイルのみを使用できます。リージョンの選択は、Datastream がソースまたは宛先に接続できるかどうかには影響しませんが、リージョンでダウンタイムが発生した場合の可用性に影響する可能性があります。

   • 接続の詳細を入力します。

     • [ホスト名または IP] フィールドに、Datastream がソース Oracle データベースへの接続に使用できるホスト名またはパブリック IP アドレスを入力します。このクイックスタートでは、IP 許可リストをネットワーク接続に使用するため、パブリック IP アドレスを指定します。
     • [ポート] フィールドに、ソース データベース用に予約されているポート番号を入力します。Oracle データベースの場合、デフォルト ポートは通常 1521 です。
     • 移行元データベースへの認証用に、ユーザー名とパスワードを入力します。
     • [システム ID（SID）] フィールドに、データベース インスタンスを識別する SID またはサービス名を入力します。Oracle データベースの場合、通常は ORCL です。

5. [接続設定の定義] セクションで、[続行] をクリックします。[Oracle プロファイルの作成] ページの [接続方法の定義] セクションはアクティブです。

6. Datastream とソース データベースの間の接続を確立するために使用するネットワーク方式を選択します。このクイックスタートでは、[接続方法] プルダウン メニューを使用して、ネットワーク方式として [IP 許可リスト] を選択します。

7. 表示される Datastream パブリック IP アドレスからの受信接続を許可するように移行元データベースを構成します。

8. [接続方法の定義] セクションで [続行] をクリックします。[Oracle プロファイルの作成] ページの [テスト接続プロファイル] セクションはアクティブです。

9. [テストを実行] をクリックして、移行元 Oracle データベースと Datastream が相互に通信できることを確認します。

10. 「テストに合格」のステータスが表示されていることを確認します。

11. テストに失敗した場合は、フローの適切な部分で問題に対処してから、再テストに戻ることができます。 トラブルシューティングの手順については、問題の診断ページをご覧ください。

12. [作成] をクリックします。

Cloud Storage の移行先接続プロファイルを作成する

1. Google Cloud Console で Datastream の [接続プロファイル] ページに移動します。

   [接続プロファイル] ページに移動

2. [プロファイルを作成] をクリックします。

3. [接続プロファイルの作成] ページで、[Cloud Storage] プロファイル タイプをクリックします（Cloud Storage の宛先接続プロファイルを作成するため）。

4. [Create Cloud Storage profile] ページで、次の情報を入力します。

   • 宛先の Cloud Storage サービスの [接続プロファイルの名前] として、「My Destination Connection Profile」と入力します。
   • 自動生成された接続プロファイル ID を保持します。
   • 接続プロファイルを保存する [リージョン] を選択します。
   • [接続の詳細] ペインで、[参照] をクリックします。

   • [バケットの選択] ペインで、Datastream が移行元データベースからデータを転送する Cloud Storage の転送先バケットを選択し、[選択] をクリックします。

     バケットが、[Cloud Storage プロファイルの作成] ページの [バケット名] フィールドに表示されます。

     注: 選択するバケットが表示されない場合は、バケットを作成できます。

   • 必要に応じて、[接続プロファイルのパス接頭辞] フィールドに、Datastream がデータを移行先に転送する際にバケット名に追加されるパスの接頭辞を指定できます。

     注: このフィールドに入力するパスは、すべてスラッシュ（/）で始まる必要があります。

5. [作成] をクリックします。

Oracle データベースのソース接続プロファイルと Cloud Storage の移行先接続プロファイルを作成した後、それらを使用してストリームを作成できます。

ストリームの作成

このセクションでは、ストリームを作成します。Datastream は、このストリームを使用して移行元 Oracle データベースから Cloud Storage の移行先バケットにデータを転送します。

ストリームの作成には以下が含まれます。

• ストリームの設定を定義します。
• 移行元データベース用に作成した接続プロファイル（ソース接続プロファイル）を選択します。このクイックスタートでは、My Source Connection Profile です。
• Datastream の移行元データベースでテーブルとスキーマを指定して、ストリームのソース データベースに関する情報を構成します。
  • 宛先への転送ができる。
  • 移行先への転送は制限されています。
• Datastream が過去のデータをバックフィルするのか、進行中の変更を移行先にストリーミングするのか、データへの変更のみをストリーミングするのかを決定します。
• Cloud Storage 用に作成した接続プロファイル（移行先の接続プロファイル）を選択します。このクイックスタートでは、My Destination Connection Profile です。
• ストリームの移行先バケットに関する情報を構成します。詳細情報には以下の項目が含まれます。
  • Datastream が移行元 Oracle データベースからスキーマ、テーブル、データを転送する移行先バケットのフォルダ。
  • Cloud Storage に書き込まれるファイルの出力形式。Datastream は現在、Avro と JSON の 2 つの出力形式をサポートしています。このクイックスタートでは、Avro はファイル形式です。

Datastream には、ストリームの作成に役立つウィザードが付属しています。このウィザードは、6 つのパネル、スタートガイド、移行元の定義とテスト、移行元の構成、移行先の定義、移行先の構成、確認と作成で構成されます。各パネルへの入力方法については、このページのさまざまなセクションをご覧ください。

ストリームの設定を定義する

1. Google Cloud Console で Datastream の [ストリーム] ページに移動します。

   [ストリーム] ページに移動

2. [ストリームの作成] をクリックします。

3. [ストリームの作成] ページの [ストリームの詳細の定義] パネルで、次の情報を指定します。

   • [ストリーム名] として「My Stream」と入力します。
   • 自動生成されたストリーム ID を保持します。
   • [リージョン] メニューから、移行元の接続プロファイルを作成したリージョンを選択します。
   • [移行元の種類] メニューから [Oracle] プロファイル タイプを選択します。
   • [移行先の種類] メニューから、[Cloud Storage] プロファイル タイプを選択します。

4. ストリームに環境を準備する方法が反映されるように、自動的に生成される必須の前提条件を確認します。これらの前提条件には、移行元データベースの構成方法や Cloud Storage の移行先バケットに Datastream を接続する方法が含まれます。

   これらの前提条件の詳細については、移行元 Oracle データベースの構成をご覧ください。

5. [続行] をクリックします[ストリームの作成] ページの [Define Oracle connection profile] パネルが表示されます。

ソース接続プロファイルに関する情報の指定

1. [ソース接続プロファイル] メニューから、Oracle データベースのソース接続プロファイルを選択します。

2. [テストを実行] をクリックして、移行元データベースと Datastream が相互に通信できることを確認します。

   テストに失敗した場合、接続プロファイルに関連する問題が表示されます。トラブルシューティングの手順については、問題の診断ページをご覧ください。必要な変更を行って問題を修正し、再度テストを行います。

3. [続行] をクリックします。[ストリームの作成] ページの [ストリーム ソースの構成] パネルが表示されます。

ストリームのソース データベースに関する情報の構成

1. [含めるオブジェクト] メニューを使用して、Datastream が Cloud Storage の宛先バケットのフォルダに転送できるソース データベース内のテーブルとスキーマを指定します。 メニューが読み込まれるのは、データベースに 5,000 個のオブジェクトがある場合のみです。

   このクイックスタートでは、Datastream ですべてのテーブルとスキーマを転送します。そのため、メニューから [すべてのテーブル] を選択します。

   このクイックスタートでは、[除外するオブジェクトを選択] パネルが [なし] に設定されていることを確認してください。Datastream による移行元データベースのテーブルやスキーマの Cloud Storage への転送は制限しません。

   また、[履歴データのバックフィル モードを選択 ] パネルが [自動] に設定されていることを確認してください。Datastream は、データへの変更に加えて、既存のデータをすべて移行先にストリーミングします。

2. [続行] をクリックします。[ストリームの作成] ページの [Cloud Storage 接続プロファイルの定義] パネルが表示されます。

移行先接続プロファイルの選択

1. [移行先接続プロファイル] メニューから、Cloud Storage の移行先接続プロファイルを選択します。

2. [続行] をクリックします。[ストリームの作成] ページの [ストリームの移行先の構成] パネルが表示されます。

ストリームの移行先に関する情報を構成する

1. [ストリームのパス接頭辞] フィールドに、Datastream が移行元 Oracle データベースからスキーマ、テーブル、データを転送する移行先バケットのフォルダを入力します。

   このクイックスタートでは、Datastream で移行元データベースから Cloud Storage の移行先バケットの /root/tutorial フォルダにデータを転送することを確認します。したがって、[ストリームのパス接頭辞] フィールドに「/root/tutorial」と入力します。

2. [出力形式] フィールドで、Cloud Storage に書き込まれるファイルの形式を選択します。このクイックスタートでは、Avro はファイル形式です。

3. [続行] をクリックします。[ストリームの作成] ページの [ストリームの詳細と作成] パネルが表示されます。

ストリームの作成

1. ストリームの詳細と、ストリームが移行元 Oracle データベースから Cloud Storage 内の移行先バケットに転送されるために使用する移行元と移行先の接続プロファイルを確認します。

2. [検証を実行] をクリックしてストリームを検証します。ストリームを検証すると、Datastream は移行元が適切に構成されていることを確認し、ストリームが移行元と移行先の両方に接続できること、ストリームのエンドツーエンド構成を検証します。

   検証チェックに合格すると、検証チェックの左側にチェックマーク アイコンが表示されます。

   検証に合格しない場合、チェックの左側に感嘆符アイコンが表示され、チェックの下に [エラーの詳細を表示] ボタンが表示されます。ボタンをクリックするとポップアップ ウィンドウが表示され、チェックに合格しなかった理由と、問題を解決する方法に関する情報が示されます。適切な修正を行ったら、[再検証] をクリックします。

   検証が不合格だった場合のトラブルシューティングについては、問題の診断をご覧ください。

3. すべての検証チェックに合格したら、[作成] をクリックします。

4. [ストリームを作成しますか？] ダイアログ ボックスで、[作成] をクリックします。

ストリームを作成したら、開始できます。

ストリームを開始する

クイックスタートの前のセクションでストリームを作成しましたが、まだ開始していません。今すぐ開始できます。

このクイックスタートでは、移行元データベースの負荷が増大した場合にストリームを個別に作成して開始します。負荷を軽減するには、ストリームを開始せずに作成し、負荷が発生したときにストリームを開始します。

ストリームを開始すると、Datastream は移行元データベースから移行先にデータ、スキーマ、テーブルを転送できます。

1. Google Cloud Console で Datastream の [ストリーム] ページに移動します。

   [ストリーム] ページに移動

2. 開始するストリームの左側にあるチェックボックスをオンにします。このクイックスタートでは、My Stream を使用します。

3. [START] ボタンをクリックします。

4. ダイアログ ボックスで [開始] をクリックします。ストリームのステータスが Not started から Starting、そして Running に変わります。

   ストリームの実行には約 30 秒かかります。ストリームを開始できるようにバックグラウンド リソースを開始する必要があります。

ストリームを開始すると、Datastream が移行元データベースから移行先にデータを転送することを確認できます。

ストリームを検証する

このセクションでは、Datastream が移行元 Oracle データベースのすべてのテーブルから Cloud Storage の移行先バケットの /root/tutorial フォルダにデータを転送することを確認します。

1. Google Cloud Console で Datastream の [ストリーム] ページに移動します。

   [ストリーム] ページに移動

2. 作成したストリームをクリックします。このクイックスタートでは、My Stream を使用します。

3. [ストリームの詳細] ページで、[書き込み先パス] フィールドの下にあるリンクをクリックします。Cloud Storage の [バケットの詳細] ページが別のタブで開きます。

   注: クリックするリンクは、バケットの名前と、Datastream がソース Oracle データベースからスキーマ、テーブル、データを転送したバケットのフォルダで構成されます。ストリームの宛先接続プロファイルに関する情報を構成したときに、このフォルダを /root/tutorial に指定しました。そのため、リンクは [bucket-name]/root/tutorial として表示されます。

4. 移行元 Oracle データベースのテーブルを表すフォルダが表示されていることを確認します。

5. いずれかのテーブル フォルダをクリックして、テーブルに関連付けられているデータを表示します。

   最初のフォルダは [schema]_[table] で、その後に Datastream が移行元 Oracle データベースから Cloud Storage の移行先バケットにデータを転送した年、月、日、時、分を表すフォルダが続きます。

   フォルダは 1 分ごとに作成されます（書き込む新しいデータがある場合）。

   ファイルサイズが 250 MB に達した場合、またはスキーマが変更されるたびに新しいファイルが作成されます。テーブルが分割されている場合、ファイルはパーティションごとに作成されます。

クリーンアップ

このページで使用したリソースについて、Google Cloud アカウントに課金されないようにするには、次の手順を行います。

1. Google Cloud Console を使用して、プロジェクト、Datastream ストリームと接続プロファイル、Cloud Storage 移行先バケットを削除します。

Datastream で作成したリソースをクリーンアップすることで、割り当てを使い果たしたり、今後料金が発生しないようにします。次のセクションで、このようなリソースを削除または無効にする方法を説明します。

プロジェクトの削除

課金をなくす最も簡単な方法は、このクイックスタート用に作成したプロジェクトを削除することです。

プロジェクトを削除すると、次のような影響があります。

• プロジェクト内のすべてのものが削除されます。このクイックスタートで既存のプロジェクトを使用した場合、それを削除すると、そのプロジェクトで行った他の作業もすべて削除されます。
• カスタム プロジェクト ID が失われます。 このプロジェクトを作成したときに、将来使用するカスタム プロジェクト ID を作成した可能性があります。そのプロジェクト ID を使用した URL（たとえば、appspot.com）を保持するには、プロジェクト全体ではなくプロジェクト内の選択したリソースだけを削除します。

複数のチュートリアルとクイックスタートを検討する予定がある場合は、プロジェクトを再利用すると、プロジェクトの割り当て上限を超えないようにすることができます。

1. Cloud Console で [リソースの管理] ページに移動します。

   [リソースの管理] ページに移動

2. プロジェクト リストで削除するプロジェクトを選択し、[削除] をクリックします。

3. ダイアログ ボックスで、プロジェクト ID を入力して、[シャットダウン] をクリックしてプロジェクトを削除します。

ストリームの削除

1. Google Cloud Console で Datastream の [ストリーム] ページに移動します。

   [ストリーム] ページに移動

2. 変更するストリームをクリックします。このクイックスタートでは、My Stream を使用します。

3. [一時停止] をクリックします。

4. ダイアログ ボックスで [一時停止] をクリックします。

5. [ストリームの詳細] ページの [ストリームのステータス] ペインで、ストリームのステータスが Paused であることを確認します。

   注: すべての「処理中」のデータが移行元データベースから移行先に正常に転送されるように、削除する前にストリームを一時停止します。

6. [削除] をクリックします。

7. ダイアログ ボックスで、テキスト フィールドに「Delete」と入力して [削除] をクリックします。

接続プロファイルの削除

1. Google Cloud Console で Datastream の [接続プロファイル] ページに移動します。

   [接続プロファイル] ページに移動

2. 削除する各接続プロファイルのチェックボックスをオンにします。このクイックスタートでは、[My Source Connection Profile] と [My Destination Connection Profile] のチェックボックスをオンにします。

3. [削除] をクリックします。

4. ダイアログ ボックスで [削除] をクリックします。

Cloud Storage 移行先バケットを削除する

1. Google Cloud コンソールで Cloud Storage の [ブラウザ] ページに移動します。

   ブラウザ ページに移動

2. バケットの左側にあるチェックボックスをオンにして、[削除] をクリックします。

3. ダイアログ ボックスで、テキスト フィールドに「DELETE」と入力して [削除] をクリックします。

次のステップ

• Datastream の詳細を確認する。
• Google Cloud のその他の機能を試す。クイックスタートをご覧ください。