DataStream UI の使用

をご覧ください。

クイックスタート

クイックスタート

始める前に

  1. Google Cloud アカウントにログインします。Google Cloud を初めて使用する場合は、アカウントを作成して、実際のシナリオでの Google プロダクトのパフォーマンスを評価してください。新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。
  2. Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

    プロジェクト セレクタに移動

  3. Cloud プロジェクトに対して課金が有効になっていることを確認します。詳しくは、プロジェクトで課金が有効になっているかどうかを確認する方法をご覧ください。

  4. Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

    プロジェクト セレクタに移動

  5. Cloud プロジェクトに対して課金が有効になっていることを確認します。詳しくは、プロジェクトで課金が有効になっているかどうかを確認する方法をご覧ください。

  6. Datastream API を有効にします。

    API を有効にする

  7. ユーザー アカウントに Datastream 管理者のロールが割り当てられていることを確認します。

    IAM ページに移動

要件

Datastream には、さまざまな移行元オプション、移行先オプション、ネットワーク接続方法が用意されています。

このクイックスタートは、スタンドアロンの Oracle データベースと移行先の Cloud Storage サービスを使用していることを前提としています。移行元データベースでは、受信ファイアウォール ルールを追加できるようにネットワークを構成する必要があります。移行元データベースは、オンプレミスまたはクラウド プロバイダにできます。移行先が Cloud Storage であるため、Google のクラウド プロバイダ内にある必要があります。

ユーザーの具体的な環境を把握できないため、ネットワーク構成に関する詳細なステップは提供できません。

このクイックスタートでは、接続方法として IP 許可リストを選択します。IP 許可リストは、ソース データベース内のデータへのアクセスを信頼できるユーザーに制限、制御するためによく使用されるセキュリティ機能です。IP 許可リストを使用して、ユーザーと、Datastream などの他の Cloud サービスがこのデータにアクセスできる信頼できる IP アドレスまたは IP 範囲のリストを作成できます。IP 許可リストを使用するには、Datastream からの受信接続に対してソース データベースまたはファイアウォールを開く必要があります。

接続プロファイルの作成

ソース データベースと宛先の接続プロファイルを作成すると、送信元と宛先に関する情報を含むレコードが作成されます。

このクイックスタートでは、移行元の接続プロファイルのプロファイル タイプとして Oracle を選択し、移行先接続プロファイルのプロファイル タイプとして Cloud Storage を選択します。Datastream は、接続プロファイルの情報を使用して、移行元 Oracle データベースから Cloud Storage の移行先バケットにデータを移行します。

Oracle データベース用のソース接続プロファイルの作成

  1. Google Cloud Console で Datastream の [接続プロファイル] ページに移動します。

    [接続プロファイル] ページに移動

  2. [プロファイルを作成] をクリックします。

  3. [接続プロファイルの作成] ページで、[Oracle] プロファイル タイプをクリックします(Oracle データベースのソース接続プロファイルを作成するため)。

  4. [Create Oracle profile] ページの [接続設定の定義] セクションに、次の情報を入力します。

    • 移行元データベースの [接続プロファイル名] として、My Source Connection Profile と入力します。
    • 自動生成された接続プロファイル ID を保持します。
    • 接続プロファイルを保存する [リージョン] を選択します。

    • 接続の詳細を入力します。

      • [ホスト名または IP] フィールドに、Datastream がソース Oracle データベースへの接続に使用できるホスト名またはパブリック IP アドレスを入力します。このクイックスタートでは、IP 許可リストをネットワーク接続に使用するため、パブリック IP アドレスを指定します。
      • [ポート] フィールドに、ソース データベース用に予約されているポート番号を入力します。Oracle データベースの場合、デフォルトのポートは通常 1521 です。
      • 移行元データベースへの認証用に、ユーザー名パスワードを入力します。
      • [システム ID(SID)] フィールドに、データベース インスタンスを識別する SID またはサービス名を入力します。Oracle データベースの場合、これは通常 ORCL です。
  5. [接続設定の定義] セクションで、[続行] をクリックします。[Oracle プロファイルの作成] ページの [接続方法の定義] セクションはアクティブです。

  6. Cloud Storage のソース データベースと宛先バケットの間の接続を確立するために使用するネットワーク方式を選択します。このクイックスタートでは、[接続方法] プルダウン メニューを使用して、ネットワーキングの方法として [IP 許可リスト] を選択します。

  7. 表示される Datastream パブリック IP アドレスからの受信接続を許可するように移行元データベースを構成します。

  8. [接続方法の定義] セクションで [続行] をクリックします。[Oracle プロファイルの作成] ページの [テスト接続プロファイル] セクションはアクティブです。

  9. [テストを実行] をクリックして、移行元 Oracle データベースと Datastream が相互に通信できることを確認します。

  10. [テスト成功] ステータスが表示されることを確認します。

  11. テストに失敗した場合は、フローの適切な部分で問題に対処してから、再テストに戻ることができます。

  12. [作成] をクリックします。

Cloud Storage の移行先接続プロファイルを作成する

  1. Google Cloud Console で Datastream の [接続プロファイル] ページに移動します。

    [接続プロファイル] ページに移動

  2. [プロファイルを作成] をクリックします。

  3. [接続プロファイルの作成] ページで、[Cloud Storage] プロファイル タイプをクリックします(Cloud Storage の宛先接続プロファイルを作成するため)。

  4. [Create Cloud Storage profile] ページで、次の情報を入力します。

    • 宛先の Cloud Storage サービスの [接続プロファイルの名前] として、「My Destination Connection Profile」と入力します。
    • 自動生成された接続プロファイル ID を保持します。
    • 接続プロファイルを保存する [リージョン] を選択します。
    • [接続の詳細] ペインで、[参照] をクリックします。
    • [バケットの選択] ペインで、Datastream が移行元データベースからデータを転送する Cloud Storage の転送先バケットを選択し、[選択] をクリックします。

      バケットが、[Cloud Storage プロファイルの作成] ページの [バケット名] フィールドに表示されます。

    • 必要に応じて、[接続プロファイルのパス接頭辞] フィールドに、Datastream がデータを移行先に転送する際にバケット名に追加されるパスの接頭辞を指定できます。

  5. [作成] をクリックします。

Oracle データベースのソース接続プロファイルと Cloud Storage の移行先接続プロファイルを作成した後、それらを使用してストリームを作成できます。

ストリームの作成

このセクションでは、ストリームを作成します。Datastream は、このストリームを使用して移行元 Oracle データベースから Cloud Storage の移行先バケットにデータを転送します。

ストリームの作成には以下が含まれます。

  • ストリームの設定を定義します。
  • 移行元データベース用に作成した接続プロファイル(ソース接続プロファイル)を選択します。このクイックスタートでは、My Source Connection Profile です。
  • Datastream の移行元データベースでテーブルとスキーマを指定して、ストリームのソース データベースに関する情報を構成します。
    • 宛先への転送ができる。
    • 移行先への転送は制限されています。
  • Datastream が過去のデータをバックフィルするのか、進行中の変更を移行先にストリーミングするのか、データへの変更のみをストリーミングするのかを決定します。
  • Cloud Storage 用に作成した接続プロファイル(移行先の接続プロファイル)を選択します。このクイックスタートでは、My Destination Connection Profile です。
  • ストリームの移行先バケットに関する情報を構成します。詳細情報には以下の項目が含まれます。
    • Datastream が移行元 Oracle データベースからスキーマ、テーブル、データを転送する移行先バケットのフォルダ。
    • Cloud Storage に書き込まれたファイルの出力形式。Datastream は現在、Avro と JSON の 2 つの出力形式をサポートしています。このクイックスタートでは、Avro はファイル形式です。

ストリームの設定を定義する

  1. Google Cloud Console で Datastream の [ストリーム] ページに移動します。

    [ストリーム] ページに移動

  2. [ストリームの作成] をクリックします。

  3. [ストリームの作成] ページの [ストリームの詳細の定義] パネルで、次の情報を指定します。

    • [ストリーム名] として「My Stream」と入力します。
    • 自動生成されたストリーム ID を保持します。
    • [リージョン] メニューから、移行元の接続プロファイルを作成したリージョンを選択します。
    • [移行元の種類] メニューから [Oracle] プロファイル タイプを選択します。
    • [移行先の種類] メニューから、[Cloud Storage] プロファイル タイプを選択します。
  4. ストリームに環境を準備する方法が反映されるように、自動的に生成される必須の前提条件を確認します。これらの前提条件には、移行元データベースの構成方法や Cloud Storage の移行先バケットに Datastream を接続する方法が含まれます。

  5. [続行] をクリックします。[ストリームの作成] ページの [Define Oracle connection profile] パネルが表示されます。

ソース接続プロファイルに関する情報の指定

  1. [ソース接続プロファイル] メニューから、Oracle データベースのソース接続プロファイルを選択します。

  2. [テストを実行] をクリックして、移行元データベースと Datastream が相互に通信できることを確認します。

    テストに失敗した場合、接続プロファイルに関連する問題が表示されます。必要な変更を行って問題を修正し、再度テストを行います。

  3. [続行] をクリックします。[ストリームの作成] ページの [ストリーム ソースの構成] パネルが表示されます。

ストリームの移行元データベースに関する情報を構成する

  1. [含めるオブジェクト] メニューを使用して、Datastream が Cloud Storage の移行先バケットのフォルダに転送できる移行元データベース内のテーブルとスキーマを指定します。

    このクイックスタートでは、Datastream ですべてのテーブルとスキーマを転送します。そのため、メニューから [すべてのテーブル] を選択します。

  2. [続行] をクリックします。[ストリームの作成] ページの [Cloud Storage 接続プロファイルの定義] パネルが表示されます。

移行先接続プロファイルの選択

  1. [移行先接続プロファイル] メニューから、Cloud Storage の移行先接続プロファイルを選択します。

  2. [続行] をクリックします。[ストリームの作成] ページの [ストリームの移行先の構成] パネルが表示されます。

ストリームの移行先に関する情報を構成する

  1. [ストリームのパス接頭辞] フィールドに、Datastream が移行元 Oracle データベースからスキーマ、テーブル、データを転送する移行先バケットのフォルダを入力します。

    このクイックスタートでは、Datastream で移行元データベースから Cloud Storage の移行先バケットの /root/tutorial フォルダにデータを転送することを確認します。したがって、[ストリームのパス接頭辞] フィールドに「/root/tutorial」と入力します。

  2. [出力形式] フィールドで、Cloud Storage に書き込まれるファイルの形式を選択します。このクイックスタートでは、Avro はファイル形式です。

  3. [続行] をクリックします。[ストリームの作成] ページの [ストリームの詳細と作成] パネルが表示されます。

ストリームの作成

  1. ストリームの詳細と、ストリームが移行元 Oracle データベースから Cloud Storage 内の移行先バケットに転送されるために使用する移行元と移行先の接続プロファイルを確認します。

  2. [検証を実行] をクリックしてストリームを検証します。ストリームを検証すると、Datastream は移行元が適切に構成されていることを確認し、ストリームが移行元と移行先の両方に接続できること、ストリームのエンドツーエンド構成を検証します。

  3. すべての検証チェックに合格したら、[作成] をクリックします。

  4. [ストリームを作成しますか?] ダイアログ ボックスで、[作成] をクリックします。

ストリームを作成したら、開始できます。

ストリームを開始する

クイックスタートの前のセクションでストリームを作成しましたが、まだ開始していません。今すぐ開始できます。

このクイックスタートでは、移行元データベースの負荷が増大した場合にストリームを個別に作成して開始します。負荷を軽減するには、ストリームを開始せずに作成し、負荷が発生したときにストリームを開始します。

ストリームを開始すると、Datastream は移行元データベースから移行先にデータ、スキーマ、テーブルを転送できます。

  1. Google Cloud Console で Datastream の [ストリーム] ページに移動します。

    [ストリーム] ページに移動

  2. 開始するストリームの左側にあるチェックボックスをオンにします。このクイックスタートでは、My Stream を使用します。

  3. [START] ボタンをクリックします。

  4. ダイアログ ボックスで [開始] をクリックします。ストリームのステータスが Not started から Starting、そして Running に変わります。

ストリームを開始すると、Datastream が移行元データベースから移行先にデータを転送することを確認できます。

ストリームを検証する

このセクションでは、Datastream が移行元 Oracle データベースのすべてのテーブルから Cloud Storage の移行先バケットの /root/tutorial フォルダにデータを転送することを確認します。

  1. Google Cloud Console で Datastream の [ストリーム] ページに移動します。

    [ストリーム] ページに移動

  2. 作成したストリームをクリックします。このクイックスタートでは、My Stream を使用します。

  3. [ストリームの詳細] ページで、[書き込み先パス] フィールドの下にあるリンクをクリックします。Cloud Storage の [バケットの詳細] ページが別のタブで開きます。

  4. 移行元 Oracle データベースのテーブルを表すフォルダが表示されていることを確認します。

  5. いずれかのテーブル フォルダをクリックして、テーブルに関連付けられているデータを表示します。

クリーンアップ

このページで使用したリソースについて、Google Cloud アカウントに課金されないようにするには、次の手順を行います。

  1. Google Cloud Console を使用して、プロジェクト、Datastream ストリームと接続プロファイル、Cloud Storage 移行先バケットを削除します。

Datastream で作成したリソースをクリーンアップすることで、割り当てを使い果たしたり、今後料金が発生しないようにします。次のセクションで、このようなリソースを削除または無効にする方法を説明します。

プロジェクトの削除

課金をなくす最も簡単な方法は、このクイックスタート用に作成したプロジェクトを削除することです。

  1. Cloud Console で [リソースの管理] ページに移動します。

    [リソースの管理] ページに移動

  2. プロジェクト リストで削除するプロジェクトを選択し、[削除] をクリックします。

  3. ダイアログ ボックスで、プロジェクト ID を入力して、[シャットダウン] をクリックしてプロジェクトを削除します。

ストリームの削除

  1. Google Cloud Console で Datastream の [ストリーム] ページに移動します。

    [ストリーム] ページに移動

  2. 変更するストリームをクリックします。このクイックスタートでは、My Stream を使用します。

  3. [一時停止] をクリックします。

  4. ダイアログ ボックスで [一時停止] をクリックします。

  5. [ストリームの詳細] ページの [ストリームのステータス] ペインで、ストリームのステータスが Paused であることを確認します。

  6. [削除] をクリックします。

  7. ダイアログ ボックスで、テキスト フィールドに「Delete」と入力して [削除] をクリックします。

接続プロファイルの削除

  1. Google Cloud Console で Datastream の [接続プロファイル] ページに移動します。

    [接続プロファイル] ページに移動

  2. 削除する各接続プロファイルのチェックボックスをオンにします。このクイックスタートでは、[My Source Connection Profile] と [My Destination Connection Profile] のチェックボックスをオンにします。

  3. [削除] をクリックします。

  4. ダイアログ ボックスで [削除] をクリックします。

Cloud Storage 移行先バケットを削除する

  1. Google Cloud Console で Cloud Storage の [ブラウザ] ページに移動します。

    ブラウザ ページに移動

  2. バケットの左側にあるチェックボックスをオンにして、[削除] をクリックします。

  3. ダイアログ ボックスで、テキスト フィールドに「DELETE」と入力して [削除] をクリックします。

次のステップ