ストリームの作成

をご覧ください。

概要

このセクションでは、ストリームを作成する方法を学びます。Datastream は、このストリームを使用して移行元 Oracle または MySQL データベースから Cloud Storage の移行先バケットにデータを転送します。

ストリームの作成には以下が含まれます。

  • ストリームの設定を定義します。
  • ソース Oracle または MySQL データベース用に作成した接続プロファイル(ソース接続プロファイル)を選択します。まだ作成していない場合はソース接続プロファイルを作成します。
  • Datastream の移行元データベースでテーブルとスキーマを指定して、ストリームのソース データベースに関する情報を構成します。
    • 宛先への転送ができる。
    • 移行先への転送は制限されています。
  • Datastream が過去のデータをバックフィルするのか、進行中の変更を移行先にストリーミングするのか、データへの変更のみをストリーミングするのかを決定します。過去のバックフィルを有効にする場合は、ソース データベースで Datastream が宛先にバックフィルしないスキーマとテーブルを指定できます。
  • Cloud Storage 用に作成した接続プロファイルを選択します。
  • ストリームの移行先バケットに関する情報を構成します。詳細情報には以下の項目が含まれます。
    • Datastream が移行元 Oracle データベースからスキーマ、テーブル、データを転送する移行先バケットのフォルダ。
    • Cloud Storage に書き込まれるファイルの形式。
  • ストリームを検証して、正常に実行されることを確認します。ストリームの検証では、次のことを確認します。

    • データストリームがソースからデータをストリーミングできるようにソースが適切に構成されているかどうか。
    • ストリームがソースと宛先の両方に接続できるかどうか。

    • ストリームのエンドツーエンド構成。

ストリームの設定の定義

  1. Google Cloud Console の [ストリーム] ページに移動します。

    [ストリーム] ページに移動

  2. [ストリームを作成] をクリックします。

  3. 次の表を参照して、[ストリームの作成] ページの [ストリームの詳細の定義] セクションのフィールドに値を入力します。

    項目説明
    ストリーム名ストリームの表示名を入力します。
    ストリーム IDDatastream は、入力したストリーム名に基づいて自動的にこのフィールドに入力します。自動生成された ID をそのまま使用することも、変更することもできます。
    リージョンストリームを保存するリージョンを選択します。ストリームは、他のすべてのリソースと同様にリージョンに保存されます。リージョンの選択は、ストリームが Cloud Storage のソース データベースまたは宛先バケットに接続できるかどうかには影響しませんが、リージョンでダウンタイムが発生した場合の可用性に影響する可能性があります。
    ソースタイプ

    ソース データベースの接続プロファイルを作成したときに指定したプロファイル タイプを選択します。または、ソース データベースの接続プロファイルをまだ作成していない場合は、ここで作成できます。

    宛先の種類

    転送先のストレージ クラウド サービスの接続プロファイルを作成したときに指定したプロファイル タイプを選択します。移行先用の接続プロファイルをまだ作成していない場合は、ここで作成できます。

    暗号化

    デフォルトでは、データは Google Cloud が管理する鍵で暗号化されます。ご自身で暗号化を管理する場合は、顧客管理の暗号鍵(CMEK)を使用できます。手順は次のとおりです。

    1. [CMEK を使用する] チェックボックスをオンにします。
    2. [CMEK を選択] プルダウン メニューから、CMEK を選択します。

    鍵が表示されない場合は、[鍵のリソース名を入力] をクリックして、使用する鍵のリソース名を指定します。たとえば、[Key resource name] フィールドに「projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key」と入力し、[保存] をクリックします。

  4. 必要に応じて、ラベルを使用して Datastream のリソースを整理します。

    1. ラベルを作成するには、[ラベルを追加] をクリックして、ラベルの Key-Value ペアを入力します。
    2. ラベルを削除するには、そのラベルがある行の右側のゴミ箱アイコンをクリックします。
  5. ストリームに環境を準備する方法が反映されるように、自動的に生成される必須の前提条件を確認します。これらの前提条件には、移行元データベースの構成方法や Cloud Storage の移行先バケットに Datastream を接続する方法が含まれます。これらの前提条件を満たすことをおすすめしますが、ストリームをテストまたは開始する前にいつでも完了できます。これらの前提条件の詳細については、移行元 Oracle データベースの構成をご覧ください。

  6. [続行] をクリックします。ソース データベースのタイプに対して [ストリームの作成] ページの [接続プロファイルの定義] パネルが表示されます。

ソース接続プロファイルに関する情報の指定

  1. Oracle または MySQL のソース接続プロファイルを作成した場合は、その接続プロファイルを接続プロファイルのリストから選択します。

    ソース接続プロファイルを作成していない場合は、プルダウン リストの下部にある [接続プロファイルの作成] をクリックして構成を作成してから、接続プロファイルの作成と同じ手順を行います。

  2. [テストを実行] をクリックして、移行元データベースと Datastream が相互に通信できることを確認します。

    テストに失敗した場合、接続プロファイルに関連する問題が表示されます。必要な変更を行って問題を修正し、再度テストを行います。

  3. [続行] をクリックします。[ストリームの作成] ページの [ストリーム ソースの構成] パネルが表示されます。

ストリームのソース データベースに関する情報の構成

  1. [含めるオブジェクトを選択] セクションで、[含めるオブジェクト] プルダウン メニューを使用して、Datastream で転送できるフォルダのテーブルとスキーマを Cloud Storage の転送先バケットに指定します。

    1. Datastream ですべてのテーブルとスキーマを転送する場合は、[すべてのスキーマのすべてのテーブル] を選択します。
    2. Datastream が特定のテーブルとスキーマのみを転送する場合は、特定のスキーマとテーブルを選択してから、Datastream が pull するスキーマとテーブルのチェックボックスをオンにします。

    3. Datastream で転送するテーブルとスキーマのテキスト定義を提供する場合は、[カスタムの手動定義] を選択し、[Object matching criteria] フィールド内で Datastream に pull するスキーマとテーブルを入力します。

  2. 必要に応じて、[除外するオブジェクトを選択する] ノードを展開します。[除外するオブジェクト] フィールドに、Cloud Storage の転送先バケット内のフォルダへの Datastream 転送を制限するソース データベース内のテーブルとスキーマを入力します。

  3. 必要に応じて、[履歴データのバックフィル モードを選択] ノードを展開して、次のいずれかを選択します。
    1. データの変更に加えて、既存のすべてのデータを移行先にストリーミングするには、[自動] オプションを選択します。

      [自動バックフィルから除外されたオブジェクト] フィールドに、ソース データベース内のテーブルのうち、Datastream が宛先へのバックフィルを制限するテーブルとスキーマを入力します。

    2. データの変更のみを宛先にストリーミングするには、[手動] オプションを選択します。
  4. [続行] をクリックします。[ストリームの作成] ページの [Cloud Storage 接続プロファイルの定義] パネルが表示されます。

宛先接続プロファイルの選択

  1. 宛先接続プロファイルを作成した場合は、接続プロファイルのリストから選択します。

    宛先接続プロファイルを作成していない場合は、プルダウン リストの下部にある [接続プロファイルの作成] をクリックして構成を作成してから、接続プロファイルの作成と同じ手順を行います。

  2. [続行] をクリックします。[ストリームの作成] ページの [ストリームの移行先の構成] パネルが表示されます。

ストリームの転送先に関する情報の構成

  1. [ストリームのパス接頭辞] フィールドに、Datastream が移行元データベースからスキーマ、テーブル、データを転送する移行先バケットのフォルダを入力します。

    たとえば、Datastream でソース データベースから宛先バケットの /root/example フォルダにデータを転送する場合は、[Stream path prefix] フィールドに「/root/example」と入力します。

  2. [出力形式] フィールドで、Cloud Storage に書き込まれるファイルの形式を選択します。

  3. 省略可。JSON 形式を選択すると、次の 2 つのチェックボックスが表示されます。

    1. 統合型スキーマ ファイルをファイルパスに含める: このチェックボックスをオンにすると、Datastream は JSON データファイルと Avro スキーマ ファイルの 2 つのファイルを Cloud Storage に書き込みます。スキーマ ファイルは、データファイルと同じ名前で、拡張子は .schema です。このチェックボックスをオンにすると、JSON データファイルのみが Cloud Storage に書き込まれます。デフォルトでは、このチェックボックスはオフになっています。
    2. gzip 圧縮を有効にする: このチェックボックスをオンにすると、Datastream は gzip ユーティリティを使用して、Cloud Dataflow が Cloud Storage に書き込むファイルを圧縮します。このチェックボックスをオンにしない場合、Datastream はファイルを圧縮せずに Cloud Storage に書き込みます。デフォルトでは、このチェックボックスをオンにします。
  4. [続行] をクリックします。[ストリームの作成] ページの [ストリームの詳細と作成] パネルが表示されます。

ストリームの作成

  1. ストリームの詳細と、ストリームが移行元データベースから Cloud Storage 内の移行先バケットに転送されるために使用する移行元と移行先の接続プロファイルを確認します。

  2. [検証を実行] をクリックしてストリームを検証します。ストリームを検証すると、Datastream は移行元が適切に構成されていることを確認し、ストリームが移行元と移行先の両方に接続できること、ストリームのエンドツーエンド構成を検証します。

    1. ソース データベースが Oracle の場合、Datastream は以下のチェックを実行します。

      チェック説明
      オブジェクト リストの有効性Datastream は、除外リストが追加リストに含まれていないことを確認します。
      転送 SSH トンネルの接続Datastream は、転送 SSH トンネルを使用して踏み台インスタンスに接続できることを確認します。
      Oracle データベースへの接続Datastream は、ソース Oracle データベースに接続できることを検証します。
      Oracle のユーザー権限Datastream は、移行元データベースへの接続に使用するユーザーが、データベースからスキーマ、テーブル、データを取得して、これらの情報を移行先にストリーミングするために必要なすべての権限を持っていることを確認します。
      ロギングモードの構成Datastream は、Oracle データベースのロギングモードが ARCHIVELOG に設定されていることを確認します。
      追加のロギング構成Datastream は、送信元から送信先にストリーミングされるデータベース テーブルに対して補助ロギングが有効になっていることを確認します。
      アーカイブ ログファイルの構成Datastream は、アーカイブ ロギングがソースで構成されていること、およびアーカイブ ログファイルが存在することを確認します。
      Cloud Storage の権限Datastream は、Cloud Storage の転送先バケットに書き込むために必要な権限が付与されていることを確認します。
    2. ソース データベースが MySQL の場合、Datastream は以下のチェックを実行します。

      チェック説明
      オブジェクト リストの有効性Datastream は、除外リストが追加リストに含まれていないことを確認します。
      転送 SSH トンネルの接続Datastream は、転送 SSH トンネルを使用して踏み台インスタンスに接続できることを確認します。
      MySQL データベースへの接続Datastream は、ソース MySQL データベースに接続できることを確認します。
      バイナリログが有効Datastream は、バイナリ ログファイルが正しく設定され、ログファイルが存在することを確認します。
      バイナリログ形式の構成Datastream は、MySQL データベースのバイナリログの形式が ROW に設定されていることを確認します。
      レプリケーションの権限Datastream は、MySQL データベースを複製する権限があることを確認します。
      Cloud Storage の権限Datastream は、Cloud Storage の転送先バケットに書き込むために必要な権限が付与されていることを確認します。
  3. すべての検証チェックに合格したら、[作成して開始] をクリックしてストリームを作成し、すぐに開始します。[作成] をクリックしてすぐに開始せずにストリームを作成することもできます。

    ストリームを今すぐ開始しない場合は、[ストリーム] ページで [開始] をクリックして開始できます。

ストリームの作成後、そのストリームの概要と詳細情報を表示できます。