このチュートリアルでは、Cloud Data Fusion Replication を使用して、変更されたデータを Oracle データベースから BigQuery データセットに継続的に複製するジョブをデプロイする方法を説明します。この機能は Datastream を利用しています。
目標
このチュートリアルの内容は次のとおりです。
- 追加ロギングを有効にするように Oracle データベースを構成します。
- Cloud Data Fusion Replication ジョブを作成して実行します。
- BigQuery で結果を表示します。
費用
このドキュメントでは、Google Cloud の次の課金対象のコンポーネントを使用します。
料金計算ツールを使うと、予想使用量に基づいて費用の見積もりを生成できます。
複製が実行されると、Dataproc クラスタと Cloud Storage に対して課金され、Datastream と BigQuery の処理料金が発生します。これらの費用を最適化するには、BigQuery 定額料金を適用することを強くおすすめします。
準備
- Google Cloud アカウントにログインします。Google Cloud を初めて使用する場合は、アカウントを作成して、実際のシナリオでの Google プロダクトのパフォーマンスを評価してください。新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。
-
Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。
-
Cloud Data Fusion, Dataproc, Datastream, BigQuery, and Cloud Storage API を有効にします。
-
Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。
-
Cloud Data Fusion, Dataproc, Datastream, BigQuery, and Cloud Storage API を有効にします。
- バージョン 6.3.0 以降でパブリック Cloud Data Fusion インスタンスを作成します。プライベート インスタンスを作成する場合は、VPC ネットワーク ピアリングを設定します。
- インスタンスを作成するときに、[アクセラレータを追加] をクリックし、[レプリケーション] チェックボックスをオンにして、レプリケーションを有効にします。
- 既存のインスタンスで有効にするには、レプリケーションを有効にするをご覧ください。
必要なロール
Oracle データベースに接続するために必要な権限を取得するには、管理者に次の IAM ロールを付与するよう依頼してください。
- クラスタを含むプロジェクトの Dataproc サービス アカウントに対する Dataproc ワーカー （
roles/dataproc.worker）ロール - クラスタを含むプロジェクトの Dataproc サービス アカウントに対する Cloud Data Fusion 実行者ロール
- Cloud Data Fusion サービス アカウントと Dataproc サービス アカウントの DataStream 管理者（
roles/datastream.admin）
ロールの付与の詳細については、アクセスの管理をご覧ください。
省略可: Compute Engine に Oracle をインストールする
このセクションでは、データベースの例を設定する方法について説明します。Oracle データベースがすでにインストールされている場合は、このセクションをスキップできます。
Oracle Server Docker イメージをダウンロードします。
この Oracle Express Edition 11g イメージの制限については、Oracle Database のエディションをご覧ください。
新しい VM インスタンスに Docker イメージをデプロイします。
Compute Engine の [ディスク] ページで、ディスクサイズを
500 GBに変更して、VM を再起動します。HR サンプル スキーマをインストールします。
Oracle サーバー用の VPC ネットワーク ピアリングまたはファイアウォール ルールを作成する
Oracle データベースでパブリック IP アドレスからの上り（内向き）トラフィックが許可されていない場合、Datastream VPC と Oracle データベースにアクセスできる VPC の間に VPC ネットワーク ピアリングを設定します。詳細については、プライベート接続構成を作成するをご覧ください。
Oracle データベースでパブリック IP からの受信トラフィックが許可されている場合、VM インスタンスのファイアウォール ルールを作成して、Datastream のパブリック IP からの受信トラフィックを許可します。
追加ロギングを有効にするように Oracle サーバーを構成します。
手順に従ってソース Oracle データベースを構成します。
Cloud Data Fusion Replication ジョブを作成して実行する
ジョブを作成します
Cloud Data Fusion ウェブ インターフェースで、[レプリケーション] をクリックします。
[レプリケーション ジョブを作成する] をクリックします。
[新しいレプリケーション ジョブの作成] ページで、レプリケーション ジョブの [名前] を指定し、[次へ] をクリックします。
ソースを構成します。
ソースとして [Oracle (by Datastream)] を選択します。
Oracle サーバーで Datastream パブリック IP からの受信トラフィックを許可されている場合は、[接続方法] で [IP 許可リスト] を選択します。それ以外の場合は、プライベート接続名でプライベート接続（VPC ピアリング）を選択し、Oracle サーバーの VPC ネットワーク ピアリングまたはファイアウォール ルールを作成するセクションで作成した VPC ピアリング名を入力します。
[ホスト] に、読み取り元の Oracle サーバーのホスト名を入力します。
[ポート] に、Oracle サーバーへの接続に使用するポートとして「1521」と入力します。
[システム ID] に「
xe」（Oracle サーバーのサンプル データベース名）と入力します。認証情報セクションで、Oracle サーバーにアクセスするためのユーザー名とパスワードを入力します。
他のプロパティはすべてそのままにします。
[Next] をクリックします。
ターゲットを構成します。
BigQuery ターゲットを選択します。
プロジェクト ID とサービス アカウント キーが自動的に検出されます。デフォルト値のままにします。
省略可: [詳細] セクションで、次の構成を行うことができます。
- ステージング バケットの名前とロケーション
- 読み込み間隔
- ステージング テーブル接頭辞
- テーブルまたはデータベースが破棄された場合の動作
[Next] をクリックします。
接続に成功すると、テーブルのリストが表示されます。このチュートリアルでは、いくつかのテーブルを選択します。
[Next] をクリックします。
[Review assessment ページ] でいずれかのテーブルの横にある [View mappings] をクリックすると、スキーマの問題、欠損している機能、接続性に関する、複製中に発生する可能性のある問題の評価を取得できます。
問題が発生した場合は、処理を進める前に問題を解決する必要があります。このチュートリアルでは、いずれかのテーブルに問題がある場合に、次の操作を行います。
- 表の選択手順に戻ります。
- 問題なくテーブルまたはイベント（挿入、更新、削除）を選択します。
ソース データベースから BigQuery へのデータタイプの変換の詳細については、レプリケーション データタイプをご覧ください。
[Back] をクリックします。
[Next] をクリックします。
レプリケーション ジョブの詳細の概要を確認し、[レプリケーション ジョブをデプロイする] をクリックします。
ジョブを開始する
Cloud Data Fusion ウェブ インターフェースで、[レプリケーション ジョブの詳細] ページに移動します。
[開始] をクリックします。
レプリケーション ジョブは、プロビジョニング、開始、実行中の各状態に移行します。実行中の状態では、レプリケーション ジョブによって、選択したテーブルデータの初期スナップショットが BigQuery に読み込まれます。この状態では、テーブルの状態は [スナップショット] として表示されます。最初のスナップショットを BigQuery に読み込むと、テーブルに対する変更はすべて BigQuery に複製され、テーブルの状態は [Replicating] と表示されます。
ジョブをモニタリングする
レプリケーション ジョブの開始と停止、構成とログの確認、レプリケーション ジョブのモニタリングを行うことができます。
[レプリケーション ジョブの詳細] ページから、レプリケーション ジョブ アクティビティをモニタリングできます。
[レプリケーション] ページで、目的のレプリケーション ジョブの [名前] をクリックします。
[モニタリング] をクリックします。
BigQuery で結果を表示する
レプリケーション ジョブは、複製されたデータセットとテーブルを BigQuery に作成し、対応する Oracle データベースとテーブル名を継承します。
Google Cloud コンソールで [BigQuery] ページに移動します。
左側のパネルでプロジェクト名をクリックして、データセットのリストを展開します。
xeデータセットを選択して、表示するテーブルを選択します。
詳細については、BigQuery のドキュメントをご覧ください。
クリーンアップ
このチュートリアルで使用したリソースについて、Google Cloud アカウントに課金されないようにするには、リソースを含むプロジェクトを削除するか、プロジェクトを維持して個々のリソースを削除します。
チュートリアルを完了したら、Google Cloud で作成したリソースをクリーンアップし、以後は課金されないようにします。次のセクションで、このようなリソースを削除または無効にする方法を説明します。
VM インスタンスを削除します。
Google Cloud コンソールで [VM インスタンス] ページに移動します。
削除するインスタンスのチェックボックスを選択します。
[削除] をクリックして、インスタンスを削除します。
Cloud Data Fusion インスタンスを削除する
Cloud Data Fusion インスタンスを削除する手順に従います。
プロジェクトを削除する
課金をなくす最も簡単な方法は、チュートリアル用に作成したプロジェクトを削除することです。
プロジェクトを削除するには:
- Google Cloud コンソールで、[リソースの管理] ページに移動します。
- プロジェクト リストで、削除するプロジェクトを選択し、[削除] をクリックします。
- ダイアログでプロジェクト ID を入力し、[シャットダウン] をクリックしてプロジェクトを削除します。
次のステップ
- Datastream の詳細を確認する。
- Cloud Data Fusion のレプリケーションについて学習する。
- Replication API リファレンスを確認する。
- Oracle レプリケーション リファレンスをご覧ください。
- MySQL から BigQuery へのデータの複製のチュートリアルを実施する。
- SQL Server から BigQuery へのデータの複製のチュートリアルを実施する。