MongoDB Atlas と Google Cloud 間のデータ変換プロセスのデプロイ

Last reviewed 2023-12-13 UTC

このドキュメントでは、MongoDB Atlas と Google Cloud の間のデータ変換をデプロイする方法について説明します。ここでは、MongoDB Atlas から BigQuery へのデータの抽出、変換、読み込み（ETL）プロセスをデプロイします。

この手順は、MongoDB Atlas に保存されている運用データに対し、BigQuery を使用して複雑な分析を行うことを考えているデータ管理者を対象としています。MongoDB Atlas、BigQuery、Dataflow について十分に理解している必要があります。

アーキテクチャ

次の図は、このソリューションをデプロイするときに使用するリファレンス アーキテクチャを示しています。

MongoDB Atlas と Google Cloud の間のデータ変換のアーキテクチャ

図に示すように、インテグレーション プロセスを処理する 3 つの Dataflow テンプレートがあります。最初のテンプレートである MongoDB to BigQuery は、MongoDB からドキュメントを読み取り、BigQuery に書き込むバッチ パイプラインです。2 番目のテンプレートの BigQuery to MongoDB は、分析されたデータを BigQuery から読み取り、MongoDB に書き込むために使用できるバッチ テンプレートです。3 番目のテンプレートの MongoDB to BigQuery（CDC）は、MongoDB 変更ストリームと連携して運用データの変更を処理するストリーミング パイプラインです。詳細については、MongoDB Atlas と Google Cloud の間のデータ変換をご覧ください。

目標

次のデプロイ手順では、MongoDB to BigQuery テンプレートを使用して MongoDB Atlas から BigQuery へのデータの ETL プロセスを実行する方法を示します。この ETL プロセスをデプロイするには、次のタスクを行います。

  • Google Cloud に MongoDB Atlas クラスタをプロビジョニングする。
  • MongoDB クラスタにデータを読み込む。
  • クラスタ アクセスを構成する。
  • Google Cloud で BigQuery テーブルを設定する。
  • MongoDB データを BigQuery に転送する Dataflow ジョブを作成してモニタリングする。
  • BigQuery で出力テーブルを検証する。

費用

このドキュメントでは、Google Cloud の次の課金対象のコンポーネントを使用します。

料金計算ツールを使うと、予想使用量に基づいて費用の見積もりを生成できます。 新しい Google Cloud ユーザーは無料トライアルをご利用いただける場合があります。

このドキュメントに記載されているタスクの完了後、作成したリソースを削除すると、それ以上の請求は発生しません。詳細については、クリーンアップをご覧ください。

始める前に

MongoDB から BigQuery へのデータ変換アーキテクチャの環境を設定するには、次の手順を行います。

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

    プロジェクト セレクタに移動

  3. Google Cloud プロジェクトで課金が有効になっていることを確認します。

  4. BigQuery and Dataflow API を有効にします。

    API を有効にする

    5.

  5. Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

    プロジェクト セレクタに移動

  6. Google Cloud プロジェクトで課金が有効になっていることを確認します。

  7. BigQuery and Dataflow API を有効にします。

    API を有効にする

    8.

MongoDB Atlas をインストールする

このセクションでは、Cloud Marketplace を使用して MongoDB Atlas インスタンスをインストールします。以下の手順は、既存の MongoDB アカウントがないことを前提としています。サブスクリプションの設定と、Google 請求先アカウントと MongoDB アカウントのリンクの詳細については、MongoDB ドキュメントの Google Cloud Self-Serve Marketplace をご覧ください。

  1. Google Cloud コンソールでナビゲーション メニューを開き、[マーケットプレイス] を選択します。
  2. Marketplace の検索ボックスに「MongoDB Atlas」と入力します。
  3. 検索結果で、[MongoDB Atlas (pay-as-you-go)] を選択します。
  4. [MongoDB Atlas (pay-as-you-go)] ページで利用規約の概要を確認し、[Sign up with MongoDB] をクリックします。
  5. MongoDB のサブスクリプション ページで、請求先アカウントを選択し、利用規約に同意して [登録] をクリックします。
  6. [Register with MongoDB] ボタンをクリックし、MongoDB アカウントを作成します。
  7. 組織を選択するページで、Google Cloud 請求先アカウントをリンクする MongoDB 組織を選択します。
  8. Google Cloud による組織の同期が完了するまで待ちます。

アカウントが同期されると、Google Cloud コンソールの [MongoDB Atlas (pay-as-you-go)] ページが更新され、[プロバイダで管理] ボタンが表示されます。

MongoDB Atlas クラスタを作成する

このセクションでは、MongoDB クラスタを作成します。作成中に、次の情報を選択します。

  • クラスタタイプ。インフラストラクチャの要件に基づいてクラスタ階層を選択します。
  • クラスタの優先リージョン。自分の物理的ロケーションに最も近いリージョンを選択することをおすすめします。

無料の MongoDB クラスタを作成してデプロイする方法については、MongoDB ドキュメントの Deploy a Free Cluster をご覧ください。

クラスタを作成して設定する手順は次のとおりです。

  1. Google Cloud コンソールの [MongoDB Atlas (pay-as-you-go)] ページで、[プロバイダで管理] をクリックします。

  2. MongoDB ログインページで [Google] をクリックし、MongoDB Atlas のインストールに使用した Google アカウントをクリックします。

    新規ユーザーの場合、MongoDB UI の [Database Deployments] ページが自動的に開きます。

  3. Atlas UI の [Database Deployments] ページで、[Create] をクリックします。

  4. [Create a Cluster] ページで、[Shared] をクリックします。

    [Shared] オプションを選択すると無料のクラスタが提供されます。それを使用してこのリファレンス アーキテクチャをテストできます。

  5. [Create a Shared Cluster] ページの [Cloud Provider & Region] セクションで、次の操作を行います。

    1. [Google Cloud] を選択します。
    2. 地理的に最も近く、必要な条件を満たすリージョンを選択します。

  6. [Cluster Tier] セクションで、[M0] オプションを選択します。

    M0 クラスタは無料で、小規模な概念実証アプリケーションに適しています。

  7. [Cluster Name] にクラスタの名前を入力します。

  8. [Create Cluster] をクリックしてクラスタをデプロイします。

MongoDB クラスタを設定する

このセクションでは、次の手順を実施します。

  • クラスタにサンプルデータを読み込む。
  • クラスタへのアクセスを構成する。
  • クラスタに接続する。

MongoDB クラスタにサンプルデータを読み込む

MongoDB クラスタを作成したら、そのクラスタにデータを読み込む必要があります。MongoDB ではさまざまなサンプル データセットが提供されます。これらのデータセットのいずれを使用してもデプロイをテストできますが、本番環境のデプロイで使用する実際のデータに似たデータセットを使用することをおすすめします。

サンプルデータの読み込み方法の詳細については、MongoDB ドキュメントの Load the Sample Data をご覧ください。

サンプルデータを読み込む手順は次のとおりです。

  1. Atlas UI の [Database Deployments] ページで、デプロイしたクラスタを見つけます。

  2. 省略記号（...）ボタンをクリックし、[Load Sample Dataset] をクリックします。

    サンプルデータの読み込みには約 5 分かかります。

  3. サンプル データセットを確認し、このデプロイのテストに使用するコレクションをメモします。

クラスタ アクセスを構成する

クラスタを接続するには、データベース ユーザーを作成し、クラスタの IP アドレスを設定する必要があります。

  • データベース ユーザーは MongoDB ユーザーとは別のものです。このデータベース ユーザーを Google Cloud から MongoDB に接続する必要があります。
  • このリファレンス アーキテクチャでは、CIDR ブロック 0.0.0.0/0 を IP アドレスとして使用します。この CIDR ブロックはどこからでもアクセス可能で、今回のような概念実証のデプロイにのみ適しています。ただし、このアーキテクチャを本番環境バージョンとしてデプロイする場合は、アプリケーションに適した IP アドレス範囲を入力してください。

データベース ユーザーと、クラスタの IP アドレスの設定方法については、MongoDB ドキュメントの Configure cluster access with the QuickStart Wizard をご覧ください。

クラスタ アクセスを構成する手順は次のとおりです。

  1. 左側のナビゲーション パネルの [Security] セクションで、[Quickstart] をクリックします。
  2. [Username and Password] ページで、次の手順に沿ってデータベース ユーザーを作成します。
    1. [Username] に、データベース ユーザーの名前を入力します。
    2. [Password] に、データベース ユーザーのパスワードを入力します。
    3. [Create User] をクリックします。

  3. [Username and Password] ページで、次の手順に沿ってクラスタの IP アドレスを追加します。

    1. [IP Address] に「0.0.0.0/0」と入力します。

      本番環境の場合は、その環境に適した IP アドレスを入力します。

    2. （省略可）[Description] にクラスタの説明を入力します。

    3. [Add Entry] をクリックします。

  4. [Finish and Close] をクリックします。

クラスタに接続する

クラスタへのアクセスが構成されたら、クラスタに接続する必要があります。クラスタに接続する方法の詳細については、MongoDB ドキュメントの Connect to Your Cluster をご覧ください。

クラスタに接続する手順は次のとおりです。

  1. Atlas UI の [Database Deployments] ページで、デプロイしたクラスタを見つけます。
  2. [Connect] を選択します。
  3. [Connect] ページで、[Compass] オプションをクリックします。

  4. [Copy the connection string] フィールドを見つけ、MongoDB の接続文字列をコピーして保存します。この接続文字列は、Dataflow テンプレートの実行中に使用します。

    接続文字列の構文は次のとおりです。

    mongodb+srv://<UserName>:<Password>@<HostName>

    接続文字列には、前の手順で作成したデータベース ユーザーのユーザー名が自動的に設定されます。ただし、この文字列を使用して接続するときに、データベース ユーザーのパスワードの入力を求められます。

  5. [Close] をクリックします。

BigQuery でデータセットを作成する

BigQuery では、データセット名を入力し、データセットの地理的位置を選択するだけで、データセットを作成できますが、データセットに設定可能なオプション フィールドがあります。これらのオプション フィールドの詳細については、データセットの作成をご覧ください。

  1. Google Cloud コンソールで [BigQuery] ページに移動します。

    BigQuery に移動

  2. [エクスプローラ] パネルで、データセットを作成するプロジェクトを選択します。

  3. オプションを開いて、[データセットを作成] をクリックします。

  4. [データセットを作成する] ページで、次の操作を行います。

    1. [データセット ID] に、データセットの一意の名前を入力します。

    2. [ロケーション タイプ] で、データセットの地理的なロケーションを選択します。データセットの作成後はロケーションを変更できません。

      データセットのロケーションとして EU または EU にあるリージョンを選択した場合、Core BigQuery Customer Data は EU 内に保存されます。Core BigQuery Customer Data の定義については、サービス固有の規約をご覧ください。

    3. [データセットを作成] をクリックします。

Dataflow バッチジョブの作成、モニタリング、検証

Dataflow で、次の手順に沿って MongoDB から BigQuery にサンプルデータを読み込む 1 回限りのバッチジョブを作成します。バッチジョブを作成したら、Dataflow モニタリング インターフェースでジョブの進行状況をモニタリングします。モニタリング インターフェースの使用方法については、Dataflow モニタリング インターフェースを使用するをご覧ください。

  1. Google Cloud コンソールで [Dataflow] ページに移動します。

    Dataflow に移動

  2. [CREATE JOB FROM TEMPLATE] をクリックします。

  3. [テンプレートからジョブを作成] ページで、次の操作を行います。

    1. [ジョブ名] に、一意のジョブ名を入力します（例: mongodb-to-bigquery-batch）。プロジェクトで、同じ名前の他の Dataflow ジョブが現在実行されていないことを確認してください。
    2. [リージョン エンドポイント] で、作成した BigQuery データセットと同じロケーションを選択します。
    3. [Dataflow テンプレート] の [Process Data in Bulk (batch)] リストで [MongoDB to BigQuery] を選択します。

    4. [必須パラメータ] セクションで、次のパラメータを入力します。

      1. [MongoDB Connection URI] に、Atlas MongoDB 接続文字列を入力します。
      2. [MongoDB database] に、前に作成したデータベースの名前を入力します。
      3. [MongoDB collection] に、先ほどメモしたサンプル コレクションの名前を入力します。
      4. [BigQuery output table] で [参照] をクリックし、前の手順で作成した BigQuery テーブルを選択します。

      5. [User option] で [NONE] または [FLATTEN] を選択します。

        NONE は、JSON 文字列形式でドキュメント全体を BigQuery に読み込みます。FLATTEN は、ドキュメントを 1 レベルにフラット化します。UDF を指定しない場合、FLATTEN オプションは固定スキーマを持つドキュメントでのみ機能します。

      6. ジョブを開始するには、[ジョブを実行] をクリックします。

  4. 次の手順で Dataflow モニタリング インターフェースを開くと、バッチジョブの進行状況を確認でき、ジョブがエラーなしで完了したかどうかを検証できます。

    1. Google Cloud コンソールで、このデプロイメントのプロジェクトのナビゲーション メニューを開きます。
    2. [分析] で、[Dataflow] をクリックします。

  5. パイプラインが正常に実行されたら、次の手順でテーブル出力を検証します。

    1. BigQuery で [エクスプローラ] ペインを開きます。

    2. プロジェクトを開き、データセットをクリックして、テーブルをダブルクリックします。

      これで、テーブルに MongoDB データを表示できるようになりました。

クリーンアップ

MongoDB アカウントと Google Cloud アカウントに課金されないようにするには、MongoDB Atlas クラスタを一時停止または終了し、このリファレンス アーキテクチャ用に作成した Google Cloud プロジェクトを削除する必要があります。

MongoDB Atlas クラスタを一時停止または終了する

ここでは、クラスタを一時停止する基本的な手順について説明します。詳細については、MongoDB ドキュメントの Pause, Resume, or Terminate a Cluster をご覧ください。

  1. Atlas UI で、Atlas プロジェクトの [データベースのデプロイ] ページに移動します。
  2. 一時停止するクラスタで をクリックします。
  3. [Pause Cluster] をクリックします。
  4. [Pause Cluster] をクリックして、選択内容を確定します。

プロジェクトを削除する

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

次のステップ

  • テンプレートをカスタマイズする場合、GitHub で Google Dataflow テンプレートを検索する。
  • MongoDB Atlas と Google Cloud ソリューションの詳細について Cloud Skills Boost で学習する。
  • このリファレンス アーキテクチャで使用される Google Cloud プロダクトの詳細を確認する。
  • Cloud アーキテクチャ センターで、リファレンス アーキテクチャ、図、ベスト プラクティスを確認する。

協力者

作成者:

その他の関係者:

  • サポート性に関するテクニカル リーダー | Jun Liu
  • サポート性に関するテクニカル リーダー | Maridu Raju Makaraju
  • ソリューション アーキテクト | Sergei Lilichenko
  • グループ プロダクト マネージャー | Shan Kulandaivel

非公開の LinkedIn プロフィールを表示するには、LinkedIn にログインします。