このページは Cloud Translation API によって翻訳されました。

ステップ 3: 統合メカニズムを決定する

このページでは、Cortex Framework のコアである Cortex Framework Data Foundation をデプロイする 3 番目の手順について説明します。このステップでは、選択したデータソースとの統合を構成します。サンプルデータを使用している場合は、この手順をスキップします。

統合の概要

Cortex Framework を使用すると、さまざまなソースや他のプラットフォームのデータを一元化できます。これにより、データの信頼できる唯一の情報源が作成されます。Cortex Data Foundation は、さまざまな方法で各データソースと統合されますが、ほとんどの場合、次のような手順で行われます。

Source to Raw レイヤ: API を使用して、データソースから未加工データセットにデータを取り込みます。これは、Cloud Composer DAG を介してトリガーされる Dataflow パイプラインを使用して実現されます。
未加工レイヤから CDC レイヤ: 未加工のデータセットに CDC 処理を適用し、出力を CDC データセットに保存します。これは、BigQuery SQL を実行する Cloud Composer DAG によって実現されます。
CDC レイヤからレポートレイヤ: レポートデータセットの CDC テーブルから最終的なレポートテーブルを作成します。これは、構成方法に応じて、CDC テーブルの上にランタイムビューを作成するか、BigQuery テーブルのマテリアライズドデータに対して Cloud Composer DAG を実行することで実現されます。構成の詳細については、レポート設定ファイルのカスタマイズをご覧ください。

config.json ファイルは、さまざまなワークロードからデータを転送するためにデータソースに接続するために必要な設定を構成します。各データソースの統合オプションについては、次のリソースをご覧ください。

各データソースがサポートするエンティティ関連図の詳細については、Cortex Framework Data Foundation リポジトリの docs フォルダをご覧ください。

K9 デプロイ

K9 デプロイツールを使用すると、さまざまなデータソースの統合が簡素化されます。K9 デプロイツールは、BigQuery 環境内の事前定義されたデータセットで、さまざまなデータソースで再利用可能なコンポーネントの取り込み、処理、モデリングを行います。

たとえば、time ディメンションは、テーブルがグレゴリオ暦に基づく分析結果を取得する必要があるすべてのデータソースで再利用できます。K9 デプロイツールは、天気や Google トレンドなどの外部データと他のデータソース（SAP、Salesforce、マーケティングなど）を組み合わせます。この拡充されたデータセットにより、より深い分析情報と包括的な分析が可能になります。

次の図は、さまざまな未加工ソースからさまざまなレポートレイヤへのデータの流れを示しています。

K9 データセット

図 1. K9 データセット。

この図では、ソースプロジェクトに、選択したデータソース（SAP、Salesforce、Marketing）の未加工データが含まれています。ターゲットプロジェクトには、変更データキャプチャ（CDC）プロセスから派生した処理済みデータが含まれます。

前処理の K9 ステップは、すべてのワークロードがデプロイを開始する前に実行されるため、再利用可能なモデルはデプロイ中に使用できます。このステップでは、さまざまなソースのデータを変換して、一貫性のある再利用可能なデータセットを作成します。

後処理 K9 ステップは、すべてのワークロードがレポートモデルをデプロイして、ワークロード間のレポート作成を有効にするか、モデルを拡張して個々のレポートデータセット内で必要な依存関係を見つけると実行されます。

K9 デプロイを構成する

生成される有向非巡回グラフ（DAG）とモデルを K9 マニフェストファイルで構成します。

K9 前処理ステップは、データパイプライン内のすべてのワークロードが一貫して準備されたデータにアクセスできるようにするため、重要です。これにより、冗長性が軽減され、データの整合性が確保されます。

K9 の外部データセットを構成する方法の詳細については、K9 の外部データセットを構成するをご覧ください。

次のステップ

このステップが完了したら、次のデプロイ手順に進みます。