インスタンスとパイプラインのバージョンアップグレードを管理する

このページでは、インスタンスまたはバッチパイプラインのバージョンのアップグレードについて説明します。

Cloud Data Fusion インスタンスとバッチパイプラインを最新のプラットフォームとプラグインのバージョンにアップグレードして、最新機能、バグの修正、パフォーマンスの改善を行ってください。

準備

アップグレードのために計画的ダウンタイムを設定します。 この処理には最大で 1 時間ほどかかります。

Google Cloud コンソールで、「Cloud Shell をアクティブにする」をクリックします。

Cloud Shell をアクティブにする

制限事項

Cloud Data Fusion インスタンスを作成した後は、アップグレードオペレーションによってもエディションを変更することはできません。
Kafka リアルタイムソースを使用してバージョン 6.8.0 で作成されたパイプラインを除き、リアルタイムパイプラインのアップグレードはサポートされていません。回避策については、リアルタイムパイプラインのアップグレードをご覧ください。
Cloud Data Fusion では、アップグレードオペレーションの結果として停止するパイプラインは再起動されません。

Cloud Data Fusion インスタンスをアップグレードする

Cloud Data Fusion インスタンスを新しい Cloud Data Fusion バージョンにアップグレードするには、[インスタンスの詳細] ページに移動します。

Google Cloud コンソールで、Cloud Data Fusion のページに移動します。
[インスタンス] をクリックし、インスタンスの名前をクリックして [インスタンスの詳細] ページに移動します。

[インスタンス] に移動

次に、Google Cloud コンソールまたは gcloud CLI を使用してアップグレードを実行します。

コンソール

[アップグレード] をクリックして、使用可能なバージョンのリストを表示します。
バージョンを選択してください
[アップグレード] をクリックします。
アップグレードが正常に完了したことを確認します。
1. [インスタンスの詳細] ページを更新します。
2. [インスタンスを表示] をクリックして、Cloud Data Fusion ウェブインターフェースでアップグレードされたインスタンスにアクセスします。
3. メニューバーの [システム管理者] をクリックします。
  
  新しいバージョン番号がページ上部に表示されます。
新しいバージョンでパイプラインの実行時にパイプラインが動けなくなるのを防ぐために、アップグレードされたインスタンスで必要なロールを付与します。

gcloud

新しい Cloud Data Fusion バージョンにアップグレードするには、ローカルのターミナルの Cloud Shell セッションから次の gcloud CLI コマンドを実行します。
```
  gcloud beta data-fusion instances update INSTANCE_ID \
    --project=PROJECT_ID \
    --location=LOCATION_NAME \
    --version=AVAILABLE_INSTANCE_VERSION
```
- 省略可: インスタンスに該当する場合は、--enable_stackdriver_logging、 --enable_stackdriver_monitoring、--labels フラグを追加します。
- 省略可: enable.unrecoverable.reset などの CDAP プロパティを --options として渡すことができます。
次の手順に沿って、アップグレードが成功したことを確認します。
1. Google Cloud コンソールで、Cloud Data Fusion の [インスタンス] ページに移動します。
2. [インスタンスを表示] をクリックして、Cloud Data Fusion ウェブインターフェースでアップグレードされたインスタンスにアクセスします。
3. メニューバーの [システム管理者] をクリックします。
  
  新しいバージョン番号がページ上部に表示されます。
新しいバージョンでパイプラインの実行時にパイプラインが動けなくなるのを防ぐために、アップグレードされたインスタンスで必要なロールを付与します。

バッチパイプラインをアップグレードする

Cloud Data Fusion バッチパイプラインをアップグレードして最新のプラグインバージョンを使用するには:

環境変数を設定します。
推奨: すべてのパイプラインをバックアップします。パイプラインをバックアップするには、次の 2 つの方法があります。
- 次の手順で zip ファイルをダウンロードします。
  1. zip ファイルのダウンロードをトリガーするには、次のコマンドを使用してすべてのパイプラインをバックアップします。
```
echo $CDAP_ENDPOINT/v3/export/apps
```
  1. URL 出力をブラウザにコピーします。
  2. ダウンロードしたファイルを展開し、すべてのパイプラインがエクスポートされたことを確認します。パイプラインは名前空間により整理されます。
- バージョン 6.9 以降で利用可能な Source Control Management（SCM）を使用してパイプラインをバックアップします。SCM には、パイプラインのバックアップに使用できる GitHub 統合が用意されています。
パイプラインをアップグレードする手順は次のとおりです。
1. 次のステップで使用する pipeline_upgrade.json ファイルを指す変数を作成し、パイプラインのリストを保存します。
```
export PIPELINE_LIST=PATH/pipeline_upgrade.json
```
  PATH は、ファイルのパスに置き換えます。
2. 次のコマンドを使用して、インスタンスと名前空間のすべてのパイプラインのリストを作成します。結果は JSON 形式で $PIPELINE_LIST ファイルに保存されます。リストを編集して、アップグレードする必要のないパイプラインを削除できます。
```
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps -o $PIPELINE_LIST
```
  NAMESPACE_ID は、アップグレードを実行する名前空間に置き換えます。
3. pipeline_upgrade.json にリストされているパイプラインをアップグレードします。アップグレードするパイプラインの NAMESPACE_ID を挿入します。アップグレードされたパイプラインのリストが、アップグレードステータスとともに表示されます。
```
curl -N -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/upgrade --data @$PIPELINE_LIST
```
  NAMESPACE_ID は、アップグレードするパイプラインの名前空間 ID に置き換えます。
新しいバージョンでパイプラインの実行時にパイプラインが動けなくなるのを防ぐために、アップグレードされたインスタンスで必要なロールを付与します。

リアルタイムパイプラインをアップグレードする

Kafka リアルタイムソースを使用してバージョン 6.8.0 で作成されたパイプラインを除き、リアルタイムパイプラインのアップグレードはサポートされていません。

それ以外の場合は、次の手順に従います。

パイプラインを停止してエクスポートします。
インスタンスをアップグレードします。
アップグレードしたインスタンスにリアルタイムパイプラインをインポートします。

アップグレードによりレプリケーションを有効にする

レプリケーションは、バージョン 6.3.0 以降の Cloud Data Fusion 環境で有効にできます。バージョン 6.2.3 がある場合は、6.3.0 にアップグレードしてから最新バージョンにアップグレードします。その後、レプリケーションを有効化できます。

アップグレードされたインスタンスにロールを付与する

アップグレードが完了したら、Cloud Data Fusion ランナーのロール（roles/datafusion.runner）と Cloud Storage 管理者のロール（roles/storage.admin）をプロジェクト内の Dataproc サービスアカウントに付与します。