デベロッパー

Cloud Functions と Cloud Scheduler を使った Cloud SQL エクスポートのスケジュール設定

2021年6月1日

Google Cloud Japan Team

※この投稿は米国時間 2021 年 5 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。

Cloud SQL では、Cloud Console から直接任意のデータベースを簡単にエクスポートできます。データベースエクスポートファイルは Google Cloud Storage に保存され、Cloud SQL のインポートプロセスでそのファイルを使って新しいデータベースとして再作成することができます。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image1-start-export-via-console.max-462x260.jpg

1 回限りのエクスポートファイルを作成するだけでも十分役立ちますが、この処理を週に一度自動的に実行するように設定する方がさらに便利です。本ブログ投稿では、Cloud SQL データベースを Cloud Storage に週に一度エクスポートするスケジュールを設定するのに必要な手順についてご説明します。今回の例では SQL Server インスタンスを使用しますが、全体的な手順は Cloud SQL の MySQL データベースと PostgreSQL データベースでも同じです。

まず、Cloud SQL に SQL Server インスタンスを作成する必要があります。これは、Google Cloud Console から行えます。

SQL Server インスタンスの作成方法や Azure Data Studio を使ってそのインスタンスに接続する方法について詳しくは、以前の投稿 Try out SQL Server on Google Cloud at your own pace（自分のペースで Google Cloud 上の SQL Server を使ってみる）をご覧ください。

データベースとテーブルを作成する

まず、SQL Server インスタンスに新しいデータベースを作成します。Azure Data Studio と SQL Server インスタンスを接続したまま、Azure Data Studio でサーバーを右クリックし、[New Query] を選択します。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image2-create-new-query_0E4lfh8.0b42c3a3.fill-962x419.jpg

以下の SQL ステートメントを入力し、新しいデータベース、作業対象データを含む新しいテーブルを作成します。

lang-sql

読み込んでいます...

[実行] ボタンをクリックします。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image3-database-table-create-sql.max-1555x874.jpg

Google Cloud Storage にバケットを作成する

次に、このデータベースを週に一度 Cloud Storage にエクスポートするスケジュールを設定します。まず、データベースエクスポートファイルを格納する Cloud Storage バケットを作成します。Cloud Console の [Cloud Storage] セクションに移動して [バケットを作成] ボタンをクリックします。[名前] にバケットの名前を入力して [作成] ボタンをクリックします。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image4-create-a-bucket.max-1582x889.jpg

エクスポートファイルを保存するバケットができたので、このバケットにファイルを書き込む権限を Cloud SQL インスタンスに付与する必要があります。これを行うには、新しいバケットにオブジェクトを作成できる権限を Cloud SQL インスタンスのサービスアカウントに付与します。最初に、Cloud SQL インスタンスの詳細ページからサービスアカウントのアドレスをコピーする必要があります。[Cloud SQL インスタンス] ページに移動して対象のインスタンスを選択します。次に、詳細ページで画面を下にスクロールして [サービスアカウント] のアドレスをコピーします。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image5-copy-service-account.max-1148x646.jpg

[サービスアカウント] のアドレスをクリップボードにコピーしたら、Cloud Storage のバケットに戻ってバケットの [権限] タブをクリックします。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image6-click-bucket-permissions-ta.e3f53765.fill-734x334.jpg

[追加] ボタンをクリックして Cloud Storage バケットに権限を追加します。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image7-add-permissions-to-gcs-bucket.max-506x285.jpg

コピーしたサービスアカウントを追加し、[ロール] で [Cloud Storage] - [Storage オブジェクト管理者] を選択して [保存] ボタンをクリックします。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image8-add-member-w-role-permissions-to-gcs.max-1224x688.jpg

Cloud SQL エクスポートファイルをエクスポートするのは週に一度なので、なるべくコストがかからない方法を取ろうと思います。Cloud Storage のオブジェクトのライフサイクル管理を使うことで、時間の経過に合わせてこれらのエクスポートファイルのストレージクラスを変更してストレージ料金を安く抑えます。これを行うには、Cloud Storage バケットの [ライフサイクル] タブを選択します。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image9-click-bucket-lifecycle.max-574x323.jpg

バケット用に 3 つのライフサイクルルールを設定していきます。1 つ目は 1 か月以上経過したエクスポートファイルを Nearline Storage に変換するためのもの、2 つ目は 3 か月以上経過したエクスポートファイルを Coldline Storage に変換するためのもの、3 つ目は 1 年以上経過したエクスポートファイルを最もコストが安い Archive Storage クラスに変換するためのものです。このちょっとした手間を加えることで、作成されてから時間が経過したエクスポートファイルのストレージコストが大幅に削減されます。

[ルールを追加] ボタンをクリックし、30 日以上経過したオブジェクトのストレージクラスを Nearline Storage に変更するルールを追加します。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image10-set-nearline-lifecycle-rule.max-1108x622.jpg

[ルールを追加] ボタンを再度クリックし、90 日以上経過したオブジェクトのストレージクラスを Coldline Storage に変更するルールを追加します。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image11-set-coldline-lifecycle-rule.max-1099x617.jpg

さらにもう一度 [ルールを追加] ボタンをクリックし、365 日以上経過したオブジェクトのストレージクラスを Archive Storage に変更するルールを追加します。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image12-set-archive-lifecycle-rule.max-1103x620.jpg

3 つのルールを追加すると、バケットの [ライフサイクル] 設定は以下のようになるはずです。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image13-display-bucket-lifecycle-rules.max-892x502.jpg

Cloud SQL データベースをエクスポートする Cloud Functions の関数を作成する

エクスポートファイルを格納する Cloud Storage バケットが完成したので、Cloud SQL データベースのエクスポートメソッドを呼び出せる Cloud Functions の関数を作成しましょう。

Cloud Console の [Cloud Functions] セクションからこの作業を始めていきます。[関数を作成] ボタンをクリックして作成プロセスを開始します。次の情報を入力します。

関数の名前を指定します。

例: export-cloud-sql-db

関数を実行するリージョンを選択します。

例: us-west2

トリガータイプには [Cloud Pub/Sub] を選択します。Cloud SQL インスタンスの管理に使用する、「DatabaseMgmt」という新しい Pub/Sub トピックを作成していきます。[Cloud Pub/Sub トピックを選択してください] プルダウンメニューで [トピックを作成する] ボタンをクリックします。表示された [トピックを作成する] ダイアログウィンドウで、[トピック ID] に「DatabaseMgmt」と入力して [トピックを作成する] ボタンをクリックします。次に、[保存] ボタンをクリックして Cloud Pub/Sub を Cloud Functions の関数のトリガーに設定します。
[ランタイム、ビルド、接続の設定] セクションを展開して [接続] をクリックします。

[上り設定] で [内部トラフィックのみを許可する] を選択します。

[下り設定] で [コネクタを作成] ボタンをクリックします。新しいブラウザタブが開き、Cloud Console の [ネットワーキング] セクションで [サーバーレス VPC アクセス] のフローが開始されます。GCP プロジェクトで初めてこのフローを行うと、サーバーレス VPC アクセス API を有効にするよう求める画面にリダイレクトされます。この画面が表示されたら、API を有効にして VPC コネクタの作成プロセスを続行します。VPC コネクタの作成に使用するフォームが完成すると次のようになります。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image14-create-vpc-network-connec.76a97015.fill-1374x772.jpg

[名前] に「cloud-sql-db-mgmt」と入力します。
[リージョン] で [us-west2] を選択します。
[ネットワーク] プルダウンメニューで [デフォルト] を選択します。
[サブネット] で [カスタム IP 範囲] を選択し、[IP 範囲] に「10.8.0.0」と入力します。
[作成] ボタンをクリックして、サーバーレス VPC アクセスコネクタが作成されるまで 1 分ほど待ちます。コネクタが作成されたら、Cloud Functions の関数作成フォームがまだ開いている他のブラウザタブに戻ります。[下り設定] セクションの [VPC コネクタ] に「cloud-sql-db-mgmt」と入力します。
また、[下り設定] で [すべてのトラフィックを VPC コネクタ経由でルーティングする] オプションを選択します。

すべての値が入力され、[関数を作成] フォームの [構成] セクションが完成すると次のようになります。

[関数を作成] フォームの一番下にある [次へ] ボタンをクリックして、関数を強化するコードを入力する次のステップに移りましょう。

[関数を作成] フォームの [コード] ステップで、[ランタイム] に [Go 1.13] を選択してコードの [エントリポイント] に「ProcessPubSub」と入力します。

次に、[ソースコード] - [インラインエディタ] のコードセクションに以下のコードをコピーして貼り付けます。

読み込んでいます...

// Package p contains a Pub/Sub Cloud Function.
package p

import (
	"context"
	"encoding/json"
	"fmt"
	"log"
	"time"

"golang.org/x/oauth2/google"
	sqladmin "google.golang.org/api/sqladmin/v1beta4"
)

// PubSubMessage is the payload of a Pub/Sub event.
// See the documentation for more details:
// https://cloud.google.com/pubsub/docs/reference/rest/v1/PubsubMessage
type PubSubMessage struct {
	Data []byte `json:"data"`
}

type MessagePayload struct {
	Db       string
	Instance string
	Project  string
	Gs       string
}

// ProcessPubSub consumes and processes a Pub/Sub message.
func ProcessPubSub(ctx context.Context, m PubSubMessage) error {
	var psData MessagePayload
	err := json.Unmarshal(m.Data, &psData)
	if err != nil {
		log.Println(err)
	}
	log.Printf("Request received for db export: %s, %s, %s, %s", psData.Db, psData.Instance, psData.Project, psData.Gs)

// Create an http.Client that uses Application Default Credentials.
	hc, err := google.DefaultClient(ctx, sqladmin.CloudPlatformScope)
	if err != nil {
		return err
	}

// Create the Google Cloud SQL service.
	service, err := sqladmin.New(hc)
	if err != nil {
		return err
	}

// Get current date-time to add to file name of exported file.
	loc, err := time.LoadLocation("America/Los_Angeles")
	if err != nil {
		log.Println(err)
	}
	datestamp := time.Now().In(loc).Format("2006-01-02-1504-05")
	uriPath := fmt.Sprintf("%s/export-%s-%s.gz", psData.Gs, psData.Db, datestamp)
	// See more examples at:
	// https://cloud.google.com/sql/docs/sqlserver/admin-api/rest/v1beta4/instances/export
	rb := &sqladmin.InstancesExportRequest{
		ExportContext: &sqladmin.ExportContext{
			Kind:      "sql#exportContext",
			FileType:  "BAK",
			Uri:       uriPath,
			Databases: []string{psData.Db},
		},
	}

resp, err := service.Instances.Export(psData.Project, psData.Instance, rb).Context(ctx).Do()
	if err != nil {
		log.Fatal(err)
	}
	log.Printf("%#v\n", resp)
	return nil
}

[関数を作成] フォームの [コード] セクションが完成すると次のようになるはずです。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image16-create-cloud-function-code.max-1721x967.jpg

[デプロイ] ボタンをクリックして関数をデプロイします。デプロイプロセスが完了するまで数分かかります。

権限を付与して Cloud Functions の関数が Cloud SQL のエクスポートを実行できるようにする

いよいよ、Cloud Functions の関数を完全に機能させるための最後の設定ステップまで来ました。ここでは、必要な権限を付与して Cloud Functions の関数サービスアカウントが Cloud SQL 管理者メソッド（データベースエクスポートやインポート操作など）を実行できるようにします。

Cloud Console の [IAM] セクションに移動します。サービスアカウントの権限はここで管理します。Cloud Functions で使用する、App Engine デフォルトサービスアカウントを見つけます。このサービスアカウントのサフィックスは「@appspot.gserviceaccount.com」です。アカウントの鉛筆型の編集アイコンをクリックします。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image4-edit-iam-permissions.max-407x229.jpg

[権限の編集] ダイアログウィンドウで [別のロールを追加] ボタンをクリックします。追加する [Cloud SQL 管理者] ロールを選択し、[保存] ボタンをクリックします。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image5-edit-iam-permissions-add-role.max-696x511.jpg

Cloud Functions の関数をテストする

これで関数が完成したのでテストしてみましょう。メッセージを Pub/Sub トピックに送信し、Cloud SQL エクスポート操作の呼び出しをトリガーすることで Cloud Functions の関数をテストできます。

Cloud Console の [Cloud Pub/Sub] セクションに移動します。[DatabaseMgmt] トピックを選択します。[メッセージをパブリッシュ] ボタンをクリックします。

[メッセージをパブリッシュ] フォームの [メッセージ本文] セクションにある [メッセージ] 入力領域に、以下の JSON 形式のテキストを入力します。「<your-instance-name>」、「<your-project-id>」、「<your-gcs-bucket>」の値を、これらのリソースを作成した際に選択した値に変更するのを忘れないようにしてください。

読み込んでいます...

パブリッシュする Pub/Sub メッセージは次のようになるはずです。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image6-publish-pubsub-message.max-1154x648.jpg

[公開] ボタンをクリックしてメッセージをパブリッシュすると、Cloud Functions の関数がトリガーされます。メッセージ本文で指定した Cloud Storage バケットを見ることで、すべてが想定通りに動作していることを確認できます。バケットには「export-demo-2021–04–16–1459–40.gz」と似たような名前のファイルがあるはずです。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image20-export-file1-listed-in-bu.4af8d3ee.fill-1278x719.jpg

Cloud Functions の関数を週に一度トリガーする Cloud Scheduler ジョブを作成する

Cloud Functions の関数が想定通りに動作することが確認できたので、Cloud Scheduler を使って、Cloud Functions の関数を週に一度トリガーするジョブを作成しましょう。Cloud Console の [Cloud Scheduler] セクションに移動し、[ジョブのスケジュール設定] ボタンをクリックします。

スケジュールされたジョブの [名前] を入力します。

例: export-cloud-sql-database

スケジュールされたジョブの [説明] を入力します。

例: Cloud SQL データベースをエクスポートする Cloud Functions の関数をトリガー

ジョブを実行するタイミングを指定する [頻度] には「0 9 * * 5」と入力します。これで、ジョブが毎週金曜日の午前 9 時ちょうどに実行されるようになります。頻度はニーズに合わせて設定してください。頻度の設定の詳細については、Cloud Scheduler のドキュメントを参照してください。
[ジョブのターゲットを構成する] セクションで [ターゲットタイプ] に [Pub/Sub] を選択します。
[トピック] で、前のステップで作成した Pub/Sub トピック「DatabaseMgmt」を指定します。
[メッセージ本文] には、この投稿の前のステップで Cloud Functions の関数をテストするのに使用したのと同じ JSON メッセージを入力します。「<your-instance-name>」、「<your-project-id>」、「<your-gcs-bucket>」の値を、これらのリソースを作成した際に選択した値に変更するのを忘れないようにしてください。

読み込んでいます...