データのインポートとエクスポートのベスト プラクティス

このページでは、Cloud SQL でデータをインポートおよびエクスポートする際のベスト プラクティスを示します。Cloud SQL にデータをインポートする詳細な手順については、データのインポートをご覧ください。

ご自身が管理する MySQL インスタンスで使用する Cloud SQL からデータをエクスポートするには、データのエクスポートをご覧ください。

インポートとエクスポートのベスト プラクティス

データをインポートおよびエクスポートする際に考慮すべきベスト プラクティスは次のとおりです。

インポートとエクスポートに同じ SQL モードを使用する

SQL モード設定は、Cloud SQL で SQL クエリをどのように解釈するかに影響します。たとえば、[Strict SQL] を有効にせずにデータベースからエクスポートし、Cloud SQL (デフォルトで [Strict SQL] を有効にします)にインポートしようとすると、インポートが失敗することがあります。ベスト プラクティスは、エクスポートで使用したのと同じ SQL モードをインポートで使用することです。

互換性のために、ソース データベースとターゲット データベースの両方で SQL モードを確認します。Strict SQL モードを有効にするフラグに特に注意してください。Strict SQL がデータベースで設定されていない場合は、Cloud SQL で削除することをおすすめします。Strict SQL を削除する場合は、別のフラグを設定する必要があります。

Cloud SQL インスタンスで目的のモードが設定されていることを確認するには、SELECT @@GLOBAL.sql_mode; を実行します。

Cloud Storage リクエスト元による支払いバケットを使用しない

Cloud SQL からのインポートとエクスポートに、リクエスト元による支払いが有効になっている Cloud Storage バケットは使用できません。

SQL ダンプファイルの作成時に正しいフラグを使用する

データを SQL ダンプファイルにエクスポートするときに正しいフラグを使用しなかった場合、インポートが失敗する可能性があります。Cloud SQL にインポートする SQL ダンプファイルの作成については、SQL ダンプファイルの作成をご覧ください。

コスト削減のためデータを圧縮する

Cloud SQL では、圧縮ファイルと非圧縮ファイルの両方のインポートとエクスポートがサポートされています。特に大きいインスタンスをエクスポートするときは、圧縮すると Cloud Storage のストレージ スペースを大幅に節約でき、ストレージ コストの削減にもなります。

SQL ダンプファイルや CSV ファイルをエクスポートするときは、ファイル拡張子 .gz を使用してデータを圧縮します。ファイル拡張子 .gz のファイルは、インポートすると自動的に解凍されます。

長時間にわたるインポートおよびエクスポート プロセスの削減

インポート機能(Cloud Storage バケット経由)を使用した Cloud SQL へのインポートとエクスポートは、データベースのサイズによっては、完了するまでに時間がかかる場合があります。その結果、次の影響があります。

  • 長時間実行されている Cloud SQL インスタンス オペレーションを停止することはできません。
  • 各インスタンスに対して実行できるインポートまたはエクスポートのオペレーションは、一度に 1 つのみです。

Cloud SQL のインポートまたはエクスポート機能をバッチサイズのより小さいデータで使用して、各オペレーションの完了に要する時間を短縮できます。

エクスポートの場合、サーバーレス エクスポートを使用すると、データベースのパフォーマンスへの影響を最小限に抑え、エクスポートの実行中にインスタンスで他のオペレーションを実行できます。

その他のヒントについては、Cloud SQL インスタンスでの問題を診断するをご覧ください。

InnoDB を使用する

InnoDB は、MySQL インスタンスでサポートされている唯一のストレージ エンジンです。

次のように sed スクリプトを使って mysqldump の出力をパイプでつなぐことで、MyISAM から InnoDB にテーブルを変換できます。

mysqldump --databases [DATABASE_NAME] \
-h [INSTANCE_IP] -u [USERNAME] -p [PASSWORD] \
--hex-blob --default-character-set=utf8mb4 | sed 's/ENGINE=MyISAM/ENGINE=InnoDB/g' > [DATABASE_FILE].sql

DEFINER 句で定義したメタデータを含む MySQL インポート ジョブと移行ジョブ

MySQL のインポート ジョブまたは移行ジョブでは、ソース、ユーザーデータ、ユーザーが DEFINER 句で定義したメタデータを含むダンプファイルが移行されません。ユーザーがまだ存在しないため、このインポートまたは移行は失敗します。

メタデータに存在する DEFINER 値を確認するには、次のクエリを使用するか、ダンプファイル内を検索して、root%localhost またはターゲット インスタンスが存在しないユーザーのエントリがあるかどうかを確認します。

SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;

このようなメタデータを含むソースからインポート ジョブまたは移行ジョブを実行するには、次のいずれかの操作を行います。

  • インポート ジョブまたは移行ジョブを開始する前に、ターゲット Cloud SQL インスタンスにユーザーを作成します。
  • インポート ジョブまたは移行ジョブを開始する前に、ソースの MySQL インスタンスまたはダンプファイルで DEFINER 句を INVOKER に更新します。

インポートしたデータベースを確認する

インポートが完了したら、データベースに接続し、該当するデータベース コマンドを実行して内容が正しいことを確認します。たとえば接続して、データベース、テーブル、特定のエントリを一覧表示します。

トラブルシューティング

表内のリンクをクリックすると、詳細が表示されます。

この問題については... 次のような問題が考えられます... 次のことを試します...
オペレーションのステータスを確認できない。 ユーザー インターフェースには成功または失敗のみが表示されます。 詳細については、これらのデータベース コマンドをご覧ください。
エクスポート中の 408 Error (Timeout) データベースのサイズとエクスポート コンテンツによっては、SQL のエクスポートに時間がかかることがあります。 複数の CSV エクスポートを使用して各オペレーションのサイズを減らします
CSV のエクスポートは機能したが、SQL エクスポートに失敗した。 SQL のエクスポートでは、Cloud SQL との互換性の問題が発生する可能性が高くなります。 CSV のエクスポートを使用して必要なものだけをエクスポートします
エクスポートに時間がかかりすぎる。 Cloud SQL では同時実行オペレーションの同期がサポートされません。 エクスポートのオフロードを使用します。詳細については、こちらをご覧ください。
インポートに時間がかかりすぎる。 アクティブな接続が多すぎると、インポート オペレーションが妨げられる可能性があります。 未使用の接続を閉じるか、インポート オペレーションを開始する前に Cloud SQL インスタンスを再起動してください。
Error 1412: Table definition has changed です。 エクスポート中にテーブルが変更されました。 ダンプ オペレーションからテーブル変更ステートメントを削除します
インポートに失敗した。 エクスポートされたファイルに、まだ存在しないデータベース ユーザーが含まれている可能性があります。 インポートを再試行する前に、失敗したデータベースをクリーンアップします。インポートを行う前に、データベース ユーザーを作成します。
エクスポート オペレーション中に接続が切断した。 クエリで最初の 7 分以内にデータを生成する必要があります。 クエリを手動でテストします。詳細については、こちらをご覧ください。
エクスポート中に不明なエラーが発生した。 帯域幅の問題である可能性があります。 インスタンスと Cloud Storage バケットの両方が同じリージョンに存在することを確認します
エクスポートを自動化する場合。 Cloud SQL には、エクスポートを自動化する方法がありません。 この機能を実行する独自のパイプラインを構築します。詳細については、こちらをご覧ください。
ERROR_RDBMS: system error occurred Cloud Storage の権限またはテーブルが存在しません。 権限を確認するか、テーブルが存在することを確認します
インポート中のエラー: テーブルが存在しません。 現時点では、必要なテーブルが存在しません。 インポート開始時に FOREIGN_KEY_CHECKS を無効にします
エラー メッセージ: Access denied; you need (at least one of) the SUPER privilege(s) for this operation super user@localhost(root@localhost など)を使用するダンプファイルには、イベント、ビュー、関数、またはプロシージャが含まれる場合があります。これは Cloud SQL ではサポートされていません。 Cloud SQL での DEFINER の使用方法と考えられる回避策の詳細をご確認ください。
エラー メッセージ: ERROR 1045 (28000) at line {line_number}: Access denied for user 'cloudsqlimport'@'localhost' ダンプファイルに、データベースに存在しない DEFINER があります。 Cloud SQL での DEFINER の使用方法と考えられる回避策の詳細をご覧ください。
エラー メッセージ: Unknown table 'COLUMN_STATISTICS' in information_schema これは、MySQL 8.0 の mysqldump バイナリを使用して MySQL 5.7 データベースからデータをダンプし、それを MySQL 8.0 データベースにインポートする場合に発生します。 MySQL 5.7 データベースからデータをダンプし、MySQL 8.0 データベースにインポートする場合は、必ず MySQL 5.7 の mysqldump バイナリを使用してください。MySQL 8.0 の mysqldump バイナリを使用する場合は、--column-statistics=0 フラグを追加する必要があります。

オペレーションのステータスを確認できない

進行中のオペレーションのステータスが表示されません。

次のような問題が考えられます

Google Cloud Console では、完了時に成功または失敗のみが表示され、警告は返されません。

次の方法をお試しください

データベースに接続し、SHOW WARNINGS を実行します。


エクスポート中の 408 エラー(タイムアウト)

Cloud SQL でエクスポート ジョブを実行しているときに、エラー メッセージ 408 Error (Timeout) が表示されます。

次のような問題が考えられます

CSV 形式と SQL 形式ではエクスポート方法が異なります。SQL 形式ではデータベース全体がエクスポートされるため、完了までに時間がかかります。CSV 形式ではエクスポートに含めるデータベースの要素を定義できます。

次の方法をお試しください

CSV 形式を使用して複数の小規模なエクスポート ジョブを実行し、各オペレーションのサイズと長さを減らします。


CSV のエクスポートは機能したが、SQL エクスポートに失敗した

CSV のエクスポートは機能したが、SQL エクスポートに失敗した。

次のような問題が考えられます

CSV 形式と SQL 形式ではエクスポート方法が異なります。SQL 形式ではデータベース全体がエクスポートされるため、完了までに時間がかかります。CSV 形式ではエクスポートに含めるデータベースの要素を定義できます。

次の方法をお試しください

CSV エクスポートを使用して必要なものだけをエクスポートします。


エクスポートに時間がかかりすぎる

エクスポートに時間がかかりすぎるため、他のオペレーションをブロックします。

次のような問題が考えられます

Cloud SQL では同時実行オペレーションの同期がサポートされません。

次の方法をお試しください

サイズの小さい多数のデータセットを一度にエクスポートしてみてください。


インポートに時間がかかりすぎる

インポートに時間がかかりすぎるため、他のオペレーションをブロックしています。

次のような問題が考えられます

アクティブな接続が多すぎると、インポート オペレーションが妨げられる可能性があります。CPU とメモリが接続のために消費されると、使用可能なリソースが制限されます。

次の方法をお試しください

未使用のオペレーションを終了します。使用可能なリソースが十分にあるかどうか、CPU とメモリ使用量を確認します。インポート オペレーションに使用するリソースを最大限確保するために、オペレーションを開始する前にインスタンスを再起動することをおすすめします。再起動:

  • すべての接続を終了します。
  • リソースを消費している可能性のあるタスクを終了します。


mysqldump: エラー 1412: テーブル定義が変更されました

エラー メッセージ mysqldump: Error 1412: Table definition has changed, retry transaction when dumping the table が表示されます。

次のような問題が考えられます

エクスポート処理中にテーブル内で変更がありました。

次の方法をお試しください

エクスポート オペレーション中に次のステートメントを使用すると、ダンプ トランザクションが失敗する可能性があります。

  • ALTER TABLE
  • CREATE TABLE
  • DROP TABLE
  • RENAME TABLE
  • TRUNCATE TABLE
これらのステートメントのいずれかをダンプ オペレーションから削除します。


インポートに失敗した

エクスポートされた SQL ダンプファイルで参照されているユーザーが存在しない場合、インポートは失敗します。

次のような問題が考えられます

SQL ダンプをインポートする前に、オブジェクトを所有しているか、またはダンプされたデータベース内のオブジェクトに対する権限が付与されているデータベース ユーザーが存在する必要があります。 そうでない場合、復元で、元の所有権や権限でのオブジェクトの再作成に失敗します。

次の方法をお試しください

インポートを再試行する前に、失敗したデータベースをクリーンアップします。SQL ダンプをインポートする前に、データベース ユーザーを作成します。


エクスポート オペレーション中に接続が切断された

エクスポート オペレーション中に接続が切断しました。

次のような問題が考えられます

エクスポートが開始されてから最初の 7 分以内に、エクスポートで実行されているクエリでデータが生成されないため、Cloud Storage への接続がタイムアウトする可能性があります。

次の方法をお試しください

次のコマンドを使用して任意のクライアントから接続し、クエリの出力を標準出力に送信して、クエリを手動でテストします。

COPY (INSERT_YOUR_QUERY_HERE) TO STDOUT WITH ( FORMAT csv, DELIMITER ',', ENCODING 'UTF8', QUOTE '"', ESCAPE '"' )

これは、エクスポートが開始されるとすぐにクライアントからデータの送信が開始されるためです。データが送信されていない接続を維持すると、最終的に接続が切断されてエクスポートが失敗し、操作が不確定な状態になります。また、gcloud からのエラー メッセージは次のように表示されます。

operation is taking longer than expected


エクスポート中に不明なエラーが発生した

データベースを Cloud Storage バケットにエクスポートしようとすると、エラー メッセージ Unknown error が表示されます。

次のような問題が考えられます

帯域幅の問題が原因で転送が失敗する可能性があります。

次の方法をお試しください

Cloud SQL インスタンスが Cloud Storage バケットとは異なるリージョンに存在している可能性があります。ある大陸から別の大陸へのデータの読み取りと書き込みではネットワークの使用量が多く、このような断続的な問題を引き起こす可能性があります。インスタンスとバケットのリージョンを確認します。


エクスポートを自動化する

エクスポートを自動化する場合。

次のような問題が考えられます

Cloud SQL には、エクスポートを自動化する方法がありません。

次の方法をお試しください

Google Cloud プロダクト(Cloud Scheduler、Pub/Sub、Cloud Functions)を使用して、独自の自動エクスポート システムを構築できます。


ERROR_RDBMS システムエラーが発生した

エラー メッセージ [ERROR_RDBMS] system error occurred が表示されます。

次のような問題が考えられます

  • ユーザーが必要なすべての Cloud Storage 権限を持っていない可能性があります。
  • データベース テーブルが存在しない可能性があります。

次の方法をお試しください

  1. バケットに対して少なくとも WRITER 権限があり、エクスポート ファイルに対して READER 権限があることを確認してください。Cloud Storage のアクセス制御の構成について詳しくは、アクセス制御リストの作成と管理をご覧ください。
  2. テーブルが存在していることを確認します。存在している場合は、バケットに対して正しい権限があることを確認します。

インポート中のエラー: テーブルが存在しません

インポート オペレーションが失敗し、テーブルが存在しないというエラーが表示されます。

次のような問題が考えられます

テーブルには他のテーブルとの外部キーの依存関係がある場合があり、オペレーションの順序によっては、インポート オペレーション中に 1 つ以上のテーブルがまだ存在しない可能性があります。

次の方法をお試しください

次の行をダンプファイルの先頭に追加します。

  SET FOREIGN_KEY_CHECKS=0;

また、次の行をダンプファイルの末尾に追加します。

  SET FOREIGN_KEY_CHECKS=1;

これらの設定により、インポート オペレーション中のデータの整合性チェックが無効になり、データの読み込み後に再び有効になります。ダンプファイルの作成時にデータがすでに検証されているため、この設定はデータベース上のデータの整合性には影響しません。


アクセスが拒否された(この操作を行うには、SUPER の権限の少なくとも 1 つが必要)

Access denied; you need (at least one of) the SUPER privilege(s) for this operation というエラーが表示されます。

次のような問題が考えられます

super user@localhost(root@localhost など)を使用するダンプファイルには、イベント、ビュー、関数、またはプロシージャが含まれる場合があります。これは Cloud SQL ではサポートされていません。

次の方法をお試しください

DEFINER 句を使用したデータベースのインポートについては、こちらのドキュメントをご覧ください。


エラー メッセージ: ERROR 1045 (28000) at line {line_number}: Access denied for user 'cloudsqlimport'@'localhost'

ERROR 1045 (28000) at line {line_number}: Access denied for user 'cloudsqlimport'@'localhost' というエラーが表示されます。

次のような問題が考えられます

根本的な原因は、ダンプファイルに DEFINER 句のあるユーザーがあり、そのユーザーがデータベースに存在しないことと、そのユーザーがデータベースのオブジェクト定義で相互参照されていることです。

次の方法をお試しください

ダンプファイルで DEFINER 句を使用してデータベースをインポートする方法については、こちらのドキュメントをご覧ください。データベースに 1 人以上のユーザーを作成する必要があります。


エラー メッセージ: Unknown table 'COLUMN_STATISTICS' in information_schema

エラー メッセージ Unknown table 'COLUMN_STATISTICS' in information_schema が表示されます。

次のような問題が考えられます

これは、MySQL 8.0 の mysqldump バイナリを使用して MySQL 5.7 データベースからデータをダンプし、それを MySQL 8.0 データベースにインポートする場合に発生します。

次の方法をお試しください

MySQL 5.7 データベースからデータをダンプし、MySQL 8.0 データベースにインポートする場合は、必ず MySQL 5.7 の mysqldump バイナリを使用してください。MySQL 8.0 の mysqldump バイナリを使用する場合は、--column-statistics=0 フラグを追加する必要があります。


次のステップ