ソース MySQL データベース

このセクションには、次に関する情報が含まれています。

  • Datastream が移行元 MySQL データベースから pull されているデータを処理する方法の動作
  • Datastream でサポートされている MySQL データベースのバージョン
  • MySQL データベースを移行元として使用する場合の既知の制限事項
  • データが移行先にストリーミングできるように移行元 MySQL データベースを設定する方法の概要

動作

このセクションでは、Datastream を使用してデータを複製する場合の MySQL ソースの動作について説明します。MySQL データベースからデータを取り込む場合は、binlog ベースのレプリケーションまたはグローバル トランザクション識別子（GTID）ベースのレプリケーションを使用できます。CDC メソッドは、ストリームを作成するときに選択します。

バイナリログ ベースのレプリケーション

Datastream は、バイナリログ ファイルを使用して、MySQL データベースのデータ変更の記録を保持できます。これらのログファイルに含まれる情報は、移行先に複製され、移行元で行われた変更が再現されます。

Datastream の binlog ベースのレプリケーションの主な特徴は次のとおりです。

  • 特定の MySQL 移行元のすべてのデータベースまたは特定のデータベース、およびデータベースまたは特定のテーブルのすべてのテーブルを選択できます。
  • 履歴データはすべて複製されます。
  • 指定したデータベースとテーブルからの挿入、更新、削除など、すべてのデータ操作言語（DML）の変更が複製されます。
  • commit された変更のみが複製されます。

グローバル トランザクション識別子（GTID）ベースのレプリケーション

Datastream は、グローバル識別子（GTID）ベースのレプリケーションもサポートしています。

グローバル トランザクション識別子（GTID）は、MySQL ソースでコミットされた各トランザクションに関連付けられて作成される一意の識別子です。この識別子は、その発生元のソースだけでなく、特定のレプリケーション トポロジ内のすべてのサーバーで一意です。バイナリログベースのレプリケーションでは、データベース クラスタ内の各ノードが独自の binlog ファイルを独自の番号付けで保持します。バイナリログ ファイルを個別に保持して番号を付けると、障害や計画的なダウンタイムが発生した場合に問題が生じる可能性があります。バイナリログの継続性が損なわれ、バイナリログ ベースのレプリケーションが失敗するためです。

GTID ベースのレプリケーションはフェイルオーバーとセルフマネージド データベース クラスタをサポートし、データベース クラスタの変更に関係なく動作し続けます。

Datastream の GTID ベースのレプリケーションの主な特徴は次のとおりです。

  • 特定の MySQL 移行元のすべてのデータベースまたは特定のデータベース、およびデータベースまたは特定のテーブルのすべてのテーブルを選択できます。
  • 履歴データはすべて複製されます。
  • 指定したデータベースとテーブルからの挿入、更新、削除など、すべてのデータ操作言語（DML）の変更が複製されます。
  • commit された変更のみが複製されます。
  • フェイルオーバーのシームレスなサポート。

バイナリログ ベースのレプリケーションから GTID ベースのレプリケーションに切り替える

ストリームを更新し、バックフィルを行うことなく binlog ベースのレプリケーションから GTID ベースのレプリケーションに切り替える場合は、次の操作を行います。

  1. GTID ベースのレプリケーションのすべての要件が満たされていることを確認します。詳細については、ソース MySQL データベースを構成するをご覧ください。
  2. 必要に応じて、テスト GTID ベースのストリームを作成して実行します。詳細については、ストリームを作成するをご覧ください。
  3. GTID ベースのストリームを作成します。まだ開始しないでください。
  4. 移行元データベースへのアプリケーション トラフィックを停止します。
  5. 既存の binlog ベースのストリームを一時停止します。詳細については、ストリームを一時停止するをご覧ください。
  6. Datastream がデータベースに追いつくまで数分待ちます。これは、ストリームの [ストリームの詳細] ページの [モニタリング] タブの指標を使用して確認できます。[データ鮮度] と [スループット] の値は 0 である必要があります。
  7. GTID ベースのストリームを開始します。詳しくは、ストリームを開始するをご覧ください。
  8. ソース データベースへのトラフィックを再開します。

バックフィルを実行しても問題がない場合は、BigQuery でテーブルを切り捨て、古いストリームを削除して、バックフィルで新しいストリームを開始できます。バックフィルの管理の詳細については、ストリームのオブジェクトのバックフィルを管理するをご覧ください。

バージョン

Datastream は、次のバージョンの MySQL データベースをサポートしています。

  • MySQL 5.6
  • MySQL 5.7
  • MySQL 8.0

  • MySQL 8.4（GTID ベースのレプリケーションでのみサポート）

Datastream は、次の種類の MySQL データベースをサポートしています。

既知の制限事項

MySQL データベースを移行元として使用する場合の既知の制限事項は次のとおりです。

  • ストリームは 10,000 テーブルに制限されています。
  • 主キーが INVISIBLE として定義されているテーブルはバックフィルできません。
  • 次の条件が満たされない限り、5 億行を超えるテーブルはバックフィルできません。
    1. テーブルには一意のインデックスがある。
    2. インデックスのどの列も null 値を許容できません。
    3. インデックスが降順ではありません。
    4. インデックスのすべての列がストリームに含まれる。
  • Datastream は、イベントの処理中に移行元から最新のスキーマを定期的に取得します。スキーマが変更されると、Datastream はスキーマの変更を検出し、スキーマの取得をトリガーします。ただし、スキーマの取得の間に一部のイベントが誤って処理されたり、削除されたりする可能性があり、データの不一致が生じる可能性があります。
  • 移行元のスキーマに対するすべての変更を自動的に検出できない場合があります。その場合、データが破損する可能性があります。次のスキーマの変更により、データが破損したり、イベントのダウンストリームが処理されなかったりする可能性があります。
    • 列をドロップする
    • テーブルの中央に列を追加する
    • 列のデータ型を変更する
    • 列の並べ替え
    • テーブルをドロップする（新しいデータを追加して同じテーブルを再作成する場合に関連）
    • テーブルを切り捨てる
  • Datastream はビューの複製をサポートしていません。
  • Datastream は、 データ型の列をサポートしていません。これらの列の値は NULL 値に置き換えられます。
  • Datastream は、データ型 DATETIME、DATE、TIMESTAMP の列でゼロ値（0000-00-00 00:00:00）をサポートしていません。ゼロ値は NULL の値に置き換えられます。
  • Datastream は、JSON 列に DECIMAL、NEWDECIMAL、TIME、TIME2、DATETIME、DATETIME2、DATE、TIMESTAMP、TIMESTAMP2 の値を含む行の複製をサポートしていません。このような値を含むイベントは破棄されます。
  • Datastream は、バイナリログ トランザクション圧縮をサポートしていません。
  • Datastream は、移行元 MySQL 接続プロファイルの SSL 証明書チェーンをサポートしていません。サポートされているのは、単一の x509 PEM でエンコードされた証明書のみです。
  • Datastream はカスケード削除をサポートしていません。このようなイベントはバイナリログに書き込まれないため、その結果、宛先に伝播されません。
  • Datastream は DROP PARTITION オペレーションをサポートしていません。このようなオペレーションはメタデータのみのオペレーションであり、複製されません。他のイベントは影響を受けず、ストリームは正常に実行されます。
  • Datastream は、バイナリログ ベースのレプリケーションを使用する場合のレプリカへのフェイルオーバーをサポートしていないため、Cloud SQL for MySQL Enterprise Plus ソースには GTID ベースのレプリケーションを使用することをおすすめします。Cloud SQL Enterprise Plus インスタンスはダウンタイムがほぼゼロのメンテナンスに適用され、メンテナンス中にレプリカにフェイルオーバーします。

GTID ベースのレプリケーションの追加の制限事項

  • GTID ベースのレプリケーションを使用するストリームの復元は、Datastream API を使用する場合にのみ可能です。
  • CREATE TABLE ... SELECT ステートメントを使用して他のテーブルからテーブルを作成することはできません。
  • Datastream はタグ付き GTID をサポートしていません。
  • GTID ベースのレプリケーションに適用される MySQL の制限については、MySQL のドキュメントをご覧ください。

次のステップ