ソース SQL Server データベース

このページには、次に関する情報が記載されています。

  • Datastream が移行元 SQL Server データベースから pull されているデータを処理する方法の動作。
  • Datastream がサポートする変更データ キャプチャ（CDC）メソッド。
  • Datastream でサポートされている SQL Server データベースのバージョン。
  • SQL Server データベースを移行元として使用する場合の既知の制限事項。

動作

Datastream は、次のいずれかの CDC メソッドを使用してデータ操作言語（DML）の変更を追跡します。

テーブルを変更

変更テーブルの CDC メソッドを使用すると、ユーザーはログを保持する時間を短縮できるので、保存容量を節約できますが、トランザクション ログメソッドよりもスループットが低くなります。この方法は、トランザクション ログよりも制限が少ないです。たとえば、ログの切り捨てによってストリームが永続的に失敗するリスクを排除し、暗号化されたテーブルのレプリケーションをサポートします。詳細については、既知の制限事項をご覧ください。

この CDC メソッドを使用すると、専用の変更テーブルを使用してソースの変更が追跡されます。トランザクション ログは引き続き使用されますが、その範囲は限定的であり、長期間保持する必要はありません。DML イベントがソーステーブルに適用されると、変更が対応する変更テーブルに複製されます。変更テーブルはソーステーブルと同じ構造を持ちますが、変更のメタデータを含む追加の列があります。コミットされたトランザクションのみが、コミット オペレーションのログシーケンス番号（LSN）とともに変更テーブルに追加されます。

Datastream がソーススキーマに対する DDL の変更を処理する方法

変更テーブルの CDC メソッドを使用すると、各変更テーブルに対してキャプチャ インスタンスが作成されます。各キャプチャ インスタンスは、キャプチャして追跡する列のリストに関連付けられています。デフォルトでは、キャプチャ インスタンスの作成後にソースでデータ定義言語（DDL）の変更が発生した場合、インスタンスはその変更を無視します。ただし、ストリームとキャプチャ インスタンスの作成後にソーススキーマに追加された列を複製するように SQL Server ストリームを構成することはできます。

始める前に
  • Datastream ユーザーに db_owner 権限が割り当てられていることを確認します。

ソーススキーマに追加された列を複製する

ストリームの作成後にソーススキーマに追加された列の複製を Datastream でサポートするには、ストリームに enable_ddl_support_for_ct ラベルを追加する必要があります。

  1. Google Cloud コンソールの [ストリーム] ページに移動します。

    [ストリーム] ページに移動

  2. 編集する SQL Server ストリームをクリックします。

  3. [ストリームの詳細] ページで、[一時停止] をクリックします。

  4. [編集] > [ストリーム設定を編集] をクリックします。

  5. [ラベルを追加] をクリックします。

  6. [キー] フィールドに「enable_ddl_support_for_ct」と入力します。

  7. [Value] フィールドに「true」と入力します。

  8. [保存] をクリックします。

  9. [開始] をクリックして、配信を再開します。

Datastream は、cdc.ddl_history テーブルで新しい DDL を 5 分ごとに確認します。ストリーム構成に含まれるテーブルに新しい列が追加された場合、Datastream はテーブルに 2 つのキャプチャ インスタンスがあるかどうかを確認します。

  • 一致しない場合、Datastream は新しいキャプチャ インスタンスを作成し、DDL が発生した時点まで元のキャプチャ インスタンスのデータを読み取ってから、新しいキャプチャ インスタンスからの読み取りを開始します。

  • その場合、キャプチャ インスタンスの最大数に達したため、DDL 変更を処理できないというログエントリが追加されます。

トランザクション ログ

この CDC メソッドを使用すると、Datastream はトランザクション ログから直接ソース内の変更を読み取ります。この方法では、必要なリソースが少なく、データ取得を高速化できますが、制限が多くなります。

データが失われないよう、Datastream での読み取り前にログが切り捨てられないことが重要です。一方で、ログファイルをあまりにも長期間保持すると、必要とする保存容量を占有してしまい、結果的にデータベース インスタンスが読み取り専用モードになってしまう可能性があります。

CDC リーダーがログを読み取るのに十分な時間を確保しながら、ログの切り捨てによって保存容量を開放するには、ポーリング間隔の変更や切り捨て防止対策の設定など、追加の構成手順を適用する必要があります。これらの手順により、Datastream 側でダウンタイムが発生した場合や、ソース データベースと Datastream の間で接続の問題が発生した場合でも Datastream がデータを読み取れるよう、保護を強化できます。

これらの追加対策を適用する方法の詳細な手順については、ソース SQL Server データベースを構成するページを表示して、データベースのタイプを選択してください。

バージョン

Datastream は、SQL Server データベースの次のバージョンとエディションをサポートしています。

  • 次のバージョンを使用するセルフマネージド（オンプレミスまたはクラウドホスト型）:
    • Enterprise: 2008 以降
    • Standard: 2016 SP1 以降
    • Developer: 2008 以降
  • Amazon RDS for SQL Server

  • Azure SQL Database（ティア S3 以上）。

  • Cloud SQL for SQL Server

Datastream は、次のバージョンの SQL Server データベースをサポートしていません。

  • SQL Server Standard エディション（バージョン 2008 から 2014）
  • SQL Server Express
  • SQL Server Web

既知の制限事項

SQL Server データベースを移行元として使用する場合の既知の制限事項は次のとおりです。

  • ストリームは 10,000 テーブルに制限されています。
  • 次の条件が満たされない限り、5 億行を超えるテーブルはバックフィルできません。
    1. テーブルには一意のインデックスがある。
    2. どのインデックス列も null 値を許容できない。
    3. インデックスのすべての列がストリームに含まれる。
  • 遅延耐久性または高速化データベース復元（ADR）が有効になっているデータベースはサポートされていません。
  • システム テーブルに対する変更のストリーミングはサポートされていません。
  • Windows Active Directory（AD）認証はサポートされていません。
  • 次のデータ型はサポートされておらず、移行先に複製されません。
    • SQL_VARIANT
    • HIERARCHYID
    • GEOMETRY
    • GEOGRAPHY
  • Datastream はユーザー定義データ型を複製しますが、宛先に保存されるのは、ユーザー定義型の派生元の基本のデータ型です。たとえば、VARCHAR(50) データ型に基づいて USERNAME データ型を定義すると、データは VARCHAR(50) として宛先に保存されます。

  • Datastream は、一意のインデックスのないテーブルの大規模なオブジェクト列（TEXT、NTEXT、XML、IMAGE）と最大可変長列（VARCHAR(MAX)、VARBINARY(MAX)、NVARCHAR(MAX)）の CDC をサポートしていません。

    大きなオブジェクト列がストリームに含まれていない場合は、CDC がサポートされます。

  • Datastream では、テーブル変更の CDC メソッドを使用する場合、次のソーススキーマの変更の複製はサポートされていません。

    • 列の削除: これらの列のデータは NULL 値に置き換えられます。
    • データ型の変更: Datastream はデータを宛先に挿入しようとし、データが拒否された場合はエラーを発生させます。
    • 列の名前変更: CDC が有効になっている場合、SQL Server ではサポートされていません。

    このようなスキーマの変更により、データが破損したり、イベントが処理されなかったりする可能性があります。

  • Datastream はデータ マスキングをサポートしていません。データはマスキングなしで複製されます。

  • Datastream では、データ階層アプリケーション パッケージ（DACPAC）パッケージを使用したデータベースに適用された変更の複製はサポートされていません。

  • Datastream は、WRITETEXT ステートメントまたは UPDATETEXT ステートメントを使用して行われた変更は複製されません。

  • Datastream は、列が PERSISTED とマークされていない限り、計算された列の複製をサポートしていません。

  • Datastream は、PAGE、COLUMNSTORE、COLUMNSTORE ARCHIVE の圧縮タイプをサポートしていません。

トランザクション ログメソッドを使用する場合の追加の制限事項

トランザクション ログの CDC メソッドを使用する場合は、次の追加制限事項が適用されます。

  • 透過的データ暗号化（TDE）はサポートされていません。
  • 列レベルの暗号化はサポートされていません。これらの列のデータは NULL 値に置き換えられます。
  • トランザクション ログの CDC メソッドを使用する場合、Datastream はストリームの作成後にソーススキーマに追加された列の複製をサポートしていません。新しい列は宛先に複製されません。
  • Datastream は ROLLBACK TO SAVEPOINT ステートメントをサポートしていません。このようなロールバック イベントは無視され、移行先に複製されません。
  • Datastream は、次のタイプのテーブルの 8 KB を超える行に対する CDC をサポートしていません。
    • 一意のインデックスのないテーブル
    • 1 つ以上の可変長列（VARCHAR、VARBINARY、NVARCHAR）を持つ一意の非クラスタ化インデックスのみを含むテーブル

  • Datastream は、次のタイプのテーブルの大規模なオブジェクト列（TEXT、NTEXT、XML、IMAGE）の CDC をサポートしていません。

    • 一意のインデックスのないテーブル
    • 1 つ以上の可変長列（VARCHAR、VARBINARY、NVARCHAR）を持つ一意の非クラスタ化インデックスのみを含むテーブル

    大きなオブジェクト列がストリームに含まれていない場合は、有効なインデックスがある場合にのみ、そのようなテーブルに対して CDC がサポートされます。

次のステップ