設定自行管理的 Oracle 資料庫以進行 CDC

本頁面說明如何設定變更資料擷取 (CDC)，將資料從自行管理的 Oracle 資料庫串流至支援的目的地，例如 BigQuery 或 Cloud Storage。

您可以設定自行管理的 Oracle 資料庫，與下列 CDC 方法搭配使用：

這些方法會指定 Datastream 存取記錄檔的方式。如要進一步瞭解二進位記錄讀取器和 LogMiner API，請參閱「使用 Oracle 資料庫的重做記錄檔」。

如需每種方法的詳細設定說明，請參閱下方的各節。

設定二進位記錄檔讀取器適用的自管 Oracle 資料庫

如要設定自行管理的 Oracle 資料庫，以便搭配使用二進位記錄讀取器 CDC 方法，請按照下列步驟操作：

  1. 選取下列其中一種方法來存取記錄檔：

    • 儲存空間自動管理 (ASM)：選取這個選項時，您需要建立專屬的 ASM 連線，並在建立連線設定檔時提供詳細資料。
    • 資料庫目錄：如果選取這個選項，您需要建立指向重做記錄檔和封存記錄檔的資料庫目錄物件，並授予資料庫使用者 READ 目錄存取權：
    CREATE DIRECTORY DIRECTORY_NAME_1 as 'ONLINE_REDO_LOGS_PATH';
CREATE DIRECTORY DIRECTORY_NAME_2 as 'ARCHIVED_REDO_LOGS_PATH';
GRANT READ ON DIRECTORY DIRECTORY_NAME_1 to USER_NAME;
GRANT READ ON DIRECTORY DIRECTORY_NAME_2 to USER_NAME;

    更改下列內容：

    • DIRECTORY_NAME_1：線上重做記錄檔的目錄名稱。
    • DIRECTORY_NAME_2：封存重做記錄檔的目錄名稱。
    • ONLINE_REDO_LOGS_PATH：要儲存線上重做記錄檔的目錄路徑。
    • ARCHIVED_REDO_LOGS_PATH：要儲存封存記錄檔的目錄路徑。
    • USER_NAME：要授予 READ 存取權的資料庫使用者名稱。

    如果您選取二進位記錄讀取器方法並使用資料庫目錄，則在建立串流時，需要提供重做記錄和封存記錄目錄名稱。

  2. 確認資料庫是以 ARCHIVELOG 模式運作。

    如要執行這項操作，請登入 Oracle 資料庫，並在 SQL 提示中執行下列指令：

    SELECT LOG_MODE FROM V$DATABASE;

    1. 如果結果是 ARCHIVELOG，請繼續下一個步驟。
    2. 如果結果是 NOARCHIVELOG，則必須為資料庫啟用 ARCHIVELOG 模式。

    3. 以 SYSDBA 身分登入後，執行下列指令：

      SHUTDOWN IMMEDIATE;
STARTUP MOUNT;
ALTER DATABASE ARCHIVELOG;
ALTER DATABASE OPEN;

    4. 封存的記錄檔會耗用磁碟空間，因此請為資料庫設定 DB_RECOVERY_FILE_DEST_SIZE 參數。使用這個參數指定目標資料庫復原檔案可使用的總空間硬性限制 (以位元組為單位)。設定這個參數後，您就能在保護資料庫免於磁碟空間不足，以及因記錄位置遺失而導致串流失敗之間，取得適當的平衡。

  3. 執行下列 Oracle Recovery Manager (RMAN) 指令，定義資料庫的資料保留政策： 

    TARGET /
CONFIGURE RETENTION POLICY TO RECOVERY WINDOW OF 4 DAYS;

    建議您至少保留 4 天的備份和封存記錄檔，最好是 7 天。

  4. 返回您用來設定 Oracle 記錄檔輪替政策的資料庫工具 SQL 提示。建議將記錄檔大小上限設為不超過 512 MB。

  5. 啟用增補記錄資料。如要這麼做，請先執行下列指令，啟用資料庫層級的最低增補記錄功能：

    ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;

    接著，選擇要為特定表格或整個資料庫啟用記錄功能。

    如要只記錄特定資料表的變更，請針對要複製的每個資料表執行下列指令：

    ALTER TABLE SCHEMA.TABLE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;

    更改下列內容：

    • SCHEMA：包含資料表的結構定義名稱。
    • TABLE：要記錄變更的資料表名稱。

    如要複製資料庫中的大部分或所有資料表，請考慮為整個資料庫啟用記錄。 執行下列指令，為整個資料庫啟用增補記錄檔資料：

    ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;

  6. 直接授予適當權限給用來連結資料庫的使用者帳戶。請注意，如果指派給角色，這些授權就不會生效。如需設定，請執行下列指令：

    GRANT SELECT ON GV_$LOG TO USER_NAME;
GRANT SELECT ON GV_$LOGFILE TO USER_NAME;
GRANT SELECT ON GV_$ARCHIVED_LOG TO USER_NAME;
GRANT SELECT ON GV_$INSTANCE TO USER_NAME;
GRANT SELECT ON GV_$STANDBY_LOG TO USER_NAME;
GRANT SELECT ON V_$INSTANCE TO USER_NAME;
GRANT SELECT ON V_$PDBS TO USER_NAME;
GRANT SELECT ON V_$TRANSPORTABLE_PLATFORM TO USER_NAME;
GRANT SELECT ON V_$DATABASE TO USER_NAME;
GRANT SELECT ON V_$PARAMETER TO USER_NAME;
GRANT SELECT ON COL$ TO USER_NAME;
GRANT SELECT ON DBA_OBJECTS TO USER_NAME;
GRANT SELECT ON DBA_TABLESPACES TO USER_NAME;
GRANT SELECT ON DBA_ENCRYPTED_COLUMNS TO USER_NAME;
GRANT SELECT ON DBA_EXTENTS TO USER_NAME;

GRANT CONNECT TO USER_NAME;
GRANT CREATE SESSION TO USER_NAME;
GRANT SELECT ANY TABLE TO USER_NAME;
GRANT READ ON DIRECTORY ONLINELOG_DIR TO USER_NAME;
GRANT READ ON DIRECTORY ARCHIVELOG_DIR TO USER_NAME;

    請將 USER_NAME 替換為您打算用來連線至資料庫的使用者帳戶名稱。

為 LogMiner 設定自行管理的 Oracle 資料庫

  1. 確認資料庫是以 ARCHIVELOG 模式運作。

    如要執行這項操作，請登入 Oracle 資料庫，然後在 SQL 提示中執行下列指令：

    SELECT LOG_MODE FROM V$DATABASE;

    1. 如果結果是 ARCHIVELOG，請繼續進行步驟 2。
    2. 如果結果是 NOARCHIVELOG，則必須為資料庫啟用 ARCHIVELOG 模式。

    3. 以 SYSDBA 身分登入後，執行下列指令：

      SHUTDOWN IMMEDIATE;
STARTUP MOUNT;
ALTER DATABASE ARCHIVELOG;
ALTER DATABASE OPEN;

    4. 封存的記錄檔會耗用磁碟空間，因此請為資料庫設定 DB_RECOVERY_FILE_DEST_SIZE 參數。使用這個參數指定目標資料庫復原檔案可使用的總空間硬性限制 (以位元組為單位)。設定這個參數後，您就能在保護資料庫免於磁碟空間不足，以及因記錄位置遺失而導致串流失敗之間，取得適當的平衡。

  2. 執行下列 Oracle Recovery Manager (RMAN) 指令，定義資料庫的資料保留政策： 

    TARGET /
CONFIGURE RETENTION POLICY TO RECOVERY WINDOW OF 4 DAYS;

    建議您至少保留 4 天的備份和封存記錄檔，最好是 7 天。

  3. 返回您用來設定 Oracle 記錄檔輪替政策的資料庫工具 SQL 提示。建議將記錄檔大小上限設為不超過 512 MB。

  4. 啟用增補記錄資料。如要這麼做，請先執行下列指令，啟用資料庫層級的最低增補記錄功能：

    ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;

    接著，選擇要為特定表格或整個資料庫啟用記錄功能。

    如要只記錄特定資料表的變更，請針對要複製的每個資料表執行下列指令：

    ALTER TABLE SCHEMA.TABLE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;

    更改下列內容：

    • SCHEMA：包含資料表的結構定義名稱。
    • TABLE：要記錄變更的資料表名稱。

    如要複製資料庫中的大部分或所有資料表，請考慮為整個資料庫啟用記錄。 執行下列指令，為整個資料庫啟用增補記錄檔資料：

    ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;

  5. 直接授予適當權限給用來連結資料庫的使用者帳戶。請注意，如果指派給角色，這些授權就不會生效。如需設定，請執行下列指令：

    GRANT EXECUTE_CATALOG_ROLE TO USER_NAME;
GRANT CONNECT TO USER_NAME;
GRANT CREATE SESSION TO USER_NAME;
GRANT SELECT ON SYS.V_$DATABASE TO USER_NAME;
GRANT SELECT ON SYS.V_$LOG TO USER_NAME; -- for primary databases
GRANT SELECT ON SYS.V_$STANDY_LOG TO USER_NAME; -- for standby databases
GRANT SELECT ON SYS.V_$LOGFILE TO USER_NAME;
GRANT SELECT ON SYS.V_$ARCHIVED_LOG TO USER_NAME;
GRANT SELECT ON SYS.V_$LOGMNR_CONTENTS TO USER_NAME;
GRANT SELECT ON SYS.V_$PARAMETER TO USER_NAME;
GRANT EXECUTE ON DBMS_LOGMNR TO USER_NAME;
GRANT EXECUTE ON DBMS_LOGMNR_D TO USER_NAME;
GRANT SELECT ANY TRANSACTION TO USER_NAME;
GRANT SELECT ANY TABLE TO USER_NAME;

    如果資料庫使用透明資料加密 (TDE)，請授予下列權限：

    GRANT SELECT ON DBA_TABLESPACES TO USER_NAME;
GRANT SELECT ON DBA_ENCRYPTED_COLUMNS TO USER_NAME;

    如果貴機構不允許授予 GRANT SELECT ANY TABLE 權限，請參閱 Datastream 常見問題頁面的「Oracle 變更資料擷取 (CDC)」一節。

    如果來源資料庫是 Oracle 12c 以上版本，則請額外授予下列權限：

    GRANT LOGMINING TO USER_NAME;

  6. 授予使用者帳戶SELECT資料庫中DBA_EXTENTS檢視畫面的存取權。這項權限可讓您對 Oracle 來源使用ROWID 型回填：

    GRANT SELECT ON DBA_EXTENTS TO USER_NAME;

後續步驟

  • 進一步瞭解 Datastream 如何與 Oracle 來源搭配運作。