將 MySQL 資料載入 BigQuery

您可以使用 MySQL 連接器的 BigQuery 資料移轉服務，將資料從 MySQL 載入 BigQuery。支援託管於內部部署環境、Cloud SQL，以及其他公有雲供應商 (例如 Amazon Web Services (AWS) 和 Microsoft Azure) 的 MySQL 執行個體。您可以使用 BigQuery 資料移轉服務，安排週期性移轉工作，將 MySQL 的最新資料新增至 BigQuery。

事前準備

必要的角色

如要為 Pub/Sub 設定移轉作業執行通知，請確認您擁有 pubsub.topics.setIamPolicy 身分與存取權管理 (IAM) 權限。如果您只想設定電子郵件通知，則不需要擁有 Pub/Sub 權限。詳情請參閱 BigQuery 資料移轉服務執行通知。

如要取得建立 MySQL 資料移轉作業所需的權限，請管理員授予您專案的 BigQuery 管理員 (roles/bigquery.admin) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和機構的存取權」。

這個預先定義的角色具備建立 MySQL 資料移轉作業所需的權限。如要查看確切的必要權限，請展開「必要權限」部分：

所需權限

如要建立 MySQL 資料移轉作業，必須具備下列權限：

  • bigquery.transfers.update
  • bigquery.datasets.get

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

網路連線數

如果 MySQL 資料庫連線沒有可用的公開 IP 位址，請務必設定網路附件。

如需必要網路設定的詳細操作說明，請參閱下列文件：

限制

MySQL 資料移轉作業有以下限制：

  • MySQL 資料庫的同時連線數量上限取決於 MySQL 設定參數 max_connections。預設值為 151 個連線，但可視需要設定更高的上限。因此，同時執行單一 MySQL 資料庫移轉作業的數量會受到限制。這項限制也表示，並行傳輸作業的數量應小於 MySQL 資料庫支援的並行連線數量上限。
  • 在 MySQL 中，部分資料類型會對應至 BigQuery 中的字串類型，避免資料遺失。舉例來說，MySQL 中定義的數值類型若沒有定義精確度和比例，就會對應至 BigQuery 中的字串類型。

將 MySQL 資料載入 BigQuery

選取下列選項之一：

控制台

  1. 前往「資料移轉」頁面。

    前往「資料移轉」

  2. 按一下 「建立移轉作業」。

  3. 在「Source type」(來源類型) 部分，「Source」(來源) 請選取「MySQL」。

  4. 在「Transfer config name」(轉移設定名稱) 部分，「Display name」(顯示名稱) 請輸入移轉作業的名稱。移轉作業名稱可以是任意值，日後需要修改移轉作業時能夠據此識別。

  5. 在「Schedule options」(排程選項) 部分執行下列操作：

    • 選取重複頻率。如果選取「小時」、「天」(預設)、「週」或「月」選項，必須一併指定頻率。您也可以選取「Custom」(自訂)，建立專屬的重複頻率。如果選取「On-demand」(隨選)，這項資料移轉作業會在您手動觸發後執行。
    • 視情況選取「立即開始」或「在所設時間開始執行」選項，並提供開始日期和執行時間。

  6. 在「Destination settings」(目的地設定) 部分，「Dataset」(資料集) 請選取您為了儲存資料而建立的資料集，或按一下「Create new dataset」(建立新資料集)，然後建立一個做為目的地資料集。

  7. 在「Data source details」(資料來源詳細資料) 部分執行下列操作：

    • 在「Network attachment」(網路連結) 部分選取現有的網路連結，或是點選「Create Network Attachment」(建立網路連結)。詳情請參閱本文的「網路連線」一節。
    • 在「Host」(主機) 部分，輸入 MySQL 資料庫伺服器的主機名稱或 IP 位址。
    • 在「Port number」(通訊埠編號) 部分，輸入 MySQL 資料庫伺服器的通訊埠編號。
    • 在「Database name」(資料庫名稱) 部分，輸入 MySQL 資料庫的名稱。
    • 在「Username」(使用者名稱) 部分，輸入啟動 MySQL 資料庫連線的 MySQL 使用者名稱。
    • 在「Password」(密碼) 部分，輸入啟動 MySQL 資料庫連線的 MySQL 使用者密碼。
    • 在「Encryption mode」部分，從選單中選取「Full」(完整)，在連線至 MySQL 資料庫時啟用完整 SSL 驗證。如果選取「Disable」(停用)，就不會進行 SSL 驗證。

    • 針對「要轉移的 MySQL 物件」，請執行下列其中一項操作：

      • 按一下「瀏覽」，選取移轉作業所需的 MySQL 資料表，然後按一下「選取」。
      • 手動輸入要轉移的 MySQL 物件中的資料表名稱。

    「建立移轉」頁面上的資料來源詳細資料

  8. 選用：在「服務帳戶」選單中，指定自訂服務帳戶來授權移轉。確認使用的服務帳戶具備所有必要角色和權限。 詳情請參閱將擁有權轉移給服務帳戶。

  9. 選用：在「Notification options」(通知選項) 專區，執行下列操作：

    • 如要啟用電子郵件通知，請點選「電子郵件通知」切換按鈕，將其設為開啟。啟用這個選項之後，若移轉失敗，移轉作業管理員就會收到電子郵件通知。
    • 如要為移轉作業設定 Pub/Sub 執行通知，請點選「Pub/Sub notifications」(Pub/Sub 通知) 切換按鈕，將其設為開啟。您可以選取主題名稱，或點選「Create a topic」(建立主題) 來建立主題。

  10. 按一下 [儲存]。

bq

輸入 bq mk 指令，並加上移轉建立標記 --transfer_config：

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

更改下列內容：

  • PROJECT_ID (選用)：您的 Google Cloud 專案 ID。 如未提供 --project_id 標記指定特定專案，系統會使用預設專案。
  • DATA_SOURCE：資料來源，即 mysql。
  • DISPLAY_NAME：資料移轉設定的顯示名稱。移轉作業名稱可以是任意值，日後需要修改移轉作業時，能夠據此識別即可。
  • DATASET：資料移轉設定的目標資料集。

  • PARAMETERS：已建立移轉設定的 JSON 格式參數。例如：--params='{"param":"param_value"}'。以下是 MySQL 轉移作業的參數：

    • networkAttachment (選用)：用於連線至 MySQL 資料庫的網路附件名稱。
    • connector.database：MySQL 資料庫的名稱。
    • connector.endpoint.host：資料庫的主機名稱或 IP 位址。
    • connector.endpoint.port：資料庫的通訊埠號碼。
    • connector.authentication.username：資料庫使用者的使用者名稱。
    • connector.authentication.password：資料庫使用者的密碼。 connector.connectionType
    • connector.connectionType (選用)：連線類型，用於判斷連線網址。這可以是 SERVICE、SID 或 TNS。如未提供，則預設為 SERVICE。
    • connector.encryptionMode：加密模式。連線至 MySQL 資料庫時，這可以是 FULL，代表進行完整 SSL 驗證，也可以是 DISABLE，代表不進行 SSL 驗證。
    • assets：要從 MySQL 資料庫轉移的 MySQL 資料表名稱清單。

舉例來說，下列指令會建立名為 My Transfer 的 MySQL 轉移作業：

bq mk
    --transfer_config
    --target_dataset=mydataset
    --data_source=mysql
    --display_name='My Transfer'
    --params='{"assets":["DB1/DEPARTMENT","DB1/EMPLOYEES"],
        "connector.authentication.username": "User1",
        "connector.authentication.password":"ABC12345",
        "connector.encryptionMode":"FULL",
        "connector.database":"DB1",
        "connector.endpoint.host":"54.74.220.23",
        "connector.endpoint.port":3306}'

API

請使用 projects.locations.transferConfigs.create 方法，並提供 TransferConfig 資源的執行個體。

資料類型對應

下表列出 MySQL 資料類型與對應 BigQuery 資料類型的對應關係。

MySQL 資料類型 BigQuery 資料類型
BIT BOOLEAN
TINYINT INTEGER
BOOL、BOOLEAN BOOLEAN
SMALLINT INTEGER
MEDIUMINT INTEGER
INT、INTEGER INTEGER
BIGINT BIGNUMERIC
FLOAT FLOAT
DOUBLE FLOAT
DECIMAL BIGNUMERIC
DATE DATE
DATETIME TIMESTAMP
TIMESTAMP TIMESTAMP
TIME TIME
YEAR DATE
CHAR STRING
VARCHAR STRING
BINARY BYTES
VARBINARY BYTES
TINYBLOB BYTES
TINYTEXT STRING
BLOB BYTES
TEXT STRING
MEDIUMBLOB BYTES
MEDIUMTEXT STRING
LONGBLOB BYTES
LONGTEXT STRING
ENUM STRING
SET STRING

疑難排解

如果您無法順利設定資料移轉作業，請參閱 MySQL 移轉問題。

後續步驟