管理資料表

這份文件說明如何在 BigQuery 中管理資料表。您可透過下列方式管理 BigQuery 資料表:

  • 更新資料表的:
    • 到期時間
    • 說明
    • 結構定義
    • 標籤
  • 重新命名 (複製) 資料表
  • 複製資料表
  • 刪除資料表
  • 還原已刪除的資料表

如需有關建立及使用資料表的詳細資訊,包括取得資料表資訊、列出資料表及控管資料表資料存取權等,請參閱建立與使用資料表一文。

更新資料表屬性

您可以更新資料表的:

所需權限

您至少必須擁有 bigquery.tables.updatebigquery.tables.get 權限,才能更新資料表。以下是擁有 bigquery.tables.updatebigquery.tables.get 權限的預先定義 Cloud IAM 角色:

  • bigquery.dataEditor
  • bigquery.dataOwner
  • bigquery.admin

此外,當擁有 bigquery.datasets.create 權限的使用者建立資料集時,就會獲得該資料集的 bigquery.dataOwner 存取權。 bigquery.dataOwner 存取權可讓使用者更新所建立資料集中的資料表屬性。

如要進一步瞭解 BigQuery 中的 Cloud IAM 角色和權限,請參閱存取權控管

更新資料表的說明

您可以透過以上方式更新資料表的說明:

  • 使用 GCP Console 或 BigQuery 傳統網頁版 UI
  • 使用 DDL ALTER TABLE 陳述式
  • 使用 bq update CLI 指令
  • 呼叫 tables.patch API 方法
  • 使用用戶端程式庫

如何更新資料表的說明:

主控台

當您使用 GCP Console 建立資料表時,無法新增說明。資料表建立完畢之後,您就可以在「Details」(詳細資料) 頁面中新增說明。

  1. 在「Resources」(資源) 窗格中,選取資料表。

  2. 在「Query editor」(查詢編輯器) 的下方,按一下 [Details] (詳細資料)。

    編輯資料表結構定義

  3. 在「Description」(說明) 區段中,按一下鉛筆圖示來編輯說明。

    編輯說明

  4. 在方塊中輸入說明,然後按一下 [Update] (更新) 即可儲存。

DDL

資料定義語言 (DDL) 陳述式可讓您使用標準 SQL 查詢語法建立和修改資料表及檢視表。

詳情請參閱使用資料定義語言陳述式一文。

如何在 GCP Console 中使用 DDL 陳述式來更新資料表的說明:

  1. 按一下 [Compose new query] (撰寫新查詢)

  2. 將您的 DDL 陳述式輸入到「Query editor」(查詢編輯器) 的文字區域。

     ALTER TABLE mydataset.mytable
     SET OPTIONS (
       description="Description of mytable"
     )
     

  3. 按一下 [Run] (執行)

傳統版 UI

  1. 在導覽窗格中,選取資料表。

  2. 在「Table Details」(資料表詳細資料) 頁面上,按一下 [Details] (詳細資料)

  3. 在「Description」(說明) 區段中,按一下 [Describe this table] 以開啟說明方塊。

  4. 在方塊中輸入說明。當您按一下方塊以外的地方時,系統就會儲存您輸入的文字。

    資料表說明

CLI

請發出 bq update 指令,同時加上 --description 標記。如果您要更新非預設專案中的資料表,請採用下列格式,將專案 ID 新增至該資料集的名稱:project_id:dataset

bq update \
--description "description" \
project_id:dataset.table

其中:

  • description:夾在兩個引號中,用來說明資料表的文字。
  • project_id:您的專案 ID。
  • dataset:資料集的名稱,該資料集包含您要更新的資料表。
  • table:您要更新之資料表的名稱。

範例:

輸入下列指令,將 mydataset 中的 mytable 的說明變更為「mytable 的說明」。mydataset 位於預設專案中。

bq update --description "Description of mytable" mydataset.mytable

輸入下列指令,將 mydataset 中的 mytable 說明變更為「mytable 的說明」。mydataset 位於 myotherproject 而非預設專案中。

bq update \
--description "Description of mytable" \
myotherproject:mydataset.mytable

API

請呼叫 tables.patch 方法,並使用資料表資源中的 description 屬性來更新資料表的說明。由於 tables.update 方法會取代整個資料表資源,因此我們建議您使用 tables.patch 方法。

Go

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 Go 設定說明進行操作。詳情請參閱 BigQuery Go API 參考說明文件

// To run this sample, you will need to create (or reuse) a context and
// an instance of the bigquery client.  For example:
// import "cloud.google.com/go/bigquery"
// ctx := context.Background()
// client, err := bigquery.NewClient(ctx, "your-project-id")
tableRef := client.Dataset(datasetID).Table(tableID)
meta, err := tableRef.Metadata(ctx)
if err != nil {
	return err
}
update := bigquery.TableMetadataToUpdate{
	Description: "Updated description.",
}
if _, err = tableRef.Update(ctx, update, meta.ETag); err != nil {
	return err
}

Java

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 Java 設定說明進行操作。詳情請參閱 BigQuery Java API 參考說明文件

// String datasetName = "my_dataset_name";
// String tableName = "my_table_name";
// String newDescription = "new_description";

Table beforeTable = bigquery.getTable(datasetName, tableName);
TableInfo tableInfo = beforeTable.toBuilder()
    .setDescription(newDescription)
    .build();
Table afterTable = bigquery.update(tableInfo);

Python

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 Python 設定說明進行操作。詳情請參閱 BigQuery Python API 參考說明文件

請設定 Table.description 屬性並呼叫 Client.update_table(),以便將更新內容傳送到 API。

# from google.cloud import bigquery
# client = bigquery.Client()
# table_ref = client.dataset('my_dataset').table('my_table')
# table = client.get_table(table_ref)  # API request

assert table.description == "Original description."
table.description = "Updated description."

table = client.update_table(table, ["description"])  # API request

assert table.description == "Updated description."

更新資料表的到期時間

您可以設定資料集層級的資料表預設到期時間,也可以在建立資料表時設定資料表的到期時間。資料表的到期時間通常稱為「存留時間」或 TTL。

如果您在建立資料表時設定了到期時間,系統將會忽略資料集的資料表預設到期時間。如果您未在資料集層級設定資料表的預設到期時間,也未在建立資料表時設定到期時間,則資料表將永遠不會過期,您必須以手動方式才能刪除

建立資料表後,您可以隨時透過以下方式更新資料表的到期時間:

  • 使用 GCP Console 或 BigQuery 傳統網頁版 UI
  • 使用 DDL ALTER TABLE 陳述式
  • 使用 CLI 的 bq update 指令
  • 呼叫 tables.patch API 方法
  • 使用用戶端程式庫

如要更新資料表的到期時間:

主控台

當您使用 GCP Console 建立資料表時,無法新增到期時間。資料表建立完畢之後,您就可以在「Details」(詳細資料) 頁面中新增或更新到期時間。

  1. 在「Resources」(資源) 窗格中,選取資料表。

  2. 在「Query editor」(查詢編輯器) 的下方,按一下 [Details] (詳細資料)。

  3. 按一下「Table info」(資料表資訊) 旁的鉛筆圖示。

  4. 針對「Table expiration」(資料表到期時間),選取 [Specify date] (指定日期)。然後使用日曆小工具選取到期日。

  5. 按一下 [Update] (更新) 即可儲存。已更新的到期時間會顯示在「Table info」(資料表資訊) 區段。

DDL

資料定義語言 (DDL) 陳述式可讓您使用標準 SQL 查詢語法建立和修改資料表及檢視表。

詳情請參閱使用資料定義語言陳述式一文。

如何在 GCP Console 中使用 DDL 陳述式來更新到期時間:

  1. 按一下 [Compose new query] (撰寫新查詢)

  2. 將您的 DDL 陳述式輸入到「Query editor」(查詢編輯器) 的文字區域。

     ALTER TABLE mydataset.mytable
     SET OPTIONS (
       -- Sets table expiration to timestamp 2025-02-03 12:34:56
       expiration_timestamp=TIMESTAMP "2025-02-03 12:34:56"
     )
     

  3. 按一下 [Run] (執行)

傳統版 UI

  1. 在導覽窗格中,選取資料表。

  2. 在「Table Details」(資料表詳細資料) 頁面上,按一下 [Details] (詳細資料)

  3. 針對「Expiration Time」(到期時間),按一下 [Edit] (編輯)

  4. 在「Update Expiration」(更新到期時間) 對話方塊中,按一下 [In] (資料表應於多久後到期),然後以天為單位輸入到期時間。

  5. 按一下 [OK]。已更新的到期時間會顯示在「Details」頁面上。

    資料表到期日

CLI

請發出 bq update 指令,同時加上 --expiration 標記。如果您要更新非預設專案中的資料表,請採用下列格式,將專案 ID 新增至該資料集的名稱:project_id:dataset

bq update \
--expiration integer \
project_id:dataset.table

其中:

  • integer:資料表的預設生命週期 (以秒為單位),最小值是 3600 秒 (1 小時)。到期時間就是目前時間加上這個整數值。如果您指定為 0,系統就會移除資料表到期時間,讓這個資料表永遠不會過期。沒有到期時間的資料表都必須手動刪除。
  • project_id:您的專案 ID。
  • dataset:資料集的名稱,該資料集包含您要更新的資料表。
  • table:您要更新之資料表的名稱。

範例:

輸入下列指令,將 mydatasetmytable 的到期時間更新為 5 天 (432000 秒)。mydataset 位於預設專案中。

bq update --expiration 432000 mydataset.mytable

輸入下列指令,將 mydatasetmytable 的到期時間更新為 5 天 (432000 秒)。mydataset 位於 myotherproject 中,而非預設專案中。

bq update --expiration 432000 myotherproject:mydataset.mytable

API

請呼叫 tables.patch 方法,並使用資料表資源中的 expirationTime 屬性來更新資料表的到期時間 (以秒為單位)。由於 tables.update 方法會取代整個資料表資源,因此我們建議您使用 tables.patch 方法。

Go

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 Go 設定說明進行操作。詳情請參閱 BigQuery Go API 參考說明文件

// To run this sample, you will need to create (or reuse) a context and
// an instance of the bigquery client.  For example:
// import "cloud.google.com/go/bigquery"
// ctx := context.Background()
// client, err := bigquery.NewClient(ctx, "your-project-id")
tableRef := client.Dataset(datasetID).Table(tableID)
meta, err := tableRef.Metadata(ctx)
if err != nil {
	return err
}
update := bigquery.TableMetadataToUpdate{
	ExpirationTime: time.Now().Add(time.Duration(5*24) * time.Hour), // table expiration in 5 days.
}
if _, err = tableRef.Update(ctx, update, meta.ETag); err != nil {
	return err
}

Java

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 Java 設定說明進行操作。詳情請參閱 BigQuery Java API 參考說明文件

Table beforeTable = bigquery.getTable(datasetName, tableName);

// Set table to expire 5 days from now.
long expirationMillis = DateTime.now().plusDays(5).getMillis();
TableInfo tableInfo = beforeTable.toBuilder()
        .setExpirationTime(expirationMillis)
        .build();
Table afterTable = bigquery.update(tableInfo);

Python

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 Python 設定說明進行操作。詳情請參閱 BigQuery Python API 參考說明文件

請設定 Table.expires 屬性並呼叫 Client.update_table(),以便將更新內容傳送到 API。

import datetime
import pytz

# from google.cloud import bigquery
# client = bigquery.Client()
# table_ref = client.dataset('my_dataset').table('my_table')
# table = client.get_table(table_ref)  # API request

assert table.expires is None

# set table to expire 5 days from now
expiration = datetime.datetime.now(pytz.utc) + datetime.timedelta(days=5)
table.expires = expiration
table = client.update_table(table, ["expires"])  # API request

# expiration is stored in milliseconds
margin = datetime.timedelta(microseconds=1000)
assert expiration - margin <= table.expires <= expiration + margin

更新資料表的結構定義

如需更新資料表結構定義的操作說明,請參閱修改資料表結構定義

重新命名資料表

目前,您無法變更現有資料表的名稱。如果需要變更資料表名稱,請依複製資料表一節中的步驟操作。當您在複製操作中指定目的地資料表時,請使用新資料表名稱。

複製資料表

您可以透過以下方式複製資料表:

  • 使用 GCP Console 或 BigQuery 傳統網頁版 UI
  • 使用指令列工具的 bq cp 指令
  • 呼叫 jobs.insert API 方法,並設定 copy 工作
  • 使用用戶端程式庫

所需權限

您至少必須擁有下列權限,才能複製資料表和分區。

在來源資料集上

  • bigquery.tables.get
  • bigquery.tables.getData

在目的地資料集上

  • bigquery.tables.create:用於在目的地資料集中建立資料表或分區復本

以下是擁有 bigquery.tables.createbigquery.tables.getbigquery.tables.getData 權限的預先定義 Cloud IAM 角色:

  • bigquery.dataEditor
  • bigquery.dataOwner
  • bigquery.admin

此外,您必須擁有 bigquery.jobs.create 權限,才能執行複製工作

以下是擁有 bigquery.jobs.create 權限的預先定義 Cloud IAM 角色:

  • bigquery.user
  • bigquery.jobUser
  • bigquery.admin

此外,當擁有 bigquery.datasets.create 權限的使用者建立資料集時,就會獲得該資料集的 bigquery.dataOwner 存取權。 bigquery.dataOwner 存取權可讓使用者複製資料集中的資料表和分區,但該使用者也需要目的地資料集的存取權,除非目的地資料集也是該使用者建立的。

如要進一步瞭解 BigQuery 中的 Cloud IAM 角色和權限,請參閱存取權控管

複製資料表的限制

資料表複製工作有下列限制:

  • 當您複製資料表時,目的地資料表的名稱必須遵循您建立資料表時所使用的命名慣例。
  • 資料表複製必須遵循 BigQuery 有關複製工作的配額政策
  • 若您使用 GCP Console 或傳統 BigQuery 網頁版 UI 複製資料表,則無法在目的地資料集覆寫現有資料表。目的地資料集裡的資料表名稱不得重複。
  • 複製資料表時,目的地資料集的所在位置必須與包含所複製資料表的資料集位置相同。例如,您無法將位於歐盟資料集的資料表複製並寫入到位於美國的資料集。
  • GCP Console 和傳統 BigQuery 網頁版 UI 不支援將多個來源資料表複製到單一目的地資料表。
  • 使用 CLI 或 API 複製多個來源資料表到單一目的地資料表時,所有來源資料表的結構定義都必須相同。

複製單一來源資料表

您可以透過以下方式複製單一資料表:

  • 使用 GCP Console 或 BigQuery 傳統網頁版 UI
  • 使用指令列工具的 bq cp 指令
  • 呼叫 jobs.insert API 方法、設定 copy 工作,然後指定 sourceTable 屬性
  • 使用用戶端程式庫

就單一複製工作而言,GCP Console 和 BigQuery 傳統網頁版 UI 都只支援一個來源資料表和一個目的地資料表。您必須使用指令列工具或 API,才能將多個來源檔案複製到目的地資料表。

如何複製單一來源資料表:

主控台

  1. 在「Resources」(資源) 窗格中,選取您要複製的資料表。

  2. 在「Query editor」(查詢編輯器) 的下方,按一下 [Copy table] (複製資料表)

  3. 在「Copy table」(複製資料表) 對話方塊中的「Destination」(目的地) 下方:

    • 針對「Project name」(專案名稱),選擇將用來儲存複製資料表的專案。
    • 針對「Dataset name」(資料集名稱),選取您要用來儲存已複製資料表的資料集。來源與目的地資料集必須位於相同的位置
    • 在「Table name」(資料表名稱) 部分,輸入新資料表的名稱。目的地資料集的資料表名稱不得重複。資料表名稱不得超過 1024 個字元,並且只能包含 a-z、A-Z、0-9 或 _ (底線字元)。您無法使用 GCP Console 覆寫目的地資料集中現有的資料表。
  4. 按一下 [Copy] (複製) 即可開始複製工作。

傳統版 UI

  1. 按一下您要複製的資料表旁的「顯示選單」圖示 向下箭號,然後按一下 [Copy Table] (複製資料表)。

  2. 在「Copy Table」(複製資料表) 對話方塊中:

    • 針對「Destination project」(目標專案),選擇將用來儲存已複製資料表的專案。
    • 針對「Destination dataset」(目的地資料集),選取您要用來儲存已複製資料表的資料集。來源與目的地資料集必須位於相同的位置
    • 針對「Destination table」(目的地表格),輸入新資料表的名稱。這個名稱在目的地資料集中必須是唯一的。資料表名稱不得超過 1024 個字元,並且只能包含 a-z、A-Z、0-9 或 _ (底線字元)。使用傳統 BigQuery 網頁版 UI 時,無法在目的地資料集中覆寫現有資料表。

      資料表複製

  3. 按一下 [OK] (確定) 即可開始複製工作。

CLI

請發出 bq cp 指令。您可以選擇使用標記來控制目的地資料表的寫入配置:

  • -a--append_table:把來源資料表的資料附加到目的地資料集中現有的資料表上。
  • -f--force:覆寫目的地資料集中現有的資料表,且不會提示您來確認。
  • -n--no_clobber:如果目的地資料集中已經有該資料表,則傳回下列錯誤訊息:Table 'project_id:dataset.table' already exists, skipping.如未指定 -n,預設行為就會是提示您選擇是否要取代目的地資料表。
  • --destination_kms_key:由客戶管理的 Cloud KMS 金鑰,可用來為目的地資料表加密。

本文不示範 --destination_kms_key。如要進一步瞭解這個標記的用法,請參閱使用 Cloud Key Management Service 金鑰保護資料

如果來源或目的地資料集不在預設專案中,請採用下列格式,將專案 ID 新增至該資料集的名稱:project_id:dataset

(選用) 請提供 --location 標記,並將其值設定為您的位置

bq --location=location cp \
-a -f -n \
project_id:dataset.source_table \
project_id:dataset.destination_table

其中:

  • location:您所在位置的名稱。--location 是選用標記。舉例來說,假設您是在東京地區使用 BigQuery,可將標記的值設為 asia-northeast1。您可以使用 .bigqueryrc 檔案,設定該位置的預設值。
  • project_id:您的專案 ID。
  • dataset:來源或目的地資料集的名稱。
  • source_table:您要複製的資料表。
  • destination_table:目的地資料集中資料表的名稱。

範例:

請輸入下列指令,將 mydataset.mytable 複製到 mydataset2.mytable2。這兩個資料集都在預設專案中。

bq cp mydataset.mytable mydataset2.mytable2

請輸入下列指令來複製 mydataset.mytable,並覆寫有相同名稱的目的地資料表。來源資料集位於預設專案中。目的地資料集位於 myotherproject 中。-f 捷徑是用來在不提示您的情況下覆寫目的地資料表。

bq cp -f \
mydataset.mytable \
myotherproject:myotherdataset.mytable

請輸入下列指令來複製 mydataset.mytable,並在目的地資料集有相同名稱的資料表時傳回錯誤。來源資料集位於預設專案中。目的地資料集位於 myotherproject 中。-n 捷徑是用來防止有相同名稱的資料表遭到覆寫。

bq cp -n \
mydataset.mytable \
myotherproject:myotherdataset.mytable

請輸入下列指令來複製 mydataset.mytable,並將資料附加到有相同名稱的目的地資料表。來源資料集位於預設專案中。目的地資料集位於 myotherproject 中。- a 捷徑是用來附加到目的地資料表。

bq cp -a mydataset.mytable myotherproject:myotherdataset.mytable

API

您可以使用 API 複製現有的資料表,方法是呼叫 bigquery.jobs.insert 方法,然後設定 copy 工作。請前往工作資源jobReference 區段,並在 location 屬性中指定您的位置。

您必須在工作設定中指定下列的值:

"copy": {
      "sourceTable": {       // Required
        "projectId": string, // Required
        "datasetId": string, // Required
        "tableId": string    // Required
      },
      "destinationTable": {  // Required
        "projectId": string, // Required
        "datasetId": string, // Required
        "tableId": string    // Required
      },
      "createDisposition": string,  // Optional
      "writeDisposition": string,   // Optional
    },

其中 sourceTable 會提供您要複製的資料表相關資訊、destinationTable 會提供新資料表的相關資訊、createDisposition 會指定在資料表不存在時是否要新增資料表,而 writeDisposition 會指定是否要對現有資料表執行覆寫或附加作業。

C#

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 C# 設定說明進行操作。詳情請參閱 BigQuery C# API 參考說明文件


using Google.Apis.Bigquery.v2.Data;
using Google.Cloud.BigQuery.V2;
using System;

public class BigQueryCopyTable
{
    public void CopyTable(
        string projectId = "your-project-id",
        string destinationDatasetId = "your_dataset_id"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        TableReference sourceTableRef = new TableReference()
        {
            TableId = "shakespeare",
            DatasetId = "samples",
            ProjectId = "bigquery-public-data"
        };
        TableReference destinationTableRef = client.GetTableReference(
            destinationDatasetId, "destination_table");
        BigQueryJob job = client.CreateCopyJob(
            sourceTableRef, destinationTableRef)
            .PollUntilCompleted();  // Wait for the job to complete.
        // Retrieve destination table
        BigQueryTable destinationTable = client.GetTable(destinationTableRef);
        Console.WriteLine(
            $"Copied {destinationTable.Resource.NumRows} rows from table "
            + $"{sourceTableRef.DatasetId}.{sourceTableRef.TableId} "
            + $"to {destinationTable.FullyQualifiedId}."
        );
    }
}

Go

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 Go 設定說明進行操作。詳情請參閱 BigQuery Go API 參考說明文件

// To run this sample, you will need to create (or reuse) a context and
// an instance of the bigquery client.  For example:
// import "cloud.google.com/go/bigquery"
// ctx := context.Background()
// client, err := bigquery.NewClient(ctx, "your-project-id")
dataset := client.Dataset(datasetID)
copier := dataset.Table(dstID).CopierFrom(dataset.Table(srcID))
copier.WriteDisposition = bigquery.WriteTruncate
job, err := copier.Run(ctx)
if err != nil {
	return err
}
status, err := job.Wait(ctx)
if err != nil {
	return err
}
if err := status.Err(); err != nil {
	return err
}

Java

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 Java 設定說明進行操作。詳情請參閱 BigQuery Java API 參考說明文件

TableId destinationId = TableId.of(dataset, tableName);
JobOption options = JobOption.fields(JobField.STATUS, JobField.USER_EMAIL);
Job job = table.copy(destinationId, options);
// Wait for the job to complete.
try {
  Job completedJob =
      job.waitFor(
          RetryOption.initialRetryDelay(Duration.ofSeconds(1)),
          RetryOption.totalTimeout(Duration.ofMinutes(3)));
  if (completedJob != null && completedJob.getStatus().getError() == null) {
    // Job completed successfully.
  } else {
    // Handle error case.
  }
} catch (InterruptedException e) {
  // Handle interrupted wait
}

Node.js

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 Node.js 設定說明進行操作。詳情請參閱 BigQuery Node.js API 參考說明文件

// Import the Google Cloud client library and create a client
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function copyTable() {
  // Copies src_dataset:src_table to dest_dataset:dest_table.

  /**
   * TODO(developer): Uncomment the following lines before running the sample
   */
  // const srcDatasetId = "my_src_dataset";
  // const srcTableId = "my_src_table";
  // const destDatasetId = "my_dest_dataset";
  // const destTableId = "my_dest_table";

  // Copy the table contents into another table
  const [job] = await bigquery
    .dataset(srcDatasetId)
    .table(srcTableId)
    .copy(bigquery.dataset(destDatasetId).table(destTableId));

  console.log(`Job ${job.id} completed.`);

  // Check the job's status for errors
  const errors = job.status.errors;
  if (errors && errors.length > 0) {
    throw errors;
  }
}

PHP

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 PHP 設定說明進行操作。詳情請參閱 BigQuery PHP API 參考說明文件

use Google\Cloud\BigQuery\BigQueryClient;
use Google\Cloud\Core\ExponentialBackoff;

/** Uncomment and populate these variables in your code */
// $projectId = 'The Google project ID';
// $datasetId = 'The BigQuery dataset ID';
// $sourceTableId   = 'The BigQuery table ID to copy from';
// $destinationTableId = 'The BigQuery table ID to copy to';

$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$dataset = $bigQuery->dataset($datasetId);
$sourceTable = $dataset->table($sourceTableId);
$destinationTable = $dataset->table($destinationTableId);
$copyConfig = $sourceTable->copy($destinationTable);
$job = $sourceTable->runJob($copyConfig);

// poll the job until it is complete
$backoff = new ExponentialBackoff(10);
$backoff->execute(function () use ($job) {
    print('Waiting for job to complete' . PHP_EOL);
    $job->reload();
    if (!$job->isComplete()) {
        throw new Exception('Job has not yet completed', 500);
    }
});
// check if the job has errors
if (isset($job->info()['status']['errorResult'])) {
    $error = $job->info()['status']['errorResult']['message'];
    printf('Error running job: %s' . PHP_EOL, $error);
} else {
    print('Table copied successfully' . PHP_EOL);
}

Python

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 Python 設定說明進行操作。詳情請參閱 BigQuery Python API 參考說明文件

# from google.cloud import bigquery
# client = bigquery.Client()

source_dataset = client.dataset("samples", project="bigquery-public-data")
source_table_ref = source_dataset.table("shakespeare")

# dataset_id = 'my_dataset'
dest_table_ref = client.dataset(dataset_id).table("destination_table")

job = client.copy_table(
    source_table_ref,
    dest_table_ref,
    # Location must match that of the source and destination tables.
    location="US",
)  # API request

job.result()  # Waits for job to complete.

assert job.state == "DONE"
dest_table = client.get_table(dest_table_ref)  # API request
assert dest_table.num_rows > 0

複製多個來源資料表

您可以透過以下方式將多個來源資料表複製到目的地資料表:

  • 使用指令列工具的 bq cp 指令
  • 呼叫 jobs.insert 方法、設定 copy 工作,然後指定 sourceTables 屬性
  • 使用用戶端程式庫

所有來源資料表都必須擁有相同的結構定義,且只能有一個目的地資料表。

來源資料表必須指定為逗號分隔的清單。複製多個來源資料表時不可使用萬用字元。

如何複製多個來源資料表:

主控台

GCP Console 目前不支援複製多個資料表的功能。

傳統版 UI

BigQuery 傳統網頁版 UI 目前不支援複製多個資料表的功能。

CLI

請發出 bq cp 指令,並以逗號分隔清單的形式來納入多個來源資料表。 選用標記可用來控管目的地資料表的寫入配置:

  • -a--append_table:把來源資料表的資料附加到目的地資料集中現有的資料表上。
  • -f--force:覆寫目的地資料集中現有的資料表,且不會提示您來確認。
  • -n--no_clobber:如果目的地資料集中已經有該資料表,則傳回下列錯誤訊息:Table 'project_id:dataset.table' already exists, skipping. 如未指定 -n,預設行為就會是提示您選擇是否要取代目的地資料表。
  • --destination_kms_key:由客戶管理的 Cloud Key Management Service 金鑰,可用來為目的地資料表加密。

本文不示範 --destination_kms_key。如要進一步瞭解這個標記的用法,請參閱使用 Cloud Key Management Service 金鑰保護資料

如果來源或目的地資料集不在預設專案中,請採用下列格式,將專案 ID 新增至該資料集的名稱:project_id:dataset

(選用) 請提供 --location 標記,並將其值設定為您的位置

bq --location=location cp \
-a -f -n \
project_id:dataset.source_table,project_id:dataset.source_table \
project_id:dataset.destination_table

其中:

  • location:您所在位置的名稱。--location 是選用標記。舉例來說,假設您是在東京地區使用 BigQuery,可將標記的值設為 asia-northeast1。您可以使用 .bigqueryrc 檔案,設定該位置的預設值。
  • project_id:您的專案 ID。
  • dataset:來源或目的地資料集的名稱。
  • source_table:您要複製的資料表。
  • destination_table:目的地資料集中資料表的名稱。

範例:

請輸入下列指令,將 mydataset.mytablemydataset.mytable2 複製到 mydataset2.tablecopy。這兩個資料集都在預設專案中。

bq cp \
mydataset.mytable,mydataset.mytable2 \
mydataset2.tablecopy

請輸入下列指令,將 mydataset.mytablemydataset.mytable2 複製到 myotherdataset.mytable,並覆寫有相同名稱的目的地資料表。目的地資料集位於 myotherproject,而非預設專案中。-f 捷徑是用來在不提示您的情況下覆寫目的地資料表。

bq cp -f \
mydataset.mytable,mydataset.mytable2 \
myotherproject:myotherdataset.mytable

請輸入下列指令來複製 myproject:mydataset.mytablemyproject:mydataset.mytable2,並在目的地資料集有相同名稱的資料表時傳回錯誤。目的地資料集位於 myotherproject 中。-n 捷徑是用來防止有相同名稱的資料表遭到覆寫。

bq cp -n \
myproject:mydataset.mytable,myproject:mydataset.mytable2 \
myotherproject:myotherdataset.mytable

請輸入下列指令來複製 mydataset.mytablemydataset.mytable2,並將資料附加到有相同名稱的目的地資料表。來源資料集位於預設專案中。目的地資料集位於 myotherproject 中。-a 捷徑是用來附加到目的地資料表。

bq cp -a \
mydataset.mytable,mydataset.mytable2 \
myotherproject:myotherdataset.mytable

API

如要使用 API 複製多個資料表,請呼叫 jobs.insert 方法、設定資料表 copy 工作,然後指定 sourceTables 屬性。

請前往工作資源jobReference 區段,並在 location 屬性中指定您的地區。

Go

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 Go 設定說明進行操作。詳情請參閱 BigQuery Go API 參考說明文件

// To run this sample, you will need to create (or reuse) a context and
// an instance of the bigquery client.  For example:
// import "cloud.google.com/go/bigquery"
// ctx := context.Background()
// client, err := bigquery.NewClient(ctx, "your-project-id")
dataset := client.Dataset(datasetID)

srcTableIDs := []string{"table1", "table2"}
var tableRefs []*bigquery.Table
for _, v := range srcTableIDs {
	tableRefs = append(tableRefs, dataset.Table(v))
}
copier := dataset.Table(dstTableID).CopierFrom(tableRefs...)
copier.WriteDisposition = bigquery.WriteTruncate
job, err := copier.Run(ctx)
if err != nil {
	return err
}
status, err := job.Wait(ctx)
if err != nil {
	return err
}
if err := status.Err(); err != nil {
	return err
}

Java

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 Java 設定說明進行操作。詳情請參閱 BigQuery Java API 參考說明文件

TableId destinationTable = TableId.of(datasetId, destinationTableId);
CopyJobConfiguration configuration =
    CopyJobConfiguration.newBuilder(
        destinationTable,
        Arrays.asList(
            TableId.of(datasetId, "table1"),
            TableId.of(datasetId, "table2")))
    .build();

// Copy the tables.
Job job = bigquery.create(JobInfo.of(configuration));
job = job.waitFor();

// Check the table
StandardTableDefinition table = bigquery.getTable(destinationTable).getDefinition();
System.out.println("State: " + job.getStatus().getState());
System.out.printf("Copied %d rows.\n", table.getNumRows());

Python

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 Python 設定說明進行操作。詳情請參閱 BigQuery Python API 參考說明文件

# from google.cloud import bigquery
# client = bigquery.Client()
# source_dataset_id = 'my_source_dataset'
# dest_dataset_id = 'my_destination_dataset'

table1_ref = client.dataset(source_dataset_id).table("table1")
table2_ref = client.dataset(source_dataset_id).table("table2")
dest_table_ref = client.dataset(dest_dataset_id).table("destination_table")

job = client.copy_table(
    [table1_ref, table2_ref],
    dest_table_ref,
    # Location must match that of the source and destination tables.
    location="US",
)  # API request
job.result()  # Waits for job to complete.

assert job.state == "DONE"
dest_table = client.get_table(dest_table_ref)  # API request
assert dest_table.num_rows > 0

刪除資料表

您可以透過以下方式刪除資料表:

  • 使用 GCP Console 或 BigQuery 傳統網頁版 UI
  • 使用指令列工具的 bq rm 指令
  • 呼叫 tables.delete API 方法
  • 使用用戶端程式庫

目前,您一次只能刪除一個資料表。

當您刪除資料表時,該資料表中的所有資料也會遭到刪除。如要讓系統在指定時間後自動刪除資料表,請設定資料集的預設資料表到期時間,或是在建立資料表時設定到期時間。

所需權限

您至少必須擁有 bigquery.tables.deletebigquery.tables.get 權限,才能刪除資料表。以下是擁有 bigquery.tables.deletebigquery.tables.get 權限的預先定義 Cloud IAM 角色:

  • bigquery.dataOwner
  • bigquery.dataEditor
  • bigquery.admin

此外,當擁有 bigquery.datasets.create 權限的使用者建立資料集時,就會獲得該資料集的 bigquery.dataOwner 存取權。 bigquery.dataOwner 存取權可讓使用者刪除資料集中的資料表。

如要進一步瞭解 BigQuery 中的 Cloud IAM 角色和權限,請參閱存取權控管

刪除資料表

如何刪除資料表:

主控台

  1. 從「Resources」(資源) 窗格中選取資料表。在「Query editor」(查詢編輯器) 的下方,按一下 [Delete table] (刪除資料表)

  2. 在對話方塊中輸入資料表名稱,然後按一下 [Delete] (刪除) 來確認。

傳統版 UI

  1. 按一下導覽列中資料表名稱旁的向下箭號圖示 向下箭號圖示,然後按一下 [Delete table] (刪除資料表)

  2. 在系統提示時,按一下 [OK] (確定) 來確認。

CLI

請使用 bq rm 指令,同時加上 --table 標記 (或 -t 捷徑) 以刪除資料表。當您使用 CLI 移除資料表時,必須確認這個動作。您可使用 --force 標記 (或 -f 捷徑) 來略過確認程序。

如果該資料表不在預設專案的資料集中,請採用下列格式,將專案 ID 新增至該資料集的名稱:project_id:dataset

bq rm \
-f \
-t \
project_id:dataset.table

其中:

  • project_id:您的專案 ID。
  • dataset:資料表所屬資料集的名稱。
  • table:您要刪除之資料表的名稱。

範例:

請輸入下列指令,以便刪除 mydataset 中的 mytablemydataset 位於預設專案中。

bq rm -t mydataset.mytable

請輸入下列指令,以便刪除 mydataset 中的 mytablemydataset 位於 myotherproject,而非預設專案中。

bq rm -t myotherproject:mydataset.mytable

請輸入下列指令,以便刪除 mydataset 中的 mytablemydataset 位於預設專案中。這個指令使用 -f 捷徑來略過確認程序。

bq rm -f -t mydataset.mytable

API

請呼叫 tables.delete API 方法,並使用 tableId 參數指定您要刪除的資料表。

C#

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 C# 設定說明進行操作。詳情請參閱 BigQuery C# API 參考說明文件


using Google.Cloud.BigQuery.V2;
using System;

public class BigQueryDeleteTable
{
    public void DeleteTable(
        string projectId = "your-project-id",
        string datasetId = "your_dataset_id",
        string tableId = "your_table_id"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        client.DeleteTable(datasetId, tableId);
        Console.WriteLine($"Table {tableId} deleted.");
    }
}

Go

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 Go 設定說明進行操作。詳情請參閱 BigQuery Go API 參考說明文件

// To run this sample, you will need to create (or reuse) a context and
// an instance of the bigquery client.  For example:
// import "cloud.google.com/go/bigquery"
// ctx := context.Background()
// client, err := bigquery.NewClient(ctx, "your-project-id")
table := client.Dataset(datasetID).Table(tableID)
if err := table.Delete(ctx); err != nil {
	return err
}

Java

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 Java 設定說明進行操作。詳情請參閱 BigQuery Java API 參考說明文件

TableId tableId = TableId.of(projectId, datasetName, tableName);
boolean deleted = bigquery.delete(tableId);
if (deleted) {
  // the table was deleted
} else {
  // the table was not found
}

Node.js

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 Node.js 設定說明進行操作。詳情請參閱 BigQuery Node.js API 參考說明文件

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function deleteTable() {
  // Deletes "my_table" from "my_dataset".

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = "my_dataset";
  // const tableId = "my_table";

  // Delete the table
  await bigquery
    .dataset(datasetId)
    .table(tableId)
    .delete();

  console.log(`Table ${tableId} deleted.`);
}

PHP

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 PHP 設定說明進行操作。詳情請參閱 BigQuery PHP API 參考說明文件

use Google\Cloud\BigQuery\BigQueryClient;

/** Uncomment and populate these variables in your code */
// $projectId = 'The Google project ID';
// $datasetId = 'The BigQuery dataset ID';
// $tableId = 'The BigQuery table ID';

$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$dataset = $bigQuery->dataset($datasetId);
$table = $dataset->table($tableId);
$table->delete();
printf('Deleted table %s.%s' . PHP_EOL, $datasetId, $tableId);

Python

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 Python 設定說明進行操作。詳情請參閱 BigQuery Python API 參考說明文件

from google.cloud import bigquery

# TODO(developer): Construct a BigQuery client object.
# client = bigquery.Client()

# TODO(developer): Set table_id to the ID of the table to fetch.
# table_id = 'your-project.your_dataset.your_table'

# If the table does not exist, delete_table raises
# google.api_core.exceptions.NotFound unless not_found_ok is True
client.delete_table(table_id, not_found_ok=True)
print("Deleted table '{}'.".format(table_id))

Ruby

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 Ruby 設定說明進行操作。詳情請參閱 BigQuery Ruby API 參考說明文件

require "google/cloud/bigquery"

def delete_table dataset_id = "my_dataset_id", table_id = "my_table_id"
  bigquery = Google::Cloud::Bigquery.new
  dataset  = bigquery.dataset dataset_id
  table    = dataset.table table_id

  table.delete

  puts "Table #{table_id} deleted."
end

還原已刪除的資料表

您可以還原在過去 2 天內刪除的資料表。只要使用快照修飾符功能,就可以參照刪除事件發生前的資料表,然後複製這個資料表。但請注意下列事項:

  • 如果您已經在已刪除資料表所屬的資料集中,建立與該資料表同名的新資料表,您就無法參照已刪除的資料表。

  • 如果您已經刪除了已刪除資料表所屬的資料集,還建立了與該資料集同名的新資料集,您就無法參照已刪除的資料表。

還原已刪除的資料表

您可以透過下列方式還原已刪除的資料表:

  • 在 CLI 中使用 @<time> 快照修飾符
  • 使用用戶端程式庫

主控台

您無法使用 GCP Console 還原已刪除的資料表。

傳統版 UI

您無法使用傳統網頁版 UI 還原已刪除的資料表。

CLI

如要使用舊版 SQL 還原已刪除的資料表,請使用 @<time> 快照修飾符。首先,請選取資料表存在期間的任一 UNIX 時間戳記 (以毫秒為單位)。然後,將這個時間戳記的資料表複製到新資料表。新資料表的名稱必須與已刪除資料表的名稱不同。

(選用) 請提供 --location 標記,並將其值設定為您的位置

舉例來說,請輸入下列指令,將時間為 1418864998000mydataset.mytable 複製到新的資料表 mydataset.newtable 中。

bq cp mydataset.mytable@1418864998000 mydataset.newtable

詳情請參閱舊版 SQL 中的資料表修飾符

Go

// To run this sample, you will need to create (or reuse) a context and
// an instance of the bigquery client.  For example:
// import "cloud.google.com/go/bigquery"
// ctx := context.Background()
// client, err := bigquery.NewClient(ctx, "your-project-id")

ds := client.Dataset(datasetID)
if _, err := ds.Table(tableID).Metadata(ctx); err != nil {
	return err
}
// Record the current time.  We'll use this as the snapshot time
// for recovering the table.
snapTime := time.Now()

// "Accidentally" delete the table.
if err := client.Dataset(datasetID).Table(tableID).Delete(ctx); err != nil {
	return err
}

// Construct the restore-from tableID using a snapshot decorator.
snapshotTableID := fmt.Sprintf("%s@%d", tableID, snapTime.UnixNano()/1e6)
// Choose a new table ID for the recovered table data.
recoverTableID := fmt.Sprintf("%s_recovered", tableID)

// Construct and run a copy job.
copier := ds.Table(recoverTableID).CopierFrom(ds.Table(snapshotTableID))
copier.WriteDisposition = bigquery.WriteTruncate
job, err := copier.Run(ctx)
if err != nil {
	return err
}
status, err := job.Wait(ctx)
if err != nil {
	return err
}
if err := status.Err(); err != nil {
	return err
}

Java

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 Java 設定說明進行操作。詳情請參閱 BigQuery Java API 參考說明文件

// String datasetId = "my_dataset";
String tableId = "oops_undelete_me";

// Record the current time.  We'll use this as the snapshot time
// for recovering the table.
long snapTime = Instant.now().getMillis();

// "Accidentally" delete the table.
bigquery.delete(TableId.of(datasetId, tableId));

// Construct the restore-from tableID using a snapshot decorator.
String snapshotTableId = String.format("%s@%d", tableId, snapTime);
// Choose a new table ID for the recovered table data.
String recoverTableId = String.format("%s_recovered", tableId);

// Construct and run a copy job.
CopyJobConfiguration configuration =
    CopyJobConfiguration.newBuilder(
        TableId.of(datasetId, recoverTableId),
        TableId.of(datasetId, snapshotTableId))
    .build();
Job job = bigquery.create(JobInfo.of(configuration));
job = job.waitFor();

// Check the table
StandardTableDefinition table = bigquery.getTable(
        TableId.of(datasetId, recoverTableId)).getDefinition();
System.out.println("State: " + job.getStatus().getState());
System.out.printf("Recovered %d rows.\n", table.getNumRows());

Python

在試行此示例之前,請至 BigQuery 快速入門導覽課程:使用用戶端程式庫,按照 Python 設定說明進行操作。詳情請參閱 BigQuery Python API 參考說明文件

# TODO(developer): Uncomment the lines below and replace with your values.
# import time
# from google.cloud import bigquery
# client = bigquery.Client()
# dataset_id = 'my_dataset'  # Replace with your dataset ID.
# table_id = 'my_table'      # Replace with your table ID.

table_ref = client.dataset(dataset_id).table(table_id)

# TODO(developer): Choose an appropriate snapshot point as epoch
# milliseconds. For this example, we choose the current time as we're about
# to delete the table immediately afterwards.
snapshot_epoch = int(time.time() * 1000)

# "Accidentally" delete the table.
client.delete_table(table_ref)  # API request

# Construct the restore-from table ID using a snapshot decorator.
snapshot_table_id = "{}@{}".format(table_id, snapshot_epoch)
source_table_ref = client.dataset(dataset_id).table(snapshot_table_id)

# Choose a new table ID for the recovered table data.
recovered_table_id = "{}_recovered".format(table_id)
dest_table_ref = client.dataset(dataset_id).table(recovered_table_id)

# Construct and run a copy job.
job = client.copy_table(
    source_table_ref,
    dest_table_ref,
    # Location must match that of the source and destination tables.
    location="US",
)  # API request

job.result()  # Waits for job to complete.

print(
    "Copied data from deleted table {} to {}".format(table_id, recovered_table_id)
)

後續步驟

本頁內容對您是否有任何幫助?請提供意見:

傳送您對下列選項的寶貴意見...

這個網頁
需要協助嗎?請前往我們的支援網頁