批量加载数据

您可以将 Cloud Storage 中的数据或本地文件作为批量操作加载到 BigQuery 中。源数据可以采用以下任一格式：

• Avro
• 英文逗号分隔值 (CSV)
• JSON（以换行符分隔）
• ORC
• Parquet
• 存储在 Cloud Storage 中的 Datastore 导出文件。
• 存储在 Cloud Storage 中的 Firestore 导出文件

您还可以使用 BigQuery Data Transfer Service 设置从 Cloud Storage 到 BigQuery 的周期性加载作业。

自行试用

如果您是 Google Cloud 新手，请创建一个账号来评估 BigQuery 在实际场景中的表现。新客户还可获享 $300 赠金，用于运行、测试和部署工作负载。

免费试用 BigQuery

准备工作

授予为用户提供执行本文档中的每个任务所需权限的 Identity and Access Management (IAM) 角色，并创建一个数据集来存储您的数据。

所需权限

如需将数据加载到 BigQuery，您需要拥有 IAM 权限才能运行加载作业以及将数据加载到 BigQuery 表和分区中。如果要从 Cloud Storage 加载数据，您还需要拥有访问包含数据的存储桶的 IAM 权限。

将数据加载到 BigQuery 的权限

如需将数据加载到新的 BigQuery 表或分区中，或者附加或覆盖现有的表或分区，您需要拥有以下 IAM 权限：

• bigquery.tables.create
• bigquery.tables.updateData
• bigquery.tables.update
• bigquery.jobs.create

以下预定义 IAM 角色都具有将数据加载到 BigQuery 表或分区所需的权限：

• roles/bigquery.dataEditor
• roles/bigquery.dataOwner
• roles/bigquery.admin（包括 bigquery.jobs.create 权限）
• bigquery.user（包括 bigquery.jobs.create 权限）
• bigquery.jobUser（包括 bigquery.jobs.create 权限）

此外，如果您拥有 bigquery.datasets.create 权限，则可以在自己创建的数据集中使用加载作业创建和更新表。

如需详细了解 BigQuery 中的 IAM 角色和权限，请参阅预定义的角色和权限。

从 Cloud Storage 加载数据的权限

如需获得从 Cloud Storage 存储桶加载数据所需的权限，请让您的管理员为您授予存储桶的 Storage Admin (roles/storage.admin) IAM 角色。如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

此预定义角色可提供从 Cloud Storage 存储桶加载数据所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

如需从 Cloud Storage 存储桶加载数据，您需要具备以下权限：

• storage.buckets.get
• storage.objects.get
• storage.objects.list (required if you are using a URI wildcard)

您也可以使用自定义角色或其他预定义角色来获取这些权限。

创建数据集

创建 BigQuery 数据集来存储数据。

从 Cloud Storage 加载数据

BigQuery 支持从以下任意一种 Cloud Storage 存储类别加载数据：

• 标准
• Nearline
• Coldline
• 归档

如需了解如何将数据加载到 BigQuery 中，请参阅数据格式页面：

• CSV
• JSON
• Avro
• Parquet
• ORC
• Datastore 导出文件
• Firestore 导出文件

如需了解如何配置从 Cloud Storage 到 BigQuery 的周期性负载，请参阅 Cloud Storage 转移作业。

位置注意事项

从 Cloud Storage 加载数据时，您加载的数据必须与 BigQuery 数据集位于同一位置。

• 如果 BigQuery 数据集位于 US 多区域，则您可以从位于任何位置的 Cloud Storage 存储桶加载数据。

• 多区域存储桶：如果您要从中加载数据的 Cloud Storage 存储桶位于多区域存储桶，则您的 BigQuery 数据集可以位于同一多区域存储桶或同一多区域存储桶中包含的任何单区域。例如，如果 Cloud Storage 存储桶位于 EU 区域，则您的 BigQuery 数据集可以位于 EU 多区域或 EU 中的任何单区域。

• 双区域存储桶：如果您要从中加载数据的 Cloud Storage 存储桶位于双区域存储桶，则您的 BigQuery 数据集可以位于该双区域存储桶中包含的区域，或包含该双区域的多区域。例如，如果您的 Cloud Storage 存储桶位于 EUR4 区域，则您的 BigQuery 数据集可以位于芬兰 (europe-north1) 单区域、荷兰 (europe-west4) 单区域或 EU 多区域。

• 单区域存储桶：如果您要从中加载数据的 Cloud Storage 存储桶位于单区域，则您的 BigQuery 数据集可以位于同一单区域，或包含该单区域的多区域。例如，如果您的 Cloud Storage 存储桶位于芬兰 (europe-north1) 区域，则您的 BigQuery 数据集可以位于芬兰或 EU 多区域。

• 一个例外情况是，如果您的 BigQuery 数据集位于 asia-northeast1 区域，则您的 Cloud Storage 存储桶可以位于 EU 多区域。

如需详细了解 Cloud Storage 位置，请参阅 Cloud Storage 文档中的存储桶位置。

您无法在创建数据集后更改其位置，但可以复制数据集或手动移动数据集。如需了解详情，请参阅：

• 复制数据集
• 移动数据集

检索 Cloud Storage URI

要从 Cloud Storage 数据源加载数据，您必须提供 Cloud Storage URI。

Cloud Storage 资源路径包含存储桶名称和对象（文件名）。例如，如果 Cloud Storage 存储桶的名称为 mybucket，且数据文件的名称为 myfile.csv，则资源路径为 gs://mybucket/myfile.csv。

BigQuery 不支持 Cloud Storage 资源路径在初始双斜杠之后添加多个连续斜杠。Cloud Storage 对象名称可包含多个连续斜杠（“/”）字符。但是，BigQuery 会将多个连续斜杠转换为单个斜杠。例如，虽然以下资源路径在 Cloud Storage 中有效，但在 BigQuery 中无效：gs://bucket/my//object//name。

如需检索 Cloud Storage 资源路径，请执行以下操作：

1. 打开 Cloud Storage 控制台

   Cloud Storage 控制台

2. 浏览到包含源数据的对象（文件）所在的位置。

3. 点击对象的名称。

   对象详情页面随即会打开。

4. 复制 gsutil URI 字段中提供的值，该值以 gs:// 开头。

注意：您还可以使用 gcloud storage ls 命令列出存储桶或对象。

Google Datastore 导出文件只能指定一个 URI，且必须以 .backup_info 或 .export_metadata 结尾。

Cloud Storage URI 的通配符支持

如果您的数据分为多个文件，则可以使用星号 (*) 通配符选择多个文件。使用星号通配符必须遵循以下规则：

• 星号可以出现在对象名称内或对象名称末尾。
• 不支持使用多个星号。例如，路径 gs://mybucket/fed-*/temp/*.csv 无效。
• 不支持在存储桶名称中使用星号。

示例：

• 以下示例展示了如何选择以前缀 gs://mybucket/fed-samples/fed-sample 开头的所有文件夹中的所有文件：

  gs://mybucket/fed-samples/fed-sample*
  

• 以下示例展示了如何仅选择名为 fed-samples 的文件夹中和 fed-samples 的任何子文件夹中扩展名为 .csv 的文件：

  gs://mybucket/fed-samples/*.csv
  

• 以下示例展示了如何选择文件夹 fed-samples 中命名格式为 fed-sample*.csv 的文件。此示例不会选择 fed-samples 子文件夹中的文件。

  gs://mybucket/fed-samples/fed-sample*.csv
  

使用 bq 命令行工具时，您可能需要在某些平台上对星号进行转义。

从 Cloud Storage 加载 Datastore 或 Firestore 导出数据时，不能使用星号通配符。

限制

将数据从 Cloud Storage 存储桶加载到 BigQuery 时，需要遵循以下限制：

• 如果您的数据集位置设置为 US 多区域以外的值，则 Cloud Storage 存储桶必须与数据集位于同一单区域中或包含在同一多区域内。
• BigQuery 不保证外部数据源的数据一致性。在查询运行的过程中，底层数据的更改可能会导致意外行为。
• BigQuery 不支持 Cloud Storage 对象版本控制。如果您在 Cloud Storage URI 中添加了世代编号，则加载作业将失败。

Cloud Storage 源数据可能还存在其他限制，具体取决于源数据的格式。如需了解详情，请参阅：

• CSV 限制
• JSON 限制
• Datastore 导出限制
• Firestore 导出限制
• 嵌套重复数据的限制

从本地文件加载数据

您可以使用以下方式之一从可读数据源（如本地机器）加载数据：

• Google Cloud 控制台
• bq 命令行工具的 bq load 命令
• API
• 客户端库

使用 Google Cloud 控制台或 bq 命令行工具加载数据时，系统会自动创建加载作业。

如需从本地数据源加载数据，请按如下所述操作：

控制台

1. 在 Google Cloud 控制台中打开 BigQuery 页面。

   转到 BigQuery 页面

2. 在浏览器面板中，展开您的项目并选择数据集。

3. 展开 操作选项，然后点击打开。

4. 在详情面板中，点击创建表 。

5. 在创建表页面的来源部分，执行以下操作：

   • 在基于以下数据创建表部分，选择上传。
   • 在选择文件部分，点击浏览。
   • 浏览到相应文件，然后点击打开。请注意，本地文件不支持使用通配符和逗号分隔列表。
   • 在文件格式部分，选择 CSV、JSON（以换行符分隔）、Avro、Parquet 或 ORC。

6. 在创建表页面的目标部分，执行以下操作：

   • 在项目部分，选择相应的项目。
   • 在数据集部分，选择相应的数据集。
   • 在表字段中，输入您要在 BigQuery 中创建的表的名称。
   • 确认 Table type 设置为 Native table。

7. 在架构部分中，输入架构定义。

   • 对于 CSV 和 JSON 文件，您可以勾选自动检测选项来启用架构自动检测功能。对于其他支持的文件类型，架构信息在源数据中为自描述形式。

   • 您也可按照以下方式手动输入架构信息：

     • 点击以文本形式修改，并以 JSON 数组格式输入表架构：

       注意：您可以输入以下命令来查看 JSON 格式的现有表架构：bq show --format=prettyjson dataset.table。

     • 使用添加字段手动输入架构。

8. 在高级选项部分中选择适用项。如需了解可用选项，请参阅 CSV 选项和 JSON 选项。

9. 可选：在高级选项中，选择写入处置方式：

   • 只写入空白表：仅当表为空时才写入数据。
   • 附加到表：将数据附加到表的末尾。这是默认设置。
   • 覆盖表：在写入新数据之前清空表中的所有现有数据。

10. 点击创建表。

bq

使用 bq load 命令，指定 source_format，并添加本地文件的路径。

（可选）提供 --location 标志并将其值设置为您的位置。

如果要在非默认项目中加载数据，请按照以下格式将项目 ID 添加到数据集：PROJECT_ID:DATASET。

bq --location=LOCATION load \
--source_format=FORMAT \
PROJECT_ID:DATASET.TABLE \
PATH_TO_SOURCE \
SCHEMA

替换以下内容：

• LOCATION：您所在的位置。--location 是可选标志。例如，如果您在东京区域使用 BigQuery，请将该标志的值设置为 asia-northeast1。您可以使用 .bigqueryrc 文件设置位置的默认值。
• FORMAT：CSV、AVRO、PARQUET、ORC 或 NEWLINE_DELIMITED_JSON。
• project_id：您的项目 ID。
• dataset：现有数据集。
• table：要向其中加载数据的表的名称。
• path_to_source：本地文件的路径。
• schema：有效架构。该架构可以是本地 JSON 文件，也可以在命令中以内嵌形式输入架构。您还可以改用 --autodetect 标志，而无需提供架构定义。

此外，您可以为选项添加标志，以便控制 BigQuery 解析数据的方式。例如，您可以使用 --skip_leading_rows 标志来忽略 CSV 文件中的标题行。如需了解详情，请参阅 CSV 选项和 JSON 选项。

示例：

以下命令将本地以换行符分隔的 JSON 文件 (mydata.json) 加载到默认项目的 mydataset 内名为 mytable 的表中。架构是在名为 myschema.json 的本地架构文件中定义的。

    bq load \
    --source_format=NEWLINE_DELIMITED_JSON \
    mydataset.mytable \
    ./mydata.json \
    ./myschema.json

以下命令将本地 CSV 文件 (mydata.csv) 加载到 myotherproject 项目的 mydataset 内名为 mytable 的表中。架构采用以下格式以内嵌方式定义：FIELD:DATA_TYPE, FIELD:DATA_TYPE。

    bq load \
    --source_format=CSV \
    myotherproject:mydataset.mytable \
    ./mydata.csv \
    qtr:STRING,sales:FLOAT,year:STRING

注意：使用命令行指定架构时，您不能添加 RECORD (STRUCT) 类型和字段说明，也不能指定字段模式。所有字段模式均默认为 NULLABLE。如需添加字段说明、模式和 RECORD 类型，请改为提供 JSON 架构文件。

以下命令将本地 CSV 文件 (mydata.csv) 加载到默认项目的 mydataset 内名为 mytable 的表中。架构是使用架构自动检测功能定义的。

    bq load \
    --autodetect \
    --source_format=CSV \
    mydataset.mytable \
    ./mydata.csv

C#

试用此示例之前，请按照 BigQuery 快速入门：使用客户端库中的 C# 设置说明进行操作。 如需了解详情，请参阅 BigQuery C# API 参考文档。

如需向 BigQuery 进行身份验证，请设置应用默认凭据。 如需了解详情，请参阅为客户端库设置身份验证。

以下代码演示了如何将本地 CSV 文件加载到新的 BigQuery 表中。如需加载其他格式的本地文件，请使用 JobCreationOptions 基类中处理相应格式的更新选项类，而不是使用 UploadCsvOptions。

using Google.Cloud.BigQuery.V2;
using System;
using System.IO;

public class BigQueryLoadFromFile
{
    public void LoadFromFile(
        string projectId = "your-project-id",
        string datasetId = "your_dataset_id",
        string tableId = "your_table_id",
        string filePath = "path/to/file.csv"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        // Create job configuration
        var uploadCsvOptions = new UploadCsvOptions()
        {
            SkipLeadingRows = 1,  // Skips the file headers
            Autodetect = true
        };
        using (FileStream stream = File.Open(filePath, FileMode.Open))
        {
            // Create and run job
            // Note that there are methods available for formats other than CSV
            BigQueryJob job = client.UploadCsv(
                datasetId, tableId, null, stream, uploadCsvOptions);
            job = job.PollUntilCompleted().ThrowOnAnyError();  // Waits for the job to complete.

            // Display the number of rows uploaded
            BigQueryTable table = client.GetTable(datasetId, tableId);
            Console.WriteLine(
                $"Loaded {table.Resource.NumRows} rows to {table.FullyQualifiedId}");
        }
    }
}

Go

试用此示例之前，请按照 BigQuery 快速入门：使用客户端库中的 Go 设置说明进行操作。 如需了解详情，请参阅 BigQuery Go API 参考文档。

如需向 BigQuery 进行身份验证，请设置应用默认凭据。 如需了解详情，请参阅为客户端库设置身份验证。

以下代码演示了如何将本地 CSV 文件加载到新的 BigQuery 表中。如需加载其他格式的本地文件，请将 NewReaderSource 的 DataFormat 属性设置为相应的格式。

import (
	"context"
	"fmt"
	"os"

	"cloud.google.com/go/bigquery"
)

// importCSVFromFile demonstrates loading data into a BigQuery table using a file on the local filesystem.
func importCSVFromFile(projectID, datasetID, tableID, filename string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	// tableID := "mytable"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	f, err := os.Open(filename)
	if err != nil {
		return err
	}
	source := bigquery.NewReaderSource(f)
	source.AutoDetect = true   // Allow BigQuery to determine schema.
	source.SkipLeadingRows = 1 // CSV has a single header line.

	loader := client.Dataset(datasetID).Table(tableID).LoaderFrom(source)

	job, err := loader.Run(ctx)
	if err != nil {
		return err
	}
	status, err := job.Wait(ctx)
	if err != nil {
		return err
	}
	if err := status.Err(); err != nil {
		return err
	}
	return nil
}

Java

试用此示例之前，请按照 BigQuery 快速入门：使用客户端库中的 Java 设置说明进行操作。 如需了解详情，请参阅 BigQuery Java API 参考文档。

如需向 BigQuery 进行身份验证，请设置应用默认凭据。 如需了解详情，请参阅为客户端库设置身份验证。

以下代码演示了如何将本地 CSV 文件加载到新的 BigQuery 表中。如需加载其他格式的本地文件，请将 FormatOptions 设置为相应的格式。

TableId tableId = TableId.of(datasetName, tableName);
WriteChannelConfiguration writeChannelConfiguration =
    WriteChannelConfiguration.newBuilder(tableId).setFormatOptions(FormatOptions.csv()).build();
// The location must be specified; other fields can be auto-detected.
JobId jobId = JobId.newBuilder().setLocation(location).build();
TableDataWriteChannel writer = bigquery.writer(jobId, writeChannelConfiguration);
// Write data to writer
try (OutputStream stream = Channels.newOutputStream(writer)) {
  Files.copy(csvPath, stream);
}
// Get load job
Job job = writer.getJob();
job = job.waitFor();
LoadStatistics stats = job.getStatistics();
return stats.getOutputRows();

Node.js

试用此示例之前，请按照 BigQuery 快速入门：使用客户端库中的 Node.js 设置说明进行操作。 如需了解详情，请参阅 BigQuery Node.js API 参考文档。

如需向 BigQuery 进行身份验证，请设置应用默认凭据。 如需了解详情，请参阅为客户端库设置身份验证。

以下代码演示了如何将本地 CSV 文件加载到新的 BigQuery 表中。如需加载其他格式的本地文件，请将 load 函数的 metadata 参数设置为相应的格式。

// Imports the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function loadLocalFile() {
  // Imports a local file into a table.

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const filename = '/path/to/file.csv';
  // const datasetId = 'my_dataset';
  // const tableId = 'my_table';

  // Load data from a local file into the table
  const [job] = await bigquery
    .dataset(datasetId)
    .table(tableId)
    .load(filename);

  console.log(`Job ${job.id} completed.`);

  // Check the job's status for errors
  const errors = job.status.errors;
  if (errors && errors.length > 0) {
    throw errors;
  }
}

PHP

试用此示例之前，请按照 BigQuery 快速入门：使用客户端库中的 PHP 设置说明进行操作。 如需了解详情，请参阅 BigQuery PHP API 参考文档。

如需向 BigQuery 进行身份验证，请设置应用默认凭据。 如需了解详情，请参阅为客户端库设置身份验证。

以下代码演示了如何将本地 CSV 文件加载到新的 BigQuery 表中。如需加载其他格式的本地文件，请将 sourceFormat 设置为相应的格式。

use Google\Cloud\BigQuery\BigQueryClient;
use Google\Cloud\Core\ExponentialBackoff;

/** Uncomment and populate these variables in your code */
// $projectId  = 'The Google project ID';
// $datasetId  = 'The BigQuery dataset ID';
// $tableId    = 'The BigQuery table ID';
// $source     = 'The path to the CSV source file to import';

// instantiate the bigquery table service
$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$dataset = $bigQuery->dataset($datasetId);
$table = $dataset->table($tableId);
// create the import job
$loadConfig = $table->load(fopen($source, 'r'))->sourceFormat('CSV');

$job = $table->runJob($loadConfig);
// poll the job until it is complete
$backoff = new ExponentialBackoff(10);
$backoff->execute(function () use ($job) {
    printf('Waiting for job to complete' . PHP_EOL);
    $job->reload();
    if (!$job->isComplete()) {
        throw new Exception('Job has not yet completed', 500);
    }
});
// check if the job has errors
if (isset($job->info()['status']['errorResult'])) {
    $error = $job->info()['status']['errorResult']['message'];
    printf('Error running job: %s' . PHP_EOL, $error);
} else {
    print('Data imported successfully' . PHP_EOL);
}

Python

试用此示例之前，请按照 BigQuery 快速入门：使用客户端库中的 Python 设置说明进行操作。 如需了解详情，请参阅 BigQuery Python API 参考文档。

如需向 BigQuery 进行身份验证，请设置应用默认凭据。 如需了解详情，请参阅为客户端库设置身份验证。

以下代码演示了如何将本地 CSV 文件加载到新的 BigQuery 表中。如需加载其他格式的本地文件，请将 LoadJobConfig.source_format 属性设置为相应的格式。

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set table_id to the ID of the table to create.
# table_id = "your-project.your_dataset.your_table_name"

job_config = bigquery.LoadJobConfig(
    source_format=bigquery.SourceFormat.CSV, skip_leading_rows=1, autodetect=True,
)

with open(file_path, "rb") as source_file:
    job = client.load_table_from_file(source_file, table_id, job_config=job_config)

job.result()  # Waits for the job to complete.

table = client.get_table(table_id)  # Make an API request.
print(
    "Loaded {} rows and {} columns to {}".format(
        table.num_rows, len(table.schema), table_id
    )
)

Ruby

试用此示例之前，请按照 BigQuery 快速入门：使用客户端库中的 Ruby 设置说明进行操作。 如需了解详情，请参阅 BigQuery Ruby API 参考文档。

如需向 BigQuery 进行身份验证，请设置应用默认凭据。 如需了解详情，请参阅为客户端库设置身份验证。

以下代码演示了如何将本地 CSV 文件加载到新的 BigQuery 表中。如需加载其他格式的本地文件，请将 Table#load_job 方法的 format 参数设置为相应的格式。

require "google/cloud/bigquery"

def load_from_file dataset_id = "your_dataset_id",
                   file_path  = "path/to/file.csv"

  bigquery = Google::Cloud::Bigquery.new
  dataset  = bigquery.dataset dataset_id
  table_id = "new_table_id"

  # Infer the config.location based on the location of the referenced dataset.
  load_job = dataset.load_job table_id, file_path do |config|
    config.skip_leading = 1
    config.autodetect   = true
  end
  load_job.wait_until_done! # Waits for table load to complete.

  table = dataset.table table_id
  puts "Loaded #{table.rows_count} rows into #{table.id}"
end

限制

从本地数据源加载数据会受到以下限制：

• 从本地数据源加载文件时，不支持使用通配符和英文逗号分隔列表。各文件必须分别加载。
• 使用 Google Cloud 控制台时，从本地数据源加载的文件不得超过 100 MB。对于超过此大小的文件，请从 Cloud Storage 加载文件。
• 默认情况下，加载作业时使用槽的共享池。BigQuery 并不保证此共享池的可用容量，也不保证您能实现的吞吐量。此外，您也可以购买专用槽以运行加载作业。如需了解详情，请参阅数据注入价格。

加载经过压缩和未经压缩的数据

对于 Avro、Parquet 和 ORC 格式，BigQuery 支持加载其中的文件数据已使用受支持的编解码器压缩的文件。但是，BigQuery 不支持加载采用这些格式但本身已压缩的文件（例如，使用 gzip 实用程序）。

加载压缩数据和未压缩数据时，首选格式都是 Avro 二进制格式。Avro 数据加载速度更快，因为可以并行读取数据，即使数据块已经过压缩也是如此。 如需查看受支持的压缩编解码器的列表，请参阅 Avro 压缩。

Parquet 二进制格式也是一个不错的选择，因为 Parquet 可高效地逐列进行编码，这通常会改善压缩比并减小文件大小。Parquet 文件还可利用支持并行加载文件的压缩方法。 如需查看受支持的压缩编解码器的列表，请参阅 Parquet 压缩。

ORC 二进制格式的优势与 Parquet 格式相类似。ORC 文件中的数据加载速度很快，因为可以并行读取数据条带。每个数据条带中的行将按顺序加载。为了优化加载时间，建议使用大小约为 256 MB 或更小的数据条带。 如需查看受支持的压缩编解码器的列表，请参阅 ORC 压缩。

对于其他数据格式（如 CSV 和 JSON），BigQuery 加载未压缩文件的速度要比加载压缩文件快得多，因为可以并行读取未压缩文件。由于未经压缩的文件较大，因此使用这些文件可能会超出带宽限制，并且数据在加载到 BigQuery 之前会产生较高的 Cloud Storage 暂存费用。请注意，无论文件是否已经过压缩，都无法保证行的排序。您需要根据具体用例来权衡这些利弊，这一点很重要。

一般来说，如果带宽有限，建议先使用 gzip 压缩 CSV 和 JSON 文件，然后再上传到 Cloud Storage。在将数据加载到 BigQuery 时，gzip 是 CSV 和 JSON 文件唯一支持的文件压缩类型。如果对您的应用来说加载速度很重要，并且您有足够的带宽来加载数据，请保留文件的未压缩状态。

对表执行附加或覆盖操作

您可以通过源文件或附加查询结果，将其他数据加载到表中。如果数据架构与目标表或分区的架构不匹配，您可以在执行附加或覆盖操作时更新架构。

如果您要在附加数据时更新架构，BigQuery 将允许执行以下操作：

• 添加新字段
• 将 REQUIRED 字段放宽为 NULLABLE

如果您要覆盖表，则架构始终会被覆盖。在覆盖表时，架构更新不受限制。

在 Google Cloud 控制台中，使用写入偏好设置选项指定从源文件或查询结果加载数据时要执行的操作。bq 命令行工具和 API 包括以下选项：

控制台选项	bq 工具标志	BigQuery API 属性	说明
Write if empty	无	WRITE_EMPTY	仅当表为空时才写入数据。
Append to table	--noreplace 或 --replace=false；如果未指定 --replace，则默认为附加	WRITE_APPEND	（默认）在表末尾附加数据。
覆盖表	--replace 或 --replace=true	WRITE_TRUNCATE	清空表中所有现有数据然后再写入新数据。

配额政策

如需了解批量加载数据的配额政策，请参阅“配额和限制”页面中的加载作业。

查看当前配额用量

您可以运行 INFORMATION_SCHEMA 查询来查看在指定时间段内运行的作业的元数据，从而查看查询、加载、提取或复制作业的当前使用情况。您可以将当前用量与配额限制进行比较，以确定特定类型的作业的配额用量。以下示例查询使用 INFORMATION_SCHEMA.JOBS 视图按项目列出查询、加载、提取和复制作业的数量：

SELECT
  sum(case  when job_type="QUERY" then 1 else 0 end) as QRY_CNT,
  sum(case  when job_type="LOAD" then 1 else 0 end) as LOAD_CNT,
  sum(case  when job_type="EXTRACT" then 1 else 0 end) as EXT_CNT,
  sum(case  when job_type="COPY" then 1 else 0 end) as CPY_CNT
FROM `region-eu`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
WHERE date(creation_time)= CURRENT_DATE()

价格

将数据批量加载到 BigQuery 无需付费。如需了解详情，请参阅 BigQuery 数据提取价格。

用例示例

假设有一个夜间批处理流水线，需要在固定的截止时间之前完成。在此截止时间之前，需要获取数据以供其他批处理进一步处理，从而生成要发送到监管机构的报告。此用例在金融等受监管的行业中很常见。

使用加载作业批量加载数据是此用例的正确方法，因为如果可以满足截止时间要求，就可以不必担心延迟时间。确保 Cloud Storage 存储桶满足将数据加载到 BigQuery 数据集中的位置要求。

BigQuery 加载作业的结果是原子化的；要么已插入所有记录，要么不插入任何记录。最佳实践是在单个加载作业中插入所有数据时，使用 JobConfigurationLoad 资源的 WRITE_TRUNCATE 处置方式创建新表。这一点在重试失败的加载作业时非常重要，因为客户端可能无法区分失败的作业和由于将成功状态传回客户端等原因而导致的失败情况。

假设要注入的数据已成功复制到 Cloud Storage，使用指数退避算法进行重试足以解决注入故障。

建议夜间批量作业不要达到默认配额（每个表每天加载 1,500 次），即使重试也是如此。以增量方式加载数据时，默认配额足以每 5 分钟运行一次加载作业，并且平均每项作业有至少 1 次重试未使用配额。