BigQuery 客户端库

本页面介绍了如何使用 BigQuery API 的 Cloud 客户端库。如需详细了解 Cloud API 的客户端库（包括旧版 Google API 客户端库），请参阅客户端库说明。

安装客户端库

C#

如需了解详情，请参阅设置 C# 开发环境。

Install-Package Google.Cloud.BigQuery.V2 -Pre

Go

go get -u cloud.google.com/go/bigquery

Java

如需了解详情，请参阅设置 Java 开发环境。 如果您使用的是 <a href="https://maven.apache.org/" class="external" track-type="buildTools" track-name="externalLink" target="_blank">Maven</a>，请将以下代码添加到您的 <code>pom.xml</code> 文件中：<div class="github-docwidget-gitinclude-code"> <pre suppresswarning="suppresswarning" translate="no" style="margin: 10px 0;" class="prettyprint" track-metadata-position="googleapis/google-cloud-java/google-cloud-clients/google-cloud-bigquery/README.md/master/```xml[^`]*```" data-code-snippet="true" data-github-path="googleapis/google-cloud-java/google-cloud-clients/google-cloud-bigquery/README.md" data-git-revision="master" data-regexp="```xml[^`]*```"><code>&lt;dependency&gt; &lt;groupId&gt;com.google.cloud&lt;/groupId&gt; &lt;artifactId&gt;google-cloud-bigquery&lt;/artifactId&gt; &lt;version&gt;1.100.0&lt;/version&gt; &lt;/dependency&gt;</code></pre> </div>如果您使用的是 <a href="https://gradle.org/" class="external" track-type="buildTools" track-name="externalLink" target="_blank">Gradle</a>，请将以下代码添加到您的依赖项中：<div class="github-docwidget-gitinclude-code"> <pre suppresswarning="suppresswarning" translate="no" style="margin: 10px 0;" class="prettyprint" track-metadata-position="googleapis/google-cloud-java/google-cloud-clients/google-cloud-bigquery/README.md/master/```Groovy[^`]*```" data-code-snippet="true" data-github-path="googleapis/google-cloud-java/google-cloud-clients/google-cloud-bigquery/README.md" data-git-revision="master" data-regexp="```Groovy[^`]*```"><code>compile &#39;com.google.cloud:google-cloud-bigquery:1.100.0&#39;</code></pre> </div>如果您使用的是 <a href="https://www.scala-sbt.org/" class="external" track-type="buildTools" track-name="externalLink" target="_blank">SBT</a>，请将以下代码添加到您的依赖项中：<div class="github-docwidget-gitinclude-code"> <pre suppresswarning="suppresswarning" translate="no" style="margin: 10px 0;" class="prettyprint" track-metadata-position="googleapis/google-cloud-java/google-cloud-clients/google-cloud-bigquery/README.md/master/```Scala[^`]*```" data-code-snippet="true" data-github-path="googleapis/google-cloud-java/google-cloud-clients/google-cloud-bigquery/README.md" data-git-revision="master" data-regexp="```Scala[^`]*```"><code>libraryDependencies += &quot;com.google.cloud&quot; % &quot;google-cloud-bigquery&quot; % &quot;1.100.0&quot;</code></pre> </div> <p>如果您使用的是 IntelliJ 或 Eclipse，请通过以下 IDE 插件将客户端库添加到您的项目中：</p> <ul> <li><a href="/tools/intellij/docs/client-libraries" target="_blank">Cloud Code for IntelliJ</a></li> <li><a href="/eclipse/docs/libraries" target="_blank">Cloud Tools for Eclipse</a></li> </ul> <p>上述插件还提供其他功能，例如服务帐号密钥管理。如需了解详情，请参阅各个插件相应的文档。</p> <aside class="note"><strong>注意</strong>：Cloud Java 客户端库目前不支持 Android。</aside>

Node.js

如需了解详情，请参阅设置 Node.js 开发环境。

npm install --save @google-cloud/bigquery

PHP

composer require google/cloud-bigquery

Python

如需了解详情，请参阅设置 Python 开发环境。

pip install --upgrade google-cloud-bigquery

Ruby

如需了解详情，请参阅设置 Ruby 开发环境。

gem install google-cloud-bigquery

设置身份验证

要运行客户端库，必须先通过创建服务帐号并设置环境变量来设置身份验证。完成以下步骤即可设置身份验证。如需了解其他身份验证的方法，请参阅 GCP 身份验证文档。

GCP Console

1. 在 GCP Console 中，转到创建服务帐号密钥页面。

   转到“创建服务帐号密钥”页面
2. 从服务帐号列表中，选择新的服务帐号。
3. 在服务帐号名称字段中，输入一个名称。

4. 从角色列表中，选择项目 > 所有者。

   注意：角色字段为您的服务帐号授予资源访问权限。稍后您可以使用 GCP Console 查看和更改此字段。如果您开发的是正式版应用，请指定比项目 > 所有者更为精细的权限。如需了解详情，请参阅为服务帐号授予角色。
5. 点击创建。包含密钥的 JSON 文件就会下载到计算机。

命令行

您可以使用本地机器上的 Cloud SDK 或在 Cloud Shell 中运行以下命令。

1. 创建服务帐号。将 [NAME] 替换为服务帐号的名称。

   gcloud iam service-accounts create [NAME]

2. 向服务帐号授予权限。将 [PROJECT_ID] 替换为您的项目 ID。

   gcloud projects add-iam-policy-binding [PROJECT_ID] --member "serviceAccount:[NAME]@[PROJECT_ID].iam.gserviceaccount.com" --role "roles/owner"

   注意：角色字段为您的服务帐号授予资源访问权限。稍后您可以使用 GCP Console 查看和更改此字段。如果您开发的是正式版应用，请指定比项目 > 所有者更为精细的权限。如需了解详情，请参阅为服务帐号授予角色。

3. 生成密钥文件。将 [FILE_NAME] 替换为密钥文件的名称。

   gcloud iam service-accounts keys create [FILE_NAME].json --iam-account [NAME]@[PROJECT_ID].iam.gserviceaccount.com

通过设置环境变量 GOOGLE_APPLICATION_CREDENTIALS，向您的应用代码提供身份验证凭据。将 [PATH] 替换为包含服务帐号密钥的 JSON 文件的文件路径，将 [FILE_NAME] 替换为文件名。此变量仅适用于当前的 shell 会话，因此，如果您打开新的会话，请重新设置该变量。

Linux 或 macOS

export GOOGLE_APPLICATION_CREDENTIALS="[PATH]"

例如：

export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/[FILE_NAME].json"

Windows

使用 PowerShell：

$env:GOOGLE_APPLICATION_CREDENTIALS="[PATH]"

例如：

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\[FILE_NAME].json"

使用命令提示符：

set GOOGLE_APPLICATION_CREDENTIALS=[PATH]

使用客户端库

以下示例展示了如何初始化客户端以及如何对 BigQuery 公共数据集执行查询。

C#

试用此示例之前，请按照《BigQuery 快速入门：使用客户端库》中的 C# 设置说明进行操作。 如需了解详情，请查看 BigQuery C# API 参考文档。

在 GitHub 上查看 反馈

using Google.Cloud.BigQuery.V2;
using System;

public class BigQueryQuery
{
    public void Query(
        string projectId = "your-project-id"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        string query = @"
            SELECT name FROM `bigquery-public-data.usa_names.usa_1910_2013`
            WHERE state = 'TX'
            LIMIT 100";
        BigQueryJob job = client.CreateQueryJob(
            sql: query,
            parameters: null,
            options: new QueryOptions { UseQueryCache = false });
        // Wait for the job to complete.
        job.PollUntilCompleted();
        // Display the results
        foreach (BigQueryRow row in client.GetQueryResults(job.Reference))
        {
            Console.WriteLine($"{row["name"]}");
        }
    }
}

Go

尝试此示例之前，请按照《BigQuery 快速入门：使用客户端库》中的 Go 设置说明进行操作。如需了解详情，请参阅 BigQuery Go API 参考文档。

在 GitHub 上查看 反馈

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/bigquery"
	"google.golang.org/api/iterator"
)

// queryBasic demonstrates issuing a query and reading results.
func queryBasic(w io.Writer, projectID string) error {
	// projectID := "my-project-id"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}

	q := client.Query(
		"SELECT name FROM `bigquery-public-data.usa_names.usa_1910_2013` " +
			"WHERE state = \"TX\" " +
			"LIMIT 100")
	// Location must match that of the dataset(s) referenced in the query.
	q.Location = "US"
	// Run the query and print results when the query job is completed.
	job, err := q.Run(ctx)
	if err != nil {
		return err
	}
	status, err := job.Wait(ctx)
	if err != nil {
		return err
	}
	if err := status.Err(); err != nil {
		return err
	}
	it, err := job.Read(ctx)
	for {
		var row []bigquery.Value
		err := it.Next(&row)
		if err == iterator.Done {
			break
		}
		if err != nil {
			return err
		}
		fmt.Fprintln(w, row)
	}
	return nil
}

Java

尝试此示例之前，请按照《BigQuery 快速入门：使用客户端库》中的 Java 设置说明进行操作。如需了解详情，请查看 BigQuery Java API 参考文档。

在 GitHub 上查看 反馈

// BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();
String query = "SELECT corpus FROM `bigquery-public-data.samples.shakespeare` GROUP BY corpus;";
QueryJobConfiguration queryConfig = QueryJobConfiguration.newBuilder(query).build();

// Print the results.
for (FieldValueList row : bigquery.query(queryConfig).iterateAll()) {
  for (FieldValue val : row) {
    System.out.printf("%s,", val.toString());
  }
  System.out.printf("\n");
}

Node.js

尝试此示例之前，请按照 BigQuery 快速入门：使用客户端库中的 Node.js 设置说明进行操作。如需了解详情，请参阅 BigQuery Node.js API 参考文档。

在 GitHub 上查看 反馈

// Import the Google Cloud client library using default credentials
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();
async function query() {
  // Queries the U.S. given names dataset for the state of Texas.

  const query = `SELECT name
    FROM \`bigquery-public-data.usa_names.usa_1910_2013\`
    WHERE state = 'TX'
    LIMIT 100`;

  // For all options, see https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs/query
  const options = {
    query: query,
    // Location must match that of the dataset(s) referenced in the query.
    location: 'US',
  };

  // Run the query as a job
  const [job] = await bigquery.createQueryJob(options);
  console.log(`Job ${job.id} started.`);

  // Wait for the query to finish
  const [rows] = await job.getQueryResults();

  // Print the results
  console.log('Rows:');
  rows.forEach(row => console.log(row));
}

PHP

试用此示例之前，请按照《BigQuery 快速入门：使用客户端库》中的 PHP 设置说明进行操作。 如需了解详情，请查看 BigQuery PHP API 参考文档。

在 GitHub 上查看 反馈

use Google\Cloud\BigQuery\BigQueryClient;
use Google\Cloud\Core\ExponentialBackoff;

/** Uncomment and populate these variables in your code */
// $projectId = 'The Google project ID';
// $query = 'SELECT id, view_count FROM `bigquery-public-data.stackoverflow.posts_questions`';

$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$jobConfig = $bigQuery->query($query);
$job = $bigQuery->startQuery($jobConfig);

$backoff = new ExponentialBackoff(10);
$backoff->execute(function () use ($job) {
    print('Waiting for job to complete' . PHP_EOL);
    $job->reload();
    if (!$job->isComplete()) {
        throw new Exception('Job has not yet completed', 500);
    }
});
$queryResults = $job->queryResults();

$i = 0;
foreach ($queryResults as $row) {
    printf('--- Row %s ---' . PHP_EOL, ++$i);
    foreach ($row as $column => $value) {
        printf('%s: %s' . PHP_EOL, $column, json_encode($value));
    }
}
printf('Found %s row(s)' . PHP_EOL, $i);

Python

尝试此示例之前，请按照《BigQuery 快速入门：使用客户端库》中的 Python 设置说明进行操作。如需了解详情，请参阅 BigQuery Python API 参考文档。

在 GitHub 上查看 反馈

# TODO(developer): Import the client library.
# from google.cloud import bigquery

# TODO(developer): Construct a BigQuery client object.
# client = bigquery.Client()

query = """
    SELECT name, SUM(number) as total_people
    FROM `bigquery-public-data.usa_names.usa_1910_2013`
    WHERE state = 'TX'
    GROUP BY name, state
    ORDER BY total_people DESC
    LIMIT 20
"""
query_job = client.query(query)  # Make an API request.

print("The query data:")
for row in query_job:
    # Row values can be accessed by field name or index.
    print("name={}, count={}".format(row[0], row["total_people"]))

Ruby

试用此示例之前，请按照《BigQuery 快速入门：使用客户端库》中的 Ruby 设置说明进行操作。 如需了解详情，请查看 BigQuery Ruby API 参考文档。

在 GitHub 上查看 反馈

require "google/cloud/bigquery"

def query
  bigquery = Google::Cloud::Bigquery.new
  sql = "SELECT name FROM `bigquery-public-data.usa_names.usa_1910_2013` " +
        "WHERE state = 'TX' " +
        "LIMIT 100"

  # Location must match that of the dataset(s) referenced in the query.
  results = bigquery.query sql do |config|
    config.location = "US"
  end

  results.each do |row|
    puts row.inspect
  end
end

其他资源

C#

• API 参考文档
• 源代码
• GitHub 问题跟踪器
• Stack Overflow

Go

• API 参考文档
• 源代码
• GitHub 问题跟踪器
• Stack Overflow

Java

• API 参考文档
• 源代码
• GitHub 问题跟踪器
• Stack Overflow

Node.js

• API 参考文档
• 源代码
• GitHub 问题跟踪器
• Stack Overflow

PHP

• API 参考文档
• 源代码
• GitHub 问题跟踪器
• Stack Overflow

Python

• API 参考文档
• 源代码
• GitHub 问题跟踪器
• Stack Overflow

Ruby

• API 参考文档
• 源代码
• GitHub 问题跟踪器
• Stack Overflow

第三方 BigQuery 客户端库

除了上表列出的 Google 支持的客户端库外，还可使用一组第三方库。

语言	库
Python	pandas-gbq（迁移指南）
R	bigrquery
Scala	spark-bigquery

后续步骤

• 使用客户端库创建简单的应用。
• 使用 Jupyter 笔记本直观呈现 BigQuery 公开数据。