创建视图

本文档介绍了如何在 BigQuery 中创建视图。

您可以通过以下方式在 BigQuery 中创建视图:

  • 使用 Cloud Console 或经典版 BigQuery 网页界面
  • 使用命令行工具的 bq mk 命令
  • 调用 tables.insert API 方法
  • 使用客户端库
  • 提交 CREATE VIEW 数据定义语言 (DDL) 语句

视图命名

在 BigQuery 中创建视图时,每个数据集的视图名称必须唯一。视图名称可以:

  • 包含最多 1024 个字符
  • 包含字母(大写或小写)、数字和下划线

视图限制

BigQuery 视图存在如下限制:

  • 包含视图的数据集与包含视图所引用表的数据集必须位于相同位置
  • 您无法运行 BigQuery 作业来从视图导出数据。
  • 您无法使用 TableDataList JSON API 方法从视图中检索数据。如需了解详情,请参阅 Tabledata: list
  • 使用视图时,不能混合使用标准 SQL 查询和旧版 SQL 查询。标准 SQL 查询无法引用使用旧版 SQL 语法定义的视图。
  • 您无法在视图中引用查询参数
  • 创建视图时,底层表的架构会与视图一同存储。如果在视图创建后执行列的添加、删除等操作,则在视图更新之前,系统报告的架构可能不准确。 尽管系统报告的架构可能会不准确,但所有已提交的查询都会产生准确的结果。
  • 您无法自动将旧版 SQL 视图更新为标准 SQL 语法。如需修改用于定义视图的查询,请使用 Cloud Console 或经典版 BigQuery 网页界面中的修改查询选项、使用 bq update --view CLI 命令、使用客户端库,或者使用 updatepatch API 方法。
  • 您无法在定义视图的 SQL 查询中使用用户定义的函数。
  • 您无法在通配符表查询中引用视图。

如需了解适用于视图的配额和限制,请参阅视图限制

所需权限

在 BigQuery 中,视图作为表资源处理,因此创建视图所需的权限与创建表相同。如需创建视图,您必须至少具备 bigquery.tables.create 权限。以下预定义 Cloud IAM 角色可提供 bigquery.tables.create 权限:

  • bigquery.dataEditor
  • bigquery.dataOwner
  • bigquery.admin

此外,如果用户具有 bigquery.datasets.create 权限,则当该用户创建数据集时,系统会为其授予该数据集的 bigquery.dataOwner 访问权限。具备 bigquery.dataOwner 访问权限的用户可以在数据集中创建视图。

如需详细了解 BigQuery 中的 Cloud IAM 角色和权限,请参阅预定义的角色和权限

创建视图

要创建视图,您可以编写 SQL 查询来定义视图可访问的数据。

在用于创建视图的标准 SQL 查询中,您必须在表和视图的引用中添加 `project_id.dataset.table` 形式的项目 ID。标准 SQL 需要有明确的项目 ID,以避免从不同项目查询视图时发生混淆。

要创建视图,请执行以下操作:

控制台

  1. 运行查询后,点击查询结果窗口上方的保存视图按钮,将查询保存为视图。

    保存视图。

  2. 保存视图对话框中,执行以下操作:

    • 项目名称部分,选择将存储该视图的项目。
    • 数据集名称部分,选择将包含该视图的数据集。 包含视图的数据集与包含视图所引用表的数据集必须位于相同位置
    • 表名称部分,输入该视图的名称。
    • 点击保存

经典版界面

  1. 运行查询后,点击查询结果窗口中的保存视图按钮,将查询保存为视图。

    保存视图。

  2. 保存视图对话框中,执行以下操作:

    • Project 部分,选择将存储该视图的项目。
    • Dataset 部分,选择将包含该视图的数据集。包含视图的数据集与包含视图所引用表的数据集必须位于相同位置
    • 对于 Table ID,输入视图的名称。
    • 点击 OK

bq

使用带有 --view 标志的 mk 命令。对于标准 SQL 查询,请添加 --use_legacy_sql 标志并将其设置为 false。可选参数包括 --expiration--description--label

如果您的查询引用了存储在 Google Cloud Storage 或本地文件中的外部用户定义函数资源,请使用 --view_udf_resource 标志指定这些资源。此处未显示 --view_udf_resource 标志。如需详细了解如何使用 UDF,请参阅标准 SQL 用户定义的函数

如果您要在非默认项目中创建视图,请使用 --project_id 标志指定项目 ID。

bq mk \
--use_legacy_sql=false \
--view_udf_resource=path_to_file \
--expiration integer \
--description "description" \
--label key:value \
--view 'query' \
--project_id project_id \
dataset.view

其中:

  • path_to_file 是一个代码文件的 URI 或本地文件系统路径,该代码文件会立即作为视图使用的用户定义函数资源进行加载和评估。重复使用此标志可以指定多个文件。
  • integer 是视图的默认生命周期(以秒为单位)。最小值为 3600 秒(一小时)。到期时间以当前时间加上这个整数值为准。如果您在创建视图时设置了视图过期时间,则系统会忽略数据集的默认表过期时间设置。
  • description 是加英文引号的视图说明。
  • key:value 是代表标签的键值对。重复使用 --label 标志可以指定多个标签。
  • query 是一个有效查询。对于标准 SQL 视图,查询必须在表和视图的引用中加入 `[PROJECT_ID].[DATASET].[TABLE]` 形式的项目 ID。
  • project_id 是您的项目 ID(如果您未配置默认项目)。
  • dataset 是您的项目中的数据集。
  • view 是您要创建的视图的名称。

示例:

输入以下命令可在默认项目的 mydataset 中创建名为 myview 的视图。到期时间设置为 3600 秒(1 小时),说明设置为 This is my view,且标签设置为 organization:development。用于创建视图的查询会查询美国姓名数据公共数据集中的数据。

bq mk \
--use_legacy_sql=false \
--expiration 3600 \
--description "This is my view" \
--label organization:development \
--view \
'SELECT
  name,
  number
FROM
  `bigquery-public-data.usa_names.usa_1910_current`
WHERE
  gender = "M"
ORDER BY
  number DESC' \
mydataset.myview

输入以下命令可在 myotherprojectmydataset 中创建名为 myview 的视图。到期时间设置为 3600 秒(1 小时),说明设置为 This is my view,且标签设置为 organization:development。用于创建视图的查询会查询美国姓名数据公共数据集中的数据。

bq mk \
--use_legacy_sql=false \
--expiration 3600 \
--description "This is my view" \
--label organization:development \
--project_id myotherproject \
--view \
'SELECT
  name,
  number
FROM
  `bigquery-public-data.usa_names.usa_1910_current`
WHERE
  gender = "M"
ORDER BY
  number DESC' \
mydataset.myview

创建视图后,您可以更新视图的到期时间、说明和标签。如需了解详情,请参阅更新视图

API

使用包含 view 属性的表资源调用 tables.insert 方法。

Go

在尝试此示例之前,请按照《BigQuery 快速入门:使用客户端库》中的 Go 设置说明进行操作。如需了解详情,请参阅 BigQuery Go API 参考文档

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// createView demonstrates creation of a BigQuery logical view.
func createView(projectID, datasetID, tableID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydatasetid"
	// tableID := "mytableid"
	ctx := context.Background()

	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	meta := &bigquery.TableMetadata{
		// This example shows how to create a view of the shakespeare sample dataset, which
		// provides word frequency information.  This view restricts the results to only contain
		// results for works that contain the "king" in the title, e.g. King Lear, King Henry V, etc.
		ViewQuery: "SELECT word, word_count, corpus, corpus_date FROM `bigquery-public-data.samples.shakespeare` WHERE corpus LIKE '%king%'",
	}
	if err := client.Dataset(datasetID).Table(tableID).Create(ctx, meta); err != nil {
		return err
	}
	return nil
}

Node.js

在尝试此示例之前,请按照《BigQuery 快速入门:使用客户端库》中的 Node.js 设置说明进行操作。如需了解详情,请参阅 BigQuery Node.js API 参考文档

// Import the Google Cloud client library and create a client
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function createView() {
  // Creates a new view named "my_shared_view" in "my_dataset".

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const myDatasetId = "my_table"
  // const myTableId = "my_table"
  // const projectId = "bigquery-public-data";
  // const sourceDatasetId = "usa_names"
  // const sourceTableId = "usa_1910_current";
  const myDataset = await bigquery.dataset(myDatasetId);

  // For all options, see https://cloud.google.com/bigquery/docs/reference/v2/tables#resource
  const options = {
    view: `SELECT name
    FROM \`${projectId}.${sourceDatasetId}.${sourceTableId}\`
    LIMIT 10`,
  };

  // Create a new view in the dataset
  const [view] = await myDataset.createTable(myTableId, options);

  console.log(`View ${view.id} created.`);
}

Python

在尝试此示例之前,请按照《BigQuery 快速入门:使用客户端库》中的 Python 设置说明进行操作。如需了解详情,请参阅 BigQuery Python API 参考文档

# from google.cloud import bigquery
# client = bigquery.Client()
# project = 'my-project'
# source_dataset_id = 'my_source_dataset'
# source_table_id = 'us_states'
# shared_dataset_ref = client.dataset('my_shared_dataset')

# This example shows how to create a shared view of a source table of
# US States. The source table contains all 50 states, while the view will
# contain only states with names starting with 'W'.
view_ref = shared_dataset_ref.table("my_shared_view")
view = bigquery.Table(view_ref)
sql_template = 'SELECT name, post_abbr FROM `{}.{}.{}` WHERE name LIKE "W%"'
view.view_query = sql_template.format(project, source_dataset_id, source_table_id)
view = client.create_table(view)  # API request

print("Successfully created view at {}".format(view.full_table_id))

创建视图后,您可以按照与查询表相同的方式查询视图。

后续步骤