借助 BigQuery BI Engine,您可以使用由 BigQuery 支持的报告和信息中心执行快速、低延迟的分析服务和交互式分析。
本入门教程适用于使用 Looker 数据洞察构建报告和信息中心的数据分析师和业务分析师。
目标
在本教程中,您将执行以下操作:- 在 Google Cloud 控制台中使用 BigQuery 创建 BI Engine 容量预留。
- 使用 Looker 数据洞察连接到由 BI Engine 管理的 BigQuery 表。
- 创建一个 Looker 数据洞察信息中心,以查询由 BI Engine 管理的表。
费用
在本文档中,您将使用 Google Cloud 的以下收费组件:
- BI Engine:您在 BI Engine 中创建预留时会产生费用。
- BigQuery:您在 BigQuery 中创建表时会产生存储费用。
您可使用价格计算器根据您的预计使用情况来估算费用。
如需详细了解 BI Engine 价格,请参阅价格页面。
如需详细了解 BigQuery 存储价格,请参阅 BigQuery 文档中的存储价格。
准备工作
在开始之前,请确保您有一个要使用的项目,您已为该项目启用结算功能,并且已启用 BigQuery API。
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
- 新项目会自动启用 BigQuery API。
如需在现有项目中启用 BigQuery API,请转到
Enable the BigQuery API.
创建 BigQuery 数据集
第一步是创建用于存储由 BI Engine 托管的表的 BigQuery 数据集。如需创建数据集,请按照下列步骤操作:
在 Google Cloud 控制台中,转到 BigQuery 页面。
在导航面板的 Explorer 面板中,点击您的项目名称。
在详细信息面板中,点击
查看操作,然后点击创建数据集。在创建数据集页面上,执行以下操作:
- 在数据集 ID 部分,输入
biengine_tutorial
。 在数据位置部分,选择 us(美国的多个区域),即存储公共数据集的多区域位置。
在本教程中,您可以选择启用表过期时间,然后指定表在多少天后过期。
- 在数据集 ID 部分,输入
保留所有其他默认设置不变,然后点击创建数据集。
通过复制公共数据集中的数据来创建表
本教程使用通过 Google Cloud 公共数据集计划提供的数据集。公共数据集是由 BigQuery 托管的数据集,可供您访问并集成到您的应用中。
在此部分中,您将通过从 San Francisco 311 service requests 数据集复制数据来创建表。您可以使用 Google Cloud 控制台浏览数据集。
创建表
如需创建表,请按照下列步骤操作:
在 Google Cloud 控制台中,转到 BigQuery 页面。
在浏览器面板中,搜索
san_francisco_311
。在浏览器面板中,展开 san_francisco_311,然后点击 311_service_requests 表。
在“浏览器”工具栏中,点击复制。
在复制表对话框的目标位置部分中,执行以下操作:
- 对于项目名称,点击浏览,然后选择您的项目。
- 对于数据集名称,选择 biengine_tutorial。
对于表名称,输入
311_service_requests_copy
。
点击复制。
可选:完成复制作业后,展开
PROJECT_NAME
> biengine_tutorial 并点击 311_service_requests_copy > 预览,以验证表内容。将PROJECT_NAME
替换为本教程中的 Google Cloud 项目的名称。
创建 BI Engine 预留
在 Google Cloud 控制台中的管理下,转到 BI Engine 页面。
点击
创建预留。在创建预留页面上,配置您的 BI Engine 预留:
- 在项目列表中,验证您的 Google Cloud 项目。
- 在位置列表中,选择一个位置。该位置应该与您要查询的数据集的位置相匹配。
将容量 (GiB) 滑块调整到要预留的内存容量。以下示例将容量设置为 2 GiB。最大值为 250 GiB。
点击下一步。
在首选表部分中,可以选择指定进行 BI Engine 加速的表。如需查找表名称,请执行以下操作:
- 在表 ID 字段中,输入您希望 BI Engine 加速的表名称的一部分,例如
311
。 从建议的名称列表中,选择您的表名称。
只有指定的表才可以加速。如果未指定首选表,则所有项目查询都可以加速。
- 在表 ID 字段中,输入您希望 BI Engine 加速的表名称的一部分,例如
点击下一步。
在确认并提交部分中,查看协议。
如果您接受协议条款,请点击创建。
确认预留后,详细信息会显示在预留页面上。
在 Looker 数据洞察中创建数据源连接
在 Looker 数据洞察中创建报告之前,您必须先为该报告创建数据源。一份报告可以有一个或多个数据源。 Looker 数据洞察使用 BigQuery 连接器连接到由 BI Engine 管理的 BigQuery 表。
在 Looker 数据洞察中定义数据源连接时,BI Engine 会使用您配置的表和列来确定要缓存的数据。BI Engine 仅缓存添加到报告中的列。
所需权限
您必须拥有适当的权限才能将 BigQuery 数据源添加到 Looker 数据洞察报告。此外,应用于 BigQuery 数据集的权限也会应用于您在 Looker 数据洞察中创建的报告、图表和信息中心。共享 Looker 数据洞察报告时,只有具备适当权限的用户才能看到报告组件。
需要 bigquery.jobs.create
权限才能运行用于填充报告的查询作业。为了成功完成查询作业,用户或群组必须有权访问包含查询引用的表的数据集。所需的最低访问权限级别为可查看,这会映射到该数据集的 bigquery.dataViewer
角色。
由于您创建了本教程所使用的数据集,因此您将被授予对数据集的“为所有者”访问权限,您可以完全控制该数据集。同时,由于您创建了本教程所使用的项目,因此您在项目级层拥有“所有者”访问权限。“所有者”访问权限可让您在项目中运行作业。
权限详情
您可以通过授予以下任意一个预定义 IAM 角色,在项目级层设置 bigquery.jobs.create
权限:
bigquery.user
bigquery.jobUser
bigquery.admin
如果您向用户或群组授予项目级层的 bigquery.user
角色,则在默认情况下,系统不会向其授予该项目中任何数据集、表或视图的访问权限。具有 bigquery.user
角色的用户可以创建自己的数据集,还可对其已获访问权限的数据集运行查询作业。如果您分配了 bigquery.user
或 bigquery.jobUser
角色,那么还必须分配对用户或群组需要访问但并非由用户创建的每个数据集的访问权限控制。
在分配对数据集的访问权限时,共有 3 个选项:
- 可查看映射到该数据集的 bigquery.dataViewer 角色。
- 可修改映射到该数据集的 bigquery.dataEditor 角色。
- 为所有者映射到该数据集的 bigquery.dataOwner 角色。
如果用户要运行查询,则所需的最低访问权限为可查看。
如需详细了解 BigQuery 中的 IAM 角色,请参阅 BigQuery 文档中的访问控制。
如需详细了解如何在 BigQuery 中确保数据集的安全,请参阅 BigQuery 文档中的控制对数据集的访问权限。
创建数据源
如需创建数据源,请执行以下操作:
打开 Looker 数据洞察。
在报告页面的“开始创建新的报告”部分中,点击空白报告模板。这会创建一份新的无标题报告。
看到系统提示时,填写营销资料接收设置以及账号和隐私设置,然后点击保存。保存设置后,您可能需要再次点击空白模板。
在添加数据源窗口中,点击创建新数据源。
在 Google 连接器部分中,将鼠标悬停在 BigQuery 上方,然后点击选择。
在授权部分,点击授权。这将允许 Looker 数据洞察访问您的 Google Cloud 项目。
在 Request for permission(请求权限)对话框中,点击允许以使 Looker 数据洞察能够查看 BigQuery 中的数据。如果您以前使用过 Looker 数据洞察,则可能不会收到此提示。
让我的项目保持选中状态,然后在项目窗格中点击项目名称。
在数据集窗格中,点击 biengine_tutorial。
在表窗格中,点击 311_service_requests_copy。
在窗口的右上角,点击连接。在 Looker 数据洞察连接到 BigQuery 数据源后,系统会显示表的字段。您可以使用此页面调整字段属性,或者创建新的计算字段。
点击右上角的添加到报告。
出现提示时,点击添加到报告。
在 Request for permission(请求权限)对话框中,点击允许以使 Looker 数据洞察能够查看和管理 Google 云端硬盘中的文件。如果您以前使用过 Looker 数据洞察,则可能不会收到此提示。
创建图表
将数据源添加到报告之后,接下来是创建可视化。首先创建一个条形图。您创建的条形图会按社区显示热门投诉。
如需创建一个条形图以按社区显示投诉,请按如下方法操作:
(可选)在页面顶部,点击未命名报告以更改报告名称。例如,输入
BI Engine tutorial
。报告编辑器加载完成后,点击插入 > 条形图。
使用手柄,展开图表的大小。
在数据标签页上,注意数据源的值为
311_service_requests_copy
。由于您要按社区绘制请求人数图表,因此需要将维度设置为
category
,将“细分”维度设置为neighborhood
。点击默认维度(可能为status
),然后在列表中选择类别。在可用字段列表中,点击社区并将其拖到细分维度下的在此处添加维度框中。
添加过滤条件
由于数据包含 neighborhood
列中的多个 NULL
值,因此您添加了一个过滤条件以从图表中排除 NULL
值。
要添加过滤条件,请按以下步骤操作:
在数据标签页上,点击添加过滤条件。
在创建过滤条件对话框中执行以下操作:
- 在名称部分,输入 Exclude nulls。
- 确认数据源已设置为
311_service_requests_copy
。 - 点击包括,然后选择排除。
- 点击选择字段,然后选择社区。
点击选择条件,然后选择为空。
点击保存。
应用过滤条件后,您的图表应如下所示。
清除数据
为避免系统因本快速入门中使用的资源向您的 Google Cloud 账号收取费用,您可以删除项目和/或 BI Engine 预留。
删除项目
为了避免产生费用,最简单的方法是删除您为本教程创建的项目。
如需删除项目,请执行以下操作:
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
删除预留
或者,如果您打算保留该项目,则可以通过删除容量预留来避免产生额外的 BI Engine 费用。
要删除预留,请按以下步骤操作:
在 Google Cloud 控制台中的管理下,转到 BI Engine 页面。
在预留部分,找到您的预留。
在操作列中,点击预留右侧的
图标,然后选择删除。在“删除预留吗?”对话框中,输入删除,然后点击删除。
后续步骤
- 如需大致了解 BigQuery BI Engine,请参阅 BigQuery BI Engine 简介。
- 如需详细了解 Looker 数据洞察,请访问帮助中心。
- 了解如何预留容量。
- 详细了解 BigQuery BI Engine 的价格。