本文档介绍了如何以编程方式向适用于 Apache Flink 的 BigQuery 引擎进行身份验证。如何向适用于 Apache Flink 的 BigQuery 引擎进行身份验证取决于您用于访问 API 的界面以及运行代码的环境。
向 Apache Flink 专用 BigQuery Engine 进行身份验证后,您必须授予特定权限才能访问 Google Cloud 资源。如需了解详情,请参阅适用于 Apache Flink 的 BigQuery 引擎安全和权限。如需详细了解 Google Cloud 身份验证,请参阅身份验证概览。
API 访问权限
适用于 Apache Flink 的 BigQuery 引擎支持程序化访问。您可以通过以下方式访问 API:
Google Cloud CLI
使用 gcloud CLI 访问适用于 Apache Flink 的 BigQuery Engine 时,您需要使用用户账号登录 gcloud CLI,该账号会提供 gcloud CLI 命令使用的凭据。
如果您的组织的安全政策阻止用户账号获取所需的权限,您可以使用服务账号模拟。
如需了解详情,请参阅使用 gcloud CLI 时进行身份验证。如需详细了解如何将 gcloud CLI 与 Apache Flink 专用 BigQuery Engine 搭配使用,请参阅 gcloud CLI 参考页面。
为适用于 Apache Flink 的 BigQuery 引擎设置身份验证
设置身份验证的方式取决于代码在其中运行的环境。
以下是最常用的身份验证设置选项。如需了解有关身份验证的更多选项和信息,请参阅身份验证方法。
对于本地开发环境
您可以通过以下方式为本地开发环境设置凭据:
客户端库或第三方工具
在本地环境中设置应用默认凭据 (ADC):
-
Install the Google Cloud CLI, then initialize it by running the following command:
gcloud init
-
If you're using a local shell, then create local authentication credentials for your user account:
gcloud auth application-default login
You don't need to do this if you're using Cloud Shell.
登录屏幕随即出现。在您登录后,您的凭据会存储在 ADC 使用的本地凭据文件中。
如需详细了解如何在本地环境中使用 ADC,请参阅为本地开发环境设置 ADC。
服务账号模拟
在大多数情况下,您可以使用用户凭据从本地开发环境进行身份验证。如果这种方法不可行,或者您需要测试分配给服务账号的权限,则可以使用服务账号模拟。您必须拥有 iam.serviceAccounts.getAccessToken
权限,该权限包含在 Service Account Token Creator (roles/iam.serviceAccountTokenCreator
) IAM 角色中。
您可以使用 gcloud config set
命令将 gcloud CLI 设置为使用服务账号模拟:
gcloud config set auth/impersonate_service_account SERVICE_ACCT_EMAIL
对于某些语言,您可以使用服务账号模拟创建本地 ADC 文件,供客户端库使用。只有 Go、Java、Node.js 和 Python 客户端库支持此方法,而其他语言不支持此方法。如需使用服务账号模拟设置本地 ADC 文件,请将 --impersonate-service-account
标志与 gcloud auth application-default login
命令结合使用:
gcloud auth application-default login --impersonate-service-account=SERVICE_ACCT_EMAIL
如需详细了解服务账号模拟,请参阅使用服务账号模拟。
在 Google Cloud
如需对 Google Cloud上运行的工作负载进行身份验证,请使用关联到代码在其中运行的计算资源(例如 Compute Engine 虚拟机 [VM] 实例)的服务账号的凭据。对于在 Google Cloud 计算资源上运行的代码,这是首选的身份验证方法。
对于大多数服务,您必须在创建将运行代码的资源时关联服务账号;您之后无法添加或替换服务账号。Compute Engine 是一个例外,它允许您随时将服务账号关联到虚拟机实例。
使用 gcloud CLI 创建服务账号并将其关联到您的资源:
-
Install the Google Cloud CLI, then initialize it by running the following command:
gcloud init
-
Set up authentication:
-
Create the service account:
gcloud iam service-accounts create SERVICE_ACCOUNT_NAME
Replace
SERVICE_ACCOUNT_NAME
with a name for the service account. -
To provide access to your project and your resources, grant a role to the service account:
gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=ROLE
Replace the following:
SERVICE_ACCOUNT_NAME
: the name of the service accountPROJECT_ID
: the project ID where you created the service accountROLE
: the role to grant
- To grant another role to the service account, run the command as you did in the previous step.
-
Grant the required role to the principal that will attach the service account to other resources.
gcloud iam service-accounts add-iam-policy-binding SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com --member="user:USER_EMAIL" --role=roles/iam.serviceAccountUser
Replace the following:
SERVICE_ACCOUNT_NAME
: the name of the service accountPROJECT_ID
: the project ID where you created the service accountUSER_EMAIL
: the email address for a Google Account
-
-
创建将运行代码的资源,并将服务账号关联到该资源。例如,如果您使用 Compute Engine:
Create a Compute Engine instance. Configure the instance as follows:-
将
INSTANCE_NAME
替换为您偏好的实例名称。 -
将
--zone
标志设置为您要在其中创建实例的可用区。 -
将
--service-account
标志设置为您创建的服务账号的电子邮件地址。
gcloud compute instances create INSTANCE_NAME --zone=ZONE --service-account=SERVICE_ACCOUNT_EMAIL
-
将
如需详细了解如何向 Google API 进行身份验证,请参阅身份验证方法。
适用于 Apache Flink 的 BigQuery 引擎的访问权限控制
向适用于 Apache Flink 的 BigQuery 引擎进行身份验证后,您必须获得访问 Google Cloud 资源的授权。适用于 Apache Flink 的 BigQuery 引擎使用 Identity and Access Management (IAM) 进行授权。
如需详细了解适用于 Apache Flink 的 BigQuery Engine 的角色,请参阅使用 IAM 进行访问权限控制。 如需详细了解 IAM 和授权,请参阅 IAM 概览。
后续步骤
- 配置适用于 Apache Flink 的 BigQuery 引擎,以访问 Google Cloud 资源。
- 了解 Google Cloud 身份验证方法。
- 请参阅身份验证使用场景列表。