向 Dataproc 进行身份验证

本文档介绍了如何以编程方式向 Dataproc 进行身份验证。如何向 Dataproc 进行身份验证取决于您用于访问 API 的界面以及运行代码的环境。

如需详细了解 Google Cloud 身份验证，请参阅身份验证概览。

API 访问权限

Dataproc 支持程序化访问。您可以通过以下方式访问 API：

• 客户端库
• Google Cloud CLI
• REST

客户端库

Dataproc 客户端库提供了以编程方式向 Dataproc 进行身份验证的高级语言支持。 为了对 Google Cloud API 的调用进行身份验证，客户端库支持应用默认凭据 (ADC)；这些库会在一组定义的位置查找凭据，并使用这些凭据对发送到 API 的请求进行身份验证。借助 ADC，您可以在各种环境（例如本地开发或生产环境）中为您的应用提供凭据，而无需修改应用代码。

Google Cloud CLI

使用 gcloud CLI 访问 Dataproc 时，您需要使用用户账号登录 gcloud CLI，该账号会提供 gcloud CLI 命令使用的凭据。

如果您的组织的安全政策阻止用户账号获取所需的权限，您可以使用服务账号模拟。

如需了解详情，请参阅使用 gcloud CLI 时进行身份验证。如需详细了解如何将 gcloud CLI 与 Dataproc 搭配使用， 请参阅 gcloud CLI 参考页面。

REST

您可以使用 gcloud CLI 凭据或使用应用默认凭据向 Dataproc API 进行身份验证。如需详细了解 REST 请求身份验证，请参阅使用 REST 时进行身份验证。如需了解凭据类型，请参阅 gcloud CLI 凭据和 ADC 凭据。

为 Dataproc 设置身份验证

设置身份验证的方式取决于代码在其中运行的环境。

以下是最常用的身份验证设置选项。如需了解有关身份验证的更多选项和信息，请参阅身份验证方法。

对于本地开发环境

您可以通过以下方式为本地开发环境设置凭据：

• 客户端库或第三方工具的用户凭据
• 从命令行发出的 REST 请求的用户凭据

客户端库或第三方工具

在本地环境中设置应用默认凭据 (ADC)：

1. Install the Google Cloud CLI, then initialize it by running the following command:

   gcloud init

2. If you're using a local shell, then create local authentication credentials for your user account:

   gcloud auth application-default login

   You don't need to do this if you're using Cloud Shell.

   登录屏幕随即出现。在您登录后，您的凭据会存储在 ADC 使用的本地凭据文件中。

如需详细了解如何在本地环境中使用 ADC，请参阅本地开发环境。

从命令行发出的 REST 请求

从命令行发出 REST 请求时，您可以通过在发送该请求的命令中添加 gcloud auth print-access-token 来使用 gcloud CLI 凭据。

以下示例列出了指定项目的服务账号。您可以对任何 REST 请求使用相同的模式。

在使用任何请求数据之前，请先进行以下替换：

• PROJECT_ID：您的 Google Cloud 项目 ID。

如需发送您的请求，请展开以下选项之一：

curl（Linux、macOS 或 Cloud Shell）

执行以下命令：

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://iam.googleapis.com/v1/projects/PROJECT_ID/serviceAccounts"

PowerShell (Windows)

执行以下命令：

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://iam.googleapis.com/v1/projects/PROJECT_ID/serviceAccounts" | Select-Object -Expand Content

 

如需详细了解如何使用 REST 和 gRPC 进行身份验证，请参阅使用 REST 时进行身份验证。如需了解本地 ADC 凭据与 gcloud CLI 凭据之间的区别，请参阅 gcloud CLI 凭据和 ADC 凭据。

在 Google Cloud 上

如需对 Google Cloud 上运行的工作负载进行身份验证，请使用关联到代码在其中运行的计算资源（例如 Compute Engine 虚拟机 [VM] 实例）的服务账号的凭据。对于在 Google Cloud 计算资源上运行的代码，这是首选的身份验证方法。

对于大多数服务，您必须在创建将运行代码的资源时关联服务账号；您之后无法添加或替换服务账号。Compute Engine 是一个例外，它允许您随时将服务账号关联到虚拟机实例。

使用 gcloud CLI 创建服务账号并将其关联到您的资源：

1. Install the Google Cloud CLI, then initialize it by running the following command:

   gcloud init

2. Set up authentication:

   1. Create the service account:

      gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

      Replace SERVICE_ACCOUNT_NAME with a name for the service account.

   2. To provide access to your project and your resources, grant a role to the service account:

      gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=ROLE

      Replace the following:

      • SERVICE_ACCOUNT_NAME: the name of the service account
      • PROJECT_ID: the project ID where you created the service account
      • ROLE: the role to grant
      Note: The --role flag affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later. In production environments, do not grant the Owner, Editor, or Viewer roles. Instead, grant a predefined role or custom role that meets your needs.
   3. To grant another role to the service account, run the command as you did in the previous step.

   4. Grant the required role to the principal that will attach the service account to other resources.

      gcloud iam service-accounts add-iam-policy-binding SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com --member="user:USER_EMAIL" --role=roles/iam.serviceAccountUser

      Replace the following:

      • SERVICE_ACCOUNT_NAME: the name of the service account
      • PROJECT_ID: the project ID where you created the service account
      • USER_EMAIL: the email address for a Google Account

3. 创建将运行代码的资源，并将服务账号关联到该资源。例如，如果您使用 Compute Engine：

   Create a Compute Engine instance. Configure the instance as follows:
   • 将 INSTANCE_NAME 替换为您偏好的实例名称。
   • 将 --zone 标志设置为您要在其中创建实例的可用区。
   • 将 --service-account 标志设置为您创建的服务账号的电子邮件地址。

   gcloud compute instances create INSTANCE_NAME --zone=ZONE --service-account=SERVICE_ACCOUNT_EMAIL

如需详细了解如何向 Google API 进行身份验证，请参阅身份验证方法。

在本地或在其他云服务提供商上

如需在 Google Cloud 外部设置身份验证，首选方法是使用工作负载身份联合。如需了解详情，请参阅身份验证文档中的本地或其他云服务提供商。

后续步骤

• 了解 Dataproc 服务账号。
• 了解如何使用自定义虚拟机服务账号创建集群。
• 了解 Google Cloud 身份验证方法。
• 请参阅身份验证使用场景列表。