将 Dataproc JupyterLab 插件用于无服务器批处理和交互式笔记本会话

Dataproc 无服务器的限制和注意事项

  • Spark 作业使用服务账号身份（而不是提交用户的身份）执行。

准备工作

  1. 登录您的 Google Cloud 账号。如果您是 Google Cloud 新手，请创建一个账号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金，用于运行、测试和部署工作负载。

  2. 在 Google Cloud Console 中的项目选择器页面上，选择或创建一个 Google Cloud 项目。

    转到“项目选择器”

  3. 启用 Dataproc API。

    启用 API

  4. 安装 Google Cloud CLI。

  5. 如需初始化 gcloud CLI，请运行以下命令： 

    gcloud init
    6.

  6. 在 Google Cloud Console 中的项目选择器页面上，选择或创建一个 Google Cloud 项目。

    转到“项目选择器”

  7. 启用 Dataproc API。

    启用 API

  8. 安装 Google Cloud CLI。

  9. 如需初始化 gcloud CLI，请运行以下命令： 

    gcloud init
    10.

安装 Dataproc JupyterLab 插件

您可以在有权访问 Google 服务的机器或虚拟机（例如本地机器或 Compute Engine 虚拟机实例）上安装和使用 Dataproc JupyterLab 插件。

如需安装该插件，请按以下步骤操作：

  1. 确保您的机器上安装了 Python 3.8+。您可以从 python.org/downloads 下载并安装 Python。

    1. 验证是否已安装 Python 3.8 及更高版本。

      python3 --version

  2. 在您的机器上安装 JupyterLab 3.6.3+。

    pip3 install --upgrade jupyterlab

    1. 验证 JupyterLab 3.6.3 及更高版本安装情况。

      pip3 show jupyterlab

  3. 安装 Dataproc JupyterLab 插件。

    pip3 install dataproc-jupyter-plugin

    1. 如果您的 JupyterLab 版本低于 4.0.0，请启用该插件扩展程序。

      jupyter server extension enable dataproc_jupyter_plugin

  4. 启动 JupyterLab。

    jupyter lab

    1. JupyterLab 启动器页面会在浏览器中打开。它包含 Dataproc 作业和会话部分。如果您有权访问 Dataproc 无服务器笔记本或 Dataproc 集群并且您的项目中正在运行 Jupyter 可选组件，则它还可以包含 Dataproc 无服务器笔记本和 Dataproc 集群笔记本部分。

    2. 默认情况下，您在准备工作部分运行 gcloud init 时设置的项目和区域中运行 Dataproc Serverless for Spark Interactive 会话。您可以从 JupyterLab 设置 > Dataproc 设置页面更改会话的项目和区域设置。

创建 Dataproc 无服务器运行时模板

Dataproc 无服务器运行时模板（也称为 session 模板）包含用于在会话中执行 Spark 代码的配置设置。您可以使用 Jupyterlab 或 gcloud CLI 创建和管理运行时模板。

JupyterLab

  1. 点击 JupyterLab 启动器页面上 Dataproc 无服务器笔记本部分中的 New runtime template 卡片。

  2. 填写运行时模板表单。

  3. 指定显示名称和说明，然后输入或确认其他设置。

    备注：

    • 网络配置：子网必须启用专用 Google 访问通道，并且必须允许所有端口上的子网通信（请参阅适用于 Spark 网络配置的 Dataproc Serverless）。

      如果您在准备工作部分运行 gcloud init 时所配置的区域的 default 网络子网未启用专用 Google 访问通道，那么：

    • Metastore：如需在会话中使用 Dataproc Metastore 服务，请选择 Metastore 项目 ID、区域和服务。

    • 最长空闲时间：会话终止前的笔记本空闲时间上限。允许的范围：10 分钟到 336 小时（14 天）。

    • 最长会话时间：在会话终止之前会话的最长生命周期。允许的范围：10 分钟到 336 小时（14 天）。

    • PHS：您可以选择可用的永久性 Spark 历史记录服务器，用于在会话期间和之后访问会话日志。

    • Spark 属性：点击添加属性，为无服务器 Spark 会话设置每个属性。如需查看受支持和不受支持的 Spark 属性（包括 Spark 运行时、资源和自动扩缩属性），请参阅 Spark 属性。

    • 标签：为要针对无服务器 Spark 会话设置的每个标签点击添加标签。

  4. 从设置 > Dataproc 设置页面查看您的运行时模板。

    • 您可以从模板的操作菜单中删除模板。

  5. 点击保存。

  6. 打开并重新加载 JupyterLab 启动器页面，以在 JupyterLab 启动器页面上查看已保存的笔记本模板卡片。

gcloud

  1. 使用运行时模板配置创建 YAML 文件。

    简单的 YAML

    environmentConfig:
  executionConfig:
    networkUri: default
jupyterSession:
  kernel: PYTHON
  displayName: Team A
labels:
  purpose: testing
description: Team A Development Environment

    复杂的 YAML

    environmentConfig:
  executionConfig:
    serviceAccount: sa1
    # Choose either networkUri or subnetworkUri
    networkUri: default
    subnetworkUri: subnet
    networkTags:
     - tag1
    kmsKey: key1
    idleTtl: 3600s
    ttl: 14400s
    stagingBucket: staging-bucket
  peripheralsConfig:
    metastoreService: projects/my-project-id/locations/us-central1/services/my-metastore-id
    sparkHistoryServerConfig:
      dataprocCluster: projects/my-project-id/regions/us-central1/clusters/my-cluster-id
jupyterSession:
  kernel: PYTHON
  displayName: Team A
labels:
  purpose: testing
runtimeConfig:
  version: "1.1"
  containerImage: gcr.io/my-project-id/my-image:1.0.1
  properties:
    "p1": "v1"
description: Team A Development Environment

    如果您在准备工作部分运行 gcloud init 时所配置的区域的 default 网络子网未对专用 Google 访问通道启用，则：

  2. 在本地或 Cloud Shell 中运行以下 gcloud beta dataproc session-templates import 命令，以基于 YAML 文件创建会话（运行时）模板：

    gcloud beta dataproc session-templates import TEMPLATE_ID \
    --source=YAML_FILE \
    --project=PROJECT_ID \
    --location=REGION

启动和管理笔记本

安装 Dataproc JupyterLab 插件后，您可以点击 JupyterLab 启动器页面上的模板卡片，以便执行以下操作：

在 Dataproc Serverless 上启动 Jupyter 笔记本

JupyterLab 启动器页面上的 Dataproc 无服务器笔记本部分显示了映射到 Dataproc Serverless 运行时模板的笔记本模板卡片（请参阅创建 Dataproc 无服务器运行时模板）。

  1. 点击卡片即可创建 Dataproc 无服务器会话并启动笔记本。会话创建完毕且笔记本内核可供使用后，内核状态会从 Unknown 更改为 Idle。

  2. 编写和测试笔记本代码。

    1. 复制以下 PySpark Pi estimation 代码并将其粘贴到 PySpark 笔记本单元中，然后按 Shift+Return 运行该代码。

      import random
    
def inside(p):
    x, y = random.random(), random.random()
    return x*x + y*y < 1
    
count = sc.parallelize(range(0, 10000)) .filter(inside).count()
print("Pi is roughly %f" % (4.0 * count / 10000))

      笔记本结果：

  3. 创建和使用笔记本后，您可以通过点击内核标签页中的关闭内核来终止笔记本会话。

    • 如果您没有终止会话，Dataproc 将在会话空闲计时器到期时终止会话。您可以在运行时模板配置中配置会话空闲时间。会话的默认空闲时间为 1 小时。

在 Compute Engine 集群上启动 Dataproc

如果您在 Compute Engine Jupyter 集群上创建了 Dataproc，则 JupyterLab 启动器页面包含 Dataproc 集群笔记本部分，其中预安装了内核卡。

如需在 Compute Engine 集群上的 Dataproc 上启动 Jupyter 笔记本，请执行以下操作：

  1. 点击 Dataproc 集群笔记本部分中的卡片。

  2. 当内核状态从 Unknown 更改为 Idle 时，您可以开始编写和执行笔记本代码。

  3. 创建和使用笔记本后，您可以通过点击内核标签页中的关闭内核来终止笔记本会话。

管理 Cloud Storage 中的输入和输出文件

分析探索性数据和构建机器学习模型通常涉及基于文件的输入和输出。Dataproc Serverless 会在 Cloud Storage 上访问这些文件。

  • 要访问 Cloud Storage 浏览器，请点击 JupyterLab 启动器页面边栏中的 Cloud Storage 浏览器图标，然后双击文件夹以查看其内容。

  • 您可以点击 Jupyter 支持的文件类型，以打开和修改它们。在您保存对文件的更改时，这些文件会写入 Cloud Storage。

  • 如需创建新的 Cloud Storage 文件夹，请点击“新文件夹”图标，然后输入文件夹名称。

  • 如需将文件上传到 Cloud Storage 存储桶或文件夹，请点击上传图标，然后选择要上传的文件。

开发 Spark 笔记本代码

安装 Dataproc JupyterLab 插件后，您可以从 JupyterLab 启动器页面启动 Jupyter 笔记本以开发应用代码。

PySpark 和 Python 代码开发

Dataproc Serverless 和 Dataproc on Compute Engine 集群支持 PySpark 内核。Compute Engine 上的 Dataproc 也支持 Python 内核。

SQL 代码开发

点击 JupyterLab 启动器页面的 Dataproc 无服务器笔记本或 Dataproc 集群笔记本部分中的 PySpark 内核卡，以打开 PySpark 笔记本以编写和执行 SQL 代码。

Spark SQL 魔法命令：由于启动 Dataproc 无服务器笔记本的 PySpark 内核预加载了 Spark SQL 魔法命令，而不是使用 spark.sql('SQL STATEMENT').show() 封装 SQL 语句，因此您可以在单元格顶部输入 %%sparksql magic，然后在单元格中输入 SQL 语句。

BigQuery SQL：借助 BigQuery Spark 连接器，您的笔记本代码可以从 BigQuery 表中加载数据，在 Spark 中执行分析，然后将结果写入 BigQuery 表。

Dataproc Serverless 2.1 运行时包含 BigQuery Spark 连接器。如果您使用 Dataproc Serverless 2.0 或更早版本的运行时启动 Dataproc Serverless 笔记本，则可以通过将以下 Spark 属性添加到 Dataproc Serverless 运行时模板来安装 Spark BigQuery Connector：

spark.jars: gs://spark-lib/bigquery/spark-bigquery-with-dependencies_2.12-0.25.2.jar

Scala 代码开发

使用映像版本 2.0+、2.1+ 及更高版本创建的 Compute Engine 上的 Dataproc 包含 Apache Toree，它是 Jupyter 笔记本平台的 Scala 内核，可提供对 Spark 的交互式访问。

  • 点击 JupyterLab 启动器页面上的 Dataproc 集群笔记本部分中的 Apache Toree 卡片，以打开用于 Scala 代码开发的笔记本。

元数据浏览器

如果 Dataproc Metastore (DPMS) 实例已附加到 Dataproc 无服务器运行时模板或 Dataproc on Compute Engine 集群，则打开笔记本时，DPMS 实例架构会显示在 JupyterLab Metadata Explorer 中。DPMS 是 Google Cloud 上的一项可横向伸缩的全托管式 Hive Metastore (HMS) 服务。

如需在 Metadata Explorer 中查看 HMS 元数据，请执行以下操作：

如需打开 JupyterLab Metadata Explorer，请在边栏中点击其图标。

您可以在 Metadata Explorer 中搜索数据库、表或列。点击数据库、表或列名称以查看关联的元数据。

部署代码

安装 Dataproc JupyterLab 插件后，您可以使用 JupyterLab 执行以下操作：

  • 在 Dataproc 无服务器基础架构上执行笔记本代码

  • 将批量作业提交到 Dataproc 无服务器基础架构或 Compute Engine 集群上的 Dataproc。

在 Dataproc Serverless 上运行笔记本代码

  • 点击运行图标或按 Shift-Return 键以运行笔记本单元中的代码。

  • 使用运行菜单可运行一个或多个笔记本单元中的代码。

将批量作业提交到 Dataproc Serverless

  • 点击 JupyterLab 启动器页面上 Dataproc 作业和会话部分中的无服务器卡片。

  • 点击批次标签页，然后点击创建批次，并填写批次信息字段。

  • 点击提交以提交作业。

将批量作业提交到 Dataproc on Compute Engine 集群

  • 点击 JupyterLab 启动器页面上 Dataproc 作业和会话部分中的集群卡片。

  • 点击作业标签页，然后点击提交作业。

  • 选择集群，然后填写作业字段。

  • 点击提交以提交作业。

查看和管理资源

安装 Dataproc JupyterLab 插件后，您可以从 JupyterLab 启动器页面的 Dataproc 作业和会话部分查看和管理 Compute Engine 上的 Dataproc Serverless 和 Dataproc。

点击 Dataproc 作业和会话部分以显示集群和无服务器卡片。

如需查看和管理 Dataproc Serverless 会话，请执行以下操作：

  1. 点击无服务器卡片。
  2. 点击会话标签页，然后点击会话 ID 以打开会话详情页面，以查看会话属性、在 Logs Explorer 中查看 Google Cloud 日志以及终止会话。注意：系统会创建一个唯一的 Dataproc Serverless 会话来启动每个 Dataproc Serverless 笔记本。

如需查看和管理 Dataproc 无服务器批次，请执行以下操作：

  1. 点击批次标签页，查看当前项目和区域中 Dataproc Serverless 批次的列表。点击批次 ID 即可查看批次详细信息。

如需在 Compute Engine 集群上查看和管理 Dataproc，请执行以下操作：

  1. 点击集群卡片。已选择集群标签页，以列出当前项目和区域中处于活跃状态的 Compute Engine 集群。您可以点击操作列中的图标来启动、停止或重启集群。点击集群名称即可查看集群详情。您可以点击操作列中的图标以克隆、停止或删除作业。

如需查看和管理 Dataproc on Compute Engine 作业，请执行以下操作：

  1. 点击作业卡片，查看当前项目中的作业列表。点击作业 ID 即可查看作业详情。