Snowflake

如需将 Looker 连接到 Snowflake，请按以下步骤操作：

  1. 在 Snowflake 上创建 Looker 用户并配置访问权限。
  2. 在 Looker 中设置数据库连接。

对网络流量进行加密

最佳做法是对 Looker 应用和数据库之间的网络流量进行加密。请考虑启用安全的数据库访问文档页面中所述的选项之一。

在 Snowflake 上创建 Looker 用户

我们建议使用以下命令来创建 Looker 用户。请务必单独运行每一行。

（可选）添加 ON FUTURE 关键字，以将 GRANT 语句保留在新创建的对象上。我们建议对 Looker 将使用的所有架构中的表运行此命令，这样您就无需在创建新表时重新运行 GRANT 语句。

-- change role to ACCOUNTADMIN
use role ACCOUNTADMIN;

-- create role for looker
create role if not exists looker_role;
grant role looker_role to role SYSADMIN;
    -- Note that we are not making the looker_role a SYSADMIN,
    -- but rather granting users with the SYSADMIN role to modify the looker_role

-- create a user for looker
create user if not exists looker_user
password = <enter password here>;
grant role looker_role to user looker_user;
alter user looker_user
set default_role = looker_role
default_warehouse = looker_wh;

-- change role
use role SYSADMIN;

-- create a warehouse for looker (optional)
create warehouse if not exists looker_wh

-- set the size based on your dataset
warehouse_size = medium
warehouse_type = standard
auto_suspend = 1800
auto_resume = true
initially_suspended = true;
grant all privileges
on warehouse looker_wh
to role looker_role;

-- grant read only database access (repeat for all database/schemas)
grant usage on database <database> to role looker_role;
grant usage on schema <database>.<schema> to role looker_role;

-- rerun the following any time a table is added to the schema
grant select on all tables in schema <database>.<schema> to role looker_role;
-- or
grant select on future tables in schema <database>.<schema> to role looker_role;

-- create schema for looker to write back to
use database <database>;
create schema if not exists looker_scratch;
use role ACCOUNTADMIN;
grant ownership on schema looker_scratch to role SYSADMIN revoke current grants;
grant all on schema looker_scratch to role looker_role;

如果将之前的命令批量粘贴到 Snowflake 连接面板中，请选中所有查询复选框，以确保运行所有行。默认情况下，Snowflake 仅运行所选代码。

选中了“所有查询”复选框的 Snowflake 控制台。

正在创建与数据库的 Looker 连接

在 Looker 的管理部分中，选择连接，然后点击添加连接。

填写连接详情。大多数设置对大多数数据库方言都是通用的。如需了解详情，请参阅将 Looker 连接到您的数据库文档页面。部分设置如下所述：

  • 名称：为连接命名。这是 LookML 模型引用连接的方式。
  • 方言：选择 Snowflake。
  • Host（主机）：输入 Snowflake 主机名。它的格式为 <account_name>.snowflakecomputing.com。请参阅 Snowflake 账号名称示例（按区域），确保为部署使用正确的值。
  • 端口：默认值为 443。
  • 数据库：输入要使用的默认数据库。此字段区分大小写。
  • 架构：输入默认架构。
  • Authentication：选择数据库帐号或 OAuth：
    • 使用数据库账号指定将用于连接到 Looker 的 Snowflake 用户账号的用户名和密码。
    • 如果要为连接配置 OAuth，请使用 OAuth。

  • 启用 PDT：使用此切换开关可启用永久性派生表 (PDT)。启用 PDT 会显示额外的 PDT 字段以及连接的 PDT 覆盖部分。

  • 临时数据库：如果启用了 PDT，请将此字段设置为用户具有创建、删除、重命名和更改表的完整权限的架构。

  • 每个节点的连接数上限：此设置最初可以保留默认值。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面的每个节点的连接数上限部分。

  • 费用估算：为连接上的探索查询启用费用估算、SQL Runner 查询费用估算以及汇总感知查询的费用估算。

  • 数据库时区：Snowflake 数据库用于存储日期和时间的时区。默认时间是世界协调时间 (UTC)。这是可选操作。

  • 查询时区：您希望查询显示的时区。例如，美国东部（美洲 – 纽约）。这是可选操作。

  • 其他 JDBC 参数：从 Snowflake JDBC 驱动程序添加其他 JDBC 参数。

    • 添加 warehouse=<YOUR WAREHOUSE NAME>。

    • 此外，默认情况下，Looker 会在每个会话上设置以下 Snowflake 参数：

      • TIMESTAMP_TYPE_MAPPING=TIMESTAMP_LTZ
      • JDBC_TREAT_DECIMAL_AS_INT=FALSE
      • TIMESTAMP_INPUT_FORMAT=AUTO
      • AUTOCOMMIT=TRUE

      您可以通过在其他 JDBC 参数字段中设置替代值来替换每个参数，例如：&AUTOCOMMIT=FALSE

如需验证连接是否成功，请点击测试。如需了解问题排查信息，请参阅测试数据库连接文档页面。

要保存这些设置，请点击连接。

按组或每个用户指定 Snowflake 仓库

您可以使用 Looker 用户属性为各个 Looker 用户或群组分配单独的 Snowflake 仓库。例如，如果您的用户需要不同级别的计算能力，此设置会非常有用。您可以将具有更多计算资源的仓库分配给需要的用户，而将资源较少的仓库分配给需求较少的用户。

如需按组或用户指定仓库，请按以下步骤操作：

  1. 在 Looker 中添加群组或用户。

  2. 在 Looker 中定义将用来存储 Snowflake 仓库名称的用户属性。您可以为此属性指定任何名称，例如 snowflake_wh。

    Looker 中的“用户属性”页面，其中显示了 Snowflake 仓库用户属性。

  3. 在您刚刚定义的用户属性中，将仓库名称值分配给群组或用户。

    Looker 中的“用户属性”页面，其中显示了已分配给某个组的 Snowflake 仓库用户属性。

  4. 在连接设置页面的其他 JDBC 参数字段中，添加以下内容，并将 snowflake_warehouse 替换为您定义的用户属性名称：

      warehouse={{ _user_attributes['snowflake_warehouse'] }}

    例如：

    Looker 中的“连接设置”页面，其中显示了带有仓库用户属性参数的“其他 JDBC 参数”字段。

  5. 如需测试各项连接设置，您可以运行 sudo 以为用户分配仓库名称值。

您可以在 Red Pill Analytics 博客中查看有关此过程的更详细的说明。

Snowflake 的自动暂停功能

Snowflake 仓库具有一项默认启用的自动暂停功能。超过指定期限后，仓库会自动暂停。如果仓库暂停，所有查询都会生成错误。此错误不会在信息中心内显示（通常不会显示任何数据），但使用“探索”页面查询时会显示此错误。

Snowflake 还具有自动恢复功能，可在收到查询时恢复仓库。但是，恢复仓库最多可能需要五分钟时间，会导致查询在五分钟后停止响应，然后才能返回。这些功能无法在 Looker 中配置。在 Snowflake 界面的仓库标签页中启用这些功能。

Snowflake 界面中的“仓库”标签页，显示了“自动暂停”和“自动恢复”复选框

PDT 支持

如需获得永久性派生表支持，请为 PDT 创建一个 Snowflake 用户帐号，该帐号拥有数据库的写入权限以及 Looker 将用于创建 PDT 的临时架构。在 Looker 连接设置页面的永久性派生表 (PDT) 部分中，将启用 PDT 开关切换到开启状态。然后，在临时数据库字段中，输入 Looker 将用于创建 PDT 的临时架构的名称。接下来，在 PDT 覆盖部分，输入 PDT 用户的用户名和密码。如需了解详情，请参阅将 Looker 连接到您的数据库文档页面。

使用 OAuth 的 Snowflake 连接不支持 PDT。

对于 Snowflake 连接，Looker 会将 AUTOCOMMIT 参数的值设置为 TRUE（这是 Snowflake 的默认值）。Looker 为维护其 PDT 注册系统而运行的 SQL 命令需要 AUTOCOMMIT。

为 Snowflake 连接配置 OAuth

Looker 支持将 OAuth 用于 Snowflake 连接，这意味着每个 Looker 用户都会在数据库中进行身份验证，并授权 Looker 使用其自己的 OAuth 用户帐号在数据库上运行查询。

利用 OAuth，数据库管理员可以执行以下任务：

  • 审核哪些 Looker 用户正在对数据库运行查询
  • 使用数据库级权限实施基于角色的访问权限控制
  • 为访问数据库的所有进程和操作使用 OAuth 令牌，而不是在多个位置嵌入数据库 ID 和密码
  • 直接通过数据库撤消指定用户的授权

对于使用 OAuth 的 Snowflake 连接，用户必须定期在 OAuth 令牌过期后重新登录。Snowflake OAuth 令牌的有效期通过 Snowflake 本身进行设置。

对于数据库级 OAuth 连接，请注意以下事项：

  • 如果用户允许其 OAuth 令牌过期，其拥有的任何 Looker 时间表或提醒都会受到影响。为防止出现这种情况，Looker 会在当前有效的 OAuth 令牌到期之前，分别向每个时间表和每个提醒的所有者发送电子邮件通知。Looker 会在令牌过期前 14 天、7 天和 1 天发送这些电子邮件通知。用户可以前往 Looker 用户页面，重新授权 Looker 对数据库，以免其时间安排和提醒发生任何中断。有关详情，请参阅对用户帐号设置进行个性化设置文档页面。

  • 由于使用 OAuth 的数据库连接按用户进行，因此缓存策略也是针对具体用户的，而不仅仅是针对查询。这意味着，当在缓存期内运行同一查询时，Looker 不会使用缓存的结果，而是仅当同一用户在缓存期间运行同一查询时才使用缓存的结果。如需详细了解缓存，请参阅缓存查询文档页面。

  • 使用 OAuth 时，您无法切换到 Snowflake 用户账号中的不同角色。如 Snowflake 文档中所述，Snowflake 会使用 Snowflake 用户帐号的默认角色，除非默认角色为 ACCOUNTADMIN 或 SECURITYADMIN。由于这些角色在 OAuth 中被屏蔽，因此 Snowflake 将改用 PUBLIC 角色。如需了解详情，请参阅 Snowflake 文档。

  • 使用 OAuth 的 Snowflake 连接不支持永久性派生表 (PDT)。

  • 当 Looker 管理员以 sudo 作为其他用户时，管理员将使用该用户的 OAuth 访问令牌。如果用户的访问令牌已过期，管理员将无法代表 sudoed 用户创建新令牌。如需了解如何使用 sudo 命令，请参阅用户文档页面。

使用 Looker 针对 OAuth 配置 Snowflake 数据库

如需使用 OAuth 创建与 Looker 的 Snowflake 连接，您必须在 Snowflake 中设置 OAuth 集成。这需要具有 ACCOUNTADMIN 权限的 Snowflake 用户帐号。

  1. 在 Snowflake 中运行以下命令，其中 <looker_hostname> 是 Looker 实例的主机名：

      CREATE SECURITY INTEGRATION LOOKER
    TYPE = OAUTH
    ENABLED = TRUE
    OAUTH_CLIENT = LOOKER
    OAUTH_REDIRECT_URI = 'https://<looker_hostname>/external_oauth/redirect';

  2. 运行以下命令以获取 OAuth 客户端 ID 和密钥：

      SELECT SYSTEM$SHOW_OAUTH_CLIENT_SECRETS('LOOKER');

    响应将包含 OAUTH_CLIENT_ID 和 OAUTH_CLIENT_SECRET，您在此过程的后面部分会用到它们。

  3. 在 Looker 中，按照本页面的创建与数据库的 Looker 连接部分所述，创建与 Snowflake 仓库的新连接。创建新连接时，请在 Authentication（身份验证）字段中选择 OAuth 选项。 选择 OAuth 选项后，Looker 会显示 OAuth 客户端 ID 和 OAuth 客户端密钥字段。

  4. 粘贴您在此过程前面中从数据库获取的 OAUTH_CLIENT_ID 和 OAUTH_CLIENT_SECRET 值。

  5. 完成将 Looker 连接到数据库的其余步骤。

配置 Looker 与数据库的连接后，您可以通过执行以下任一操作来测试连接本身：

  • 按照将 Looker 连接到您的数据库文档页面，选择连接设置页面底部的测试按钮。
  • 在连接管理页面上的连接列表旁，选择测试按钮，如连接文档页面中所述。

除此之外，您可以按照以下步骤测试连接并将其部署在模型上：

  1. 在 Looker 中，进入开发模式。
  2. 前往使用 Snowflake 连接的 Looker 项目的项目文件。
  3. 打开模型文件，将模型的 connection 值替换为新的 Snowflake 连接的名称，然后保存模型文件。
  4. 打开模型的一个探索或信息中心，然后运行查询。当您尝试运行查询时，Looker 会提示您登录 Snowflake。
  5. 按照 Snowflake 的登录提示操作，并输入您的 Snowflake 凭据。

成功登录 Snowflake 后，Looker 会返回您的查询。如果查询运行正常，您可以提交新的连接值并将更改部署到生产环境。

登录 Snowflake 以运行查询

为 OAuth 设置 Snowflake 连接后，系统会在运行查询之前提示用户登录 Snowflake。这包括来自探索、信息中心、Look 和 SQL Runner 的查询。

Looker 界面，其中显示了 OAuth 登录提示。

用户也可以从帐号页面上的 OAuth 连接凭据部分登录 Snowflake。

如需使用 Looker 登录您的 Snowflake 账号，请按以下步骤操作：

Looker 中的“账号”页面，其中显示了“OAuth 连接凭据”部分。

  1. 点击 Looker 用户菜单。
  2. 选择帐号。
  3. 在帐号页面中，转到 OAuth 连接凭据部分，然后选择相应的 Snowflake 数据库对应的登录按钮。

选择登录后，系统会显示 Snowflake 登录对话框。输入您的 Snowflake 凭据并选择登录，然后选择允许，以授予 Looker 对您 Snowflake 账号的访问权限。

通过 Looker 登录 Snowflake 后，您可以随时通过账号页面退出账号或重新授权凭据，如个性化您的用户账号文档页面中所述。

功能支持

要让 Looker 支持某些功能，您的数据库方言也必须支持这些功能。

从 Looker 24.10 开始，Snowflake 支持以下功能：

特征 是否支持？
支持级别
受支持
Looker (Google Cloud Core)
是
对称汇总
是
派生表
是
永久性 SQL 派生表
是
永久性原生派生表
是
稳定视图
是
终止查询
是
基于 SQL 的数据透视
是
时区
是
SSL
是
小计
是
JDBC 其他参数
是
区分大小写
是
位置类型
是
名单类型
是
百分位
是
不同百分位
否
SQL Runner 显示进程
否
SQL Runner 描述表
是
SQL Runner 显示索引
否
SQL Runner 选择 10
是
SQL 运行程序数量
是
SQL 说明
是
OAuth 凭据
是
上下文注释
是
连接池
是
HLL 素描
是
聚合感知
是
增量 PDT
是
毫秒
是
微秒
是
具体化视图
否
非重复近似计数
否

后续步骤

将数据库连接到 Looker 后，请为用户配置登录选项。