排查 Amazon Managed Streaming for Apache Kafka 导入主题的问题

本文档提供了一些关于 Amazon Managed Streaming for Apache Kafka (Amazon MSK) 导入主题的常见问题排查提示。

配置导入主题并开始提取消息后,您可以查看相关的 Cloud Monitoring 指标,了解是否已提取数据。执行以下步骤:

  1. 在控制台中,前往主题页面。

    打开“主题”

  2. 点击要排查问题的 Amazon MSK 导入主题。

  3. 在主题详情页面中,点击指标标签页。

  4. 查看指标“提取的字节数”的图表。

  5. 如果未提取任何数据,请在主题详情页面中检查主题状态字段是否存在错误。

  6. 您还可以查看指标 Ingestion data source state。为此,请在主题详情页面中点击指标标签页。

  7. 以下是您可能会遇到的一些错误:

    错误代码 说明 修复
    MSK_PERMISSION_DENIED 由于权限问题,使用 Amazon MSK 数据时出错。 验证 AWS 角色 ARN 是否准确,并检查 AWS 角色是否具有所需的读取权限。如需了解详情,请参阅在 AWS 中创建政策
    确保服务账号存在,并且已按照使用自定义信任政策在 AWS 中创建角色的步骤中所述正确配置该服务账号。如需详细了解如何创建服务账号,请参阅在 Google Cloud中创建服务账号
    验证 Pub/Sub 服务账号是否具有 iam.serviceAccounts.getOpenIdToken 权限。 如需了解详情,请参阅为 Pub/Sub 服务账号添加 Service Account Token Creator 角色
    验证您是否已向服务账号添加服务账号用户角色。如需了解详情,请参阅向服务账号添加服务账号用户角色
    PUBLISH_PERMISSION_DENIED 由于权限问题,无法发布到 Pub/Sub 主题。 向 Pub/Sub 服务账号授予必要的发布权限。如需了解详情,请参阅向 Pub/Sub 服务账号添加 Pub/Sub 发布者角色
    CLUSTER_NOT_FOUND 未找到所提供的集群。 验证集群 ARN 是否准确无误。确保集群存在且可访问。
    Cluster is not public 无法访问所提供的集群 不支持 VPC 后面的非公开集群。您必须使用公共集群。
    TOPIC_NOT_FOUND 找不到所提供的 Kafka 主题。 验证主题名称是否准确无误。确保主题存在于指定集群中。

如果到目前为止没有出现任何错误,请查看保持发布商账号的良好状态中的最佳实践。

您还可以为导入主题启用平台日志。当您在将对象提取到 Pub/Sub 导入主题时遇到问题时,这些日志可帮助您排查问题。

Apache Kafka® 是 Apache Software Foundation 或其关联公司在美国和/或其他国家/地区的注册商标。