问题排查

本页面介绍了针对一些常见问题和错误的问题排查步骤。

失败的实例

FAILED 状态表示实例数据已丢失，并且必须删除该实例。

处于 FAILED 状态的 Parallelstore 实例会继续计费，直到被删除为止。

如需检索实例的状态，请按照管理实例：检索实例中的说明操作。

如需删除实例，请参阅管理实例：删除实例。

dfuse 挂载或网络测试期间超时

如果在挂载 Parallelstore 实例时，dfuse -m 命令超时；或者 self_test 或 daos health net-test 等网络测试命令超时；则表示 DAOS 代理在设置过程中可能选择了错误的网络接口。

如需验证 DAOS 代理，请运行以下命令：

self_test --use-daos-agent-env -r 1

如果测试报告连接问题，您可能需要排除无法访问 access_points 列表中的 IP 的网络接口。

1. 运行 ifconfig 以列出可用的网络接口。示例输出可能会显示多个网络接口，例如 eth0、docker0、ens8、lo 等。

2. 停止 daos_agent。

3. 修改 /etc/daos/daos_agent.yml 以排除不需要的网络接口。 取消注释 exclude_fabric_ifaces 行并更新值。您要添加的条目取决于您的具体情况。例如：

   exclude_fabric_ifaces: ["docker0", "ens8", "lo"]
   

4. 重启 daos_agent。

ENOSPC（当实例中有未使用的容量时）

如果您的实例使用最小或平衡分块（默认）策略，即使现有文件未使用实例的全部容量，您也可能会遇到 ENOSPC 错误。在写入通常大于 8 GiB 的大文件时，或者从 Cloud Storage 导入此类文件时，就可能会发生这种情况。

使用最大文件剥离功能可降低出现此类错误的可能性。

Google Kubernetes Engine 问题排查

以下部分列出了一些常见问题以及解决这些问题的步骤。

工作负载 Pod 中的 Transport endpoint is not connected

此错误是由于 dfuse 终止而导致的。在大多数情况下，dfuse 因内存不足而终止。使用 pod 注解 gke-parallelstore/[cpu-limit|memory-limit] 为 Parallelstore 边车容器分配更多资源。如果您不知道要为边车分配多少内存，可以设置 gke-parallelstore/memory-limit: "0" 以移除边车内存限制。请注意，这仅适用于 Standard 集群；对于 Autopilot 集群，您无法使用值 0 取消设置边车容器资源限制和请求。您必须为边车容器显式设置更大的资源限制。

修改注释后，您必须重启工作负载 Pod。向正在运行的工作负载添加注解不会动态修改资源分配。

Pod 事件警告

如果您的工作负载 Pod 无法启动，请检查 Pod 事件：

kubectl describe pod POD_NAME -n NAMESPACE

以下是常见错误的解决方案。

CSI 驱动程序启用问题

常见的 CSI 驱动程序启用错误如下：

MountVolume.MountDevice failed for volume "volume" : kubernetes.io/csi:
attacher.MountDevice failed to create newCsiDriverClient:
driver name parallelstore.csi.storage.gke.io not found in the list of registered CSI drivers

MountVolume.SetUp failed for volume "volume" : kubernetes.io/csi:
mounter.SetUpAt failed to get CSI client:
driver name parallelstore.csi.storage.gke.io not found in the list of registered CSI drivers

这些警告表示 CSI 驱动程序未启用或未运行。

如果您的集群刚刚扩缩、更新或升级，则出现此警告属于正常现象，应该是暂时性的。在执行集群操作后，CSI 驱动程序 Pod 需要几分钟才能正常运行。

否则，请确认集群上是否已启用 CSI 驱动程序。如需了解详情，请参阅启用 CSI 驱动程序。如果启用了 CSI，每个节点都会显示一个名为 parallelstore-csi-node-id 且正在运行的 Pod。

MountVolume.SetUp 失败

错误代码	Pod 事件警告	解决方案
ResourceExhausted	MountVolume.SetUp failed for volume "volume" : rpc error: code = ResourceExhausted desc = the sidecar container failed with error: signal: killed MountVolume.SetUp failed for volume "volume" : rpc error: code = ResourceExhausted desc = the sidecar container terminated due to OOMKilled, exit code: 137	dfuse 进程被终止，这通常是由 OOM 引起的。考虑使用注解 gke-parallelstore/memory-limit 提高边车容器内存限制。 如果您不确定要为 parallelstore-sidecar 分配多少内存，我们建议您设置 gke-parallelstore/memory-limit: "0" 以消除 Parallelstore 施加的内存限制。
已中止	MountVolume.SetUp failed for volume "volume" : rpc error: code = Aborted desc = NodePublishVolume request is aborted due to rate limit MountVolume.SetUp failed for volume "volume" : rpc error: code = Aborted desc = An operation with the given volume key key already exists	由于速率限制或存在的操作，卷挂载操作已中止。此警告属于正常现象，应该是暂时性的。
InvalidArgument	MountVolume.SetUp failed for volume "volume" : rpc error: code = InvalidArgument desc =	如果您在 StorageClass 或永久性卷中提供了无效的参数，错误日志将指明包含无效参数的字段。对于动态预配，请查看存储类别。对于静态预配，请参阅永久性卷。
FailedPrecondition	MountVolume.SetUp failed for volume "volume" : rpc error: code = FailedPrecondition desc = can not find the sidecar container in Pod spec	未注入 Parallelstore 边车容器。检查 Pod 注解 gke-parallelstore/volumes: "true" 是否设置正确。

排查 VPC 网络问题

为服务 servicenetworking.googleapis.com 添加对等连接的权限被拒

ERROR: (gcloud.services.vpc-peerings.connect) User [$(USER)] does not have 
permission to access services instance [servicenetworking.googleapis.com]
(or it may not exist): Permission denied to add peering for service
'servicenetworking.googleapis.com'.

此错误表示您没有对用户账号的 servicenetworking.services.addPeering IAM 权限。

如需了解如何向您的账号添加以下任一角色，请参阅使用 IAM 进行访问权限控制：

• roles/compute.networkAdmin 或
• roles/servicenetworking.networksAdmin

无法在 CreateConnection 中修改分配的范围

ERROR: (gcloud.services.vpc-peerings.connect) The operation
"operations/[operation_id]" resulted in a failure "Cannot modify allocated
ranges in CreateConnection. Please use UpdateConnection.

如果您已在此网络上创建了具有不同 IP 网段的 VPC 对等连接，系统会返回此错误。有两个可能的解决方案：

替换现有 IP 范围：

gcloud services vpc-peerings update \
  --network=NETWORK_NAME \
  --ranges=IP_RANGE_NAME \
  --service=servicenetworking.googleapis.com \
  --force

或者，将新的 IP 范围添加到现有连接：

1. 检索对等互连的现有 IP 地址范围列表：

   EXISTING_RANGES=$(
     gcloud services vpc-peerings list \
       --network=NETWORK_NAME \
       --service=servicenetworking.googleapis.com \
       --format="value(reservedPeeringRanges.list())"
   )
   

2. 然后，将新范围添加到对等连接中：

   gcloud services vpc-peerings update \
     --network=NETWORK_NAME \
     --ranges=$EXISTING_RANGES,IP_RANGE_NAME \
     --service=servicenetworking.googleapis.com
   

IP 地址范围用尽

问题：实例创建失败，并显示范围已用尽错误：

ERROR: (gcloud.alpha.Parallelstore.instances.create) FAILED_PRECONDITION: Invalid
resource state for "NETWORK_RANGES_NOT_AVAILABLE": IP address range exhausted

解决方法：按照 VPC 指南重新创建 IP 地址范围或扩展现有 IP 地址范围。

如果您要重新创建 Parallelstore 实例，则必须重新创建 IP 范围，而不是扩展 IP 范围。