逐步排查 Cloud Service Mesh 问题
本部分将介绍如何排查和解决使用 Cloud Service Mesh。如果您需要其他帮助,请参阅获取支持。
问题排查步骤
请按照以下常规步骤来排查 Cloud Service Mesh 问题:
- 使用自动配置验证工具。
- 检查遇到的常见问题是否存在已知的解决方案。
- 缩小问题的范围。
- 查看相关日志和信息。
- 收集诊断日志并寻求帮助。
Cloud Service Mesh 诊断工具可以检测常见的配置问题。按照这些说明安装问题排查工具。
准备工作
确保集群的 kubeconfig 上下文在您的 kubeconfig 文件。如果没有,请运行以下命令:
gcloud container clusters get-credentials CLUSTER_NAME \ --location=CLUSTER_LOCATION --project=PROJECT_NAME
替换以下内容:
CLUSTER_NAME
:您的集群的名称。CLUSTER_LOCATION
:您的 Cloud Storage 存储分区 集群。PROJECT_NAME
:项目名称。
验证应用默认凭据 资源。如果没有,请运行以下命令之一:
gcloud auth application-default login --billing-project=PROJECT_NAME
gcloud auth application-default set-quota-project PROJECT_NAME
将
PROJECT_NAME
替换为您的项目名称。
查看控制平面状态
以下命令可帮助您了解 Cloud Service Mesh 控制平面:
代管式
获取客户端到 Cloud Service Mesh 控制平面的连接状态列表:
gcloud beta container fleet mesh debug proxy-status \ --membership=MEMBERSHIP_NAME \ --location=MEMBERSHIP_LOCATION \ --project=PROJECT_NAME
替换以下内容:
MEMBERSHIP_NAME
:您的会员资格的名称。MEMBERSHIP_LOCATION
:您的会员资格所在的区域。您可前往以下位置查看自己的会员资格:gcloud container fleet memberships list --project FLEET_PROJECT_ID
将FLEET_PROJECT_ID
替换为舰队项目 ID。PROJECT_NAME
:项目名称。
下表介绍可能的响应。
未知 (默认)状态信息不可用或未知。 已同步 控制平面将配置发送给客户端,并从客户端收到 ACK。 错误 控制平面将配置发送给客户端,并从客户端收到 NACK。 STALE 控制平面将配置发送到客户端,但未收到来自客户端的 ACK 或 NACK。 未发送 配置未发送。 不适用 不适用。 不支持 我们的问题排查 API 不支持同步状态。
集群内
kubectl get pods -n istio-system
kubectl describe -n istio-system
- 针对 istio-system 中的所有 pod:
kubectl logs -n istio-system -l istio --all-containers
istioctl version
istioctl proxy-status
kubectl get configmap istio -o yaml && kubectl get configmap istio-sidecar-injector -o yaml
kubectl top pods -n istio-system
使用以下命令可了解部署的规模:
kubectl get nodes
kubectl get services --all-namespaces
kubectl get pods --all-namespaces
查看代理配置
以下命令可以帮助您了解 Cloud Service Mesh 代理 配置:
代管式
gcloud beta container fleet mesh debug proxy-config POD_NAME.NAMESPACE \
--type=TYPE \
--membership=MEMBERSHIP_NAME \
--location=MEMBERSHIP_LOCATION \
--project=PROJECT_NAME
POD_NAME
:您的 pod 的名称。NAMESPACE
:您的 pod 的命名空间。TYPE
:以下各项之一:集群、监听器、路由、端点、引导、日志、密钥、全部。MEMBERSHIP_NAME
:您的会员身份名称。MEMBERSHIP_LOCATION
:您的会员资格所在的区域。您可前往以下位置查看自己的会员资格:gcloud container fleet memberships list --project FLEET_PROJECT_ID
将FLEET_PROJECT_ID
替换为舰队项目 ID。PROJECT_NAME
:项目名称。
集群内
使用 istioctl proxy-config
查看集群内控制平面的代理配置。如需了解详情,请参阅
调试 Envoy 和 Itiod。
如果问题仍然存在,请参阅下一部分以检查您的问题是否为已知问题。
检查常见问题和解决方案
您可以在以下常见问题和解决方案部分中检查是否有您遇到的问题(按 Cloud Service Mesh 功能分组),以便节省时间:
如果没有解决您的问题,请参阅下一部分。
缩小问题的范围
Cloud Service Mesh 由多种技术协同工作,这意味着 某些类型的问题与特定功能领域相关 或组件。每个组件都会生成各自有用的日志。在尝试手动分析其提供的信息之前,请先回答以下问题来缩小问题排查的范围:
- 问题发生在控制层面还是数据平面(例如
istiod
或 Envoy 代理)? - 问题与哪个功能(例如网络、遥测、安全等)相关?
- 是否存在服务网格流量丢失,或特定部署中的流量丢失?
- 问题是否因无法扩缩服务网格中的流量而出现或更加严重?
- 问题是否会导致延迟或其他性能问题?
- 您能否根据需要重现该问题?
- 问题是否在 Istio 和 GKE 进行配置变更后出现?
- 服务网格内的流量是否增长或出现高峰?
- 此集群是否启用了任何显著功能或拥有非典型部署?
- 您是否观察到 CPU 利用率或内存利用率较高的情况?如果是,预期利用率是多少?
- 是否存在配额限制?
查看相关日志和信息
缩小问题范围后,您可以更高效地分析某些日志和信息。如需了解 Cloud Service Mesh 生成的日志以及如何解读其中包含的信息,请参阅解读 Cloud Service Mesh 日志。