本頁面由 Cloud Translation API 翻譯而成。

TorchServe

本文說明如何設定 Google Kubernetes Engine 部署作業，以便使用 Google Cloud Managed Service for Prometheus 從 TorchServe 收集指標。本文將說明如何執行下列操作：

設定 TorchServe 回報指標。
設定 Managed Service for Prometheus 的 PodMonitoring 資源，以收集匯出的指標。
在 Cloud Monitoring 中存取資訊主頁，即可查看指標。

只有在使用 Managed Service for Prometheus 的代管收集作業時，才適用這些操作說明。如果您使用自行部署的收集作業，請參閱 TorchServe 說明文件，瞭解安裝資訊。

這些操作說明僅供參考，適用於大多數 Kubernetes 環境。如果因安全或機構政策限制而無法安裝應用程式或匯出工具，建議您參閱開放原始碼文件尋求支援。

如要瞭解 TorchServe，請參閱 TorchServe。如要瞭解如何在 Google Kubernetes Engine 上設定 TorchServe，請參閱 TorchServe 的 GKE 指南。

必要條件

如要使用 Managed Service for Prometheus 和代管收集作業，從 TorchServe 收集指標，部署作業必須符合下列規定：

叢集必須執行 Google Kubernetes Engine 1.21.4-gke.300 以上版本。
您必須執行 Managed Service for Prometheus，並啟用代管收集作業。詳情請參閱「開始使用代管集合」一文。

在 config.properties 檔案或環境變數中指定 metrics_mode 旗標時，TorchServe 會自動公開 Prometheus 格式的指標。

如果您自行設定 TorchServe，建議在 config.properties 檔案中新增下列項目。

如果您是按照 Google Kubernetes Engine 文件「在 GKE 上使用 TorchServe 服務可擴充的 LLM」操作，這些新增項目會是預設設定的一部分。

# Copyright 2025 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

  inference_address=http://0.0.0.0:8080
  management_address=http://0.0.0.0:8081
+ metrics_address=http://0.0.0.0:8082
+ metrics_mode=prometheus
  number_of_netty_threads=32
  job_queue_size=1000
  install_py_dep_per_model=true
  model_store=/home/model-server/model-store
  load_models=all

此外，將這個映像檔部署到 GKE 時，請修改部署和服務 YAML，公開新增的指標通訊埠：

# Copyright 2025 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: t5-inference
  labels:
    model: t5
    version: v1.0
    machine: gpu
spec:
  replicas: 1
  selector:
    matchLabels:
      model: t5
      version: v1.0
      machine: gpu
  template:
    metadata:
      labels:
        model: t5
        version: v1.0
        machine: gpu
    spec:
      nodeSelector:
        cloud.google.com/gke-accelerator: nvidia-l4
      containers:
        - name: inference
          ...
          args: ["torchserve", "--start", "--foreground"]
          resources:
            ...
          ports:
            - containerPort: 8080
              name: http
            - containerPort: 8081
              name: management
+           - containerPort: 8082
+             name: metrics
---
apiVersion: v1
kind: Service
metadata:
  name: t5-inference
  labels:
    model: t5
    version: v1.0
    machine: gpu
spec:
  ...
  ports:
    - port: 8080
      name: http
      targetPort: http
    - port: 8081
      name: management
      targetPort: management
+   - port: 8082
+     name: metrics
+     targetPort: metrics

如要確認 TorchServe 是否在預期端點上發出指標，請執行下列步驟：

使用下列指令設定通訊埠轉送：

kubectl -n NAMESPACE_NAME port-forward SERVICE_NAME 8082

在另一個終端機工作階段中，使用瀏覽器或 curl 公用程式存取端點 localhost:8082/metrics。

定義 PodMonitoring 資源

如要探索目標，Managed Service for Prometheus 運算子需要與 TorchServe 對應的 PodMonitoring 資源，且兩者位於相同命名空間。

您可以使用下列 PodMonitoring 設定：

# Copyright 2025 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: torchserve
  labels:
    app.kubernetes.io/name: torchserve
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  endpoints:
  - port: 8082
    scheme: http
    interval: 30s
    path: /metrics
  selector:
    matchLabels:
      model: t5
      version: v1.0
      machine: gpu

確認 port 和 matchLabels 欄位的值與要監控的 TorchServe Pod 相符。

如要套用本機檔案的設定變更，請執行下列指令：

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

您也可以使用 Terraform 管理設定。

驗證設定

您可以使用 Metrics Explorer 驗證 TorchServe 是否設定正確。Cloud Monitoring 可能需要一到兩分鐘才能擷取指標。

如要確認指標已擷取，請按照下列步驟操作：

前往 Google Cloud 控制台的「Metrics Explorer」頁面：
前往 Metrics Explorer

如果您是使用搜尋列尋找這個頁面，請選取子標題為「Monitoring」的結果。
在查詢建構工具窗格的工具列中，選取名稱為 MQL 或 PromQL 的按鈕。
確認已在「Language」(語言) 切換按鈕中選取「PromQL」。語言切換按鈕位於同一工具列，可供你設定查詢格式。

輸入並執行下列查詢：

up{job="torchserve", cluster="CLUSTER_NAME", namespace="NAMESPACE_NAME"}

查看資訊主頁

Cloud Monitoring 整合功能包含 TorchServe Prometheus 總覽資訊主頁。設定整合作業後，系統會自動安裝資訊主頁。您也可以查看資訊主頁的靜態預覽畫面，不需安裝整合服務。

如要查看已安裝的資訊主頁，請按照下列步驟操作：

在 Google Cloud 控制台中，前往「Dashboards」(資訊主頁) 頁面：
前往「Dashboards」(資訊主頁)

如果您是使用搜尋列尋找這個頁面，請選取子標題為「Monitoring」的結果。
選取「資訊主頁清單」分頁標籤。
選擇「整合」類別。
按一下資訊主頁名稱，例如「TorchServe Prometheus Overview」。

如要查看資訊主頁的靜態預覽畫面，請按照下列步驟操作：

前往 Google Cloud 控制台的「Integrations」(整合) 頁面：
前往「整合」

如果您是使用搜尋列尋找這個頁面，請選取子標題為「Monitoring」的結果。
按一下「Kubernetes Engine」部署平台篩選器。
找出 TorchServe 整合功能，然後按一下「查看詳細資料」。
選取「資訊主頁」分頁標籤。

疑難排解

如要瞭解如何排解指標擷取問題，請參閱「排解擷取端問題」一文中的「收集匯出工具資料時發生問題」一節。

TorchServe 透過集合功能整理內容 你可以依據偏好儲存及分類內容。