ローカル トラブルシューティング

このチュートリアルでは、サービス デベロッパーが Stackdriver ツールを使用して問題を検出し、ローカル開発ワークフローで調査する方法を説明します。

このトラブル シューティング ガイドの詳細な「ケーススタディ」では、デプロイ時にランタイム エラーが発生するサンプル プロジェクトを使用して、問題を発見および修正します。

Google Cloud のオペレーション スイートのサポート制限のため、このチュートリアルは Cloud Run for Anthos オンプレミスで使用できません。

目標

  • Cloud Run for Anthos on Google Cloud でサービスを作成、ビルド、デプロイする
  • Cloud Logging を使用してエラーを特定する
  • 根本原因を分析するため Container Registry からコンテナ イメージを取得する
  • 「本番環境」のサービスを修正し、今後の問題を軽減するためにサービスを改善する

費用

このチュートリアルでは、以下を含む Cloud Platform の有料コンポーネントを使用します。

料金計算ツールを使うと、予想使用量に基づいて費用の見積もりを出すことができます。

新しい Cloud Platform ユーザーは無料トライアルをご利用いただけます。

始める前に

  1. Google アカウントにログインします。

    Google アカウントをまだお持ちでない場合は、新しいアカウントを登録します。

  2. Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

    [プロジェクトの選択] ページに移動

  3. Cloud プロジェクトに対して課金が有効になっていることを確認します。プロジェクトに対して課金が有効になっていることを確認する方法を学習する

  4. Cloud Run for Anthos on Google Cloud API を有効にする
  5. Cloud SDK をインストールして初期化します。
  6. kubectl コンポーネントをインストールします。
    gcloud components install kubectl
  7. beta コンポーネントをインストールします。
    gcloud components install beta
  8. コンポーネントを更新します。
    gcloud components update
  9. Cloud Run for Anthos on Google Cloud を使用している場合は、Cloud Run for Anthos on Google Cloud の設定に沿って手順を行い、新しいクラスタを作成します。
  10. Cloud Run for Anthos on Google Cloud を使用している場合は、curl をインストールしてサービスをお試しください。
  11. 手順に沿って、Docker をローカルにインストールします。

gcloud のデフォルトを設定する

Cloud Run for Anthos on Google Cloud サービスのデフォルトとして gcloud を構成するには:

  1. デフォルト プロジェクトを設定します。

    gcloud config set project PROJECT_ID

    PROJECT_ID は、このチュートリアルで使用するプロジェクトの名前に置き換えます。

  2. クラスタに gcloud を構成します。

    gcloud config set kuberun/cluster CLUSTER-NAME
    gcloud config set kuberun/cluster_location REGION

    次のように置き換えます。

    • CLUSTER-NAME は、クラスタに対して使用した名前に置き換えます。
    • REGION は、選択したサポート対象のクラスタの場所に置き換えます。

コードを組み立てる

新しい Cloud Run for Anthos on Google Cloud のサービスを段階的にビルドします。このサービスでは、トラブル シューティングの演習のためにランタイム エラーを発生させます。

  1. 新しいプロジェクトを作成します。

    Node.js

    サービス パッケージ、初期依存関係、および一般的なオペレーションを定義して、Node.js プロジェクトを作成します。

    1. hello-service ディレクトリを新規作成します。

      mkdir hello-service
      cd hello-service
      
    2. package.json ファイルを生成して、Node.js プロジェクトを新規作成します。

      npm init --yes
      npm install --save express@4
      
    3. エディタで新しい package.json ファイルを開き、node index.js を実行するように start スクリプトを構成します。完了すると、ファイルは次のような状態になります。

      {
        "name": "hello-service",
        "version": "1.0.0",
        "description": "",
        "main": "index.js",
        "scripts": {
            "start": "node index.js",
            "test": "echo \"Error: no test specified\" && exit 1"
        },
        "keywords": [],
        "author": "",
        "license": "ISC",
        "dependencies": {
            "express": "^4.17.1"
        }
      }

    このサービスをこのチュートリアルからさらに進化させる場合は、説明、作成者を入力してライセンスを評価します。詳しくは、package.json のドキュメントをご覧ください。

    Python

    1. hello-service ディレクトリを新規作成します。

      mkdir hello-service
      cd hello-service
      
    2. requirements.txt ファイルを作成し、依存関係をコピーします。

      Flask==1.1.2
      pytest==5.3.0; python_version > "3.0"
      pytest==4.6.6; python_version < "3.0"
      gunicorn==20.0.4
      

    Go

    1. hello-service ディレクトリを新規作成します。

      mkdir hello-service
      cd hello-service
      
    2. 新しい go モジュールを初期化して Go プロジェクトを作成します。

      go mod init example.com/hello-service
      

    名前は必要に応じて更新できます。コードがウェブ到達可能なコード リポジトリに公開されている場合は、名前を更新する必要があります。

    Java

    1. 新しい maven プロジェクトを作成します。

      mvn archetype:generate \
        -DgroupId=com.example.cloudrun \
        -DartifactId=hello-service \
        -DarchetypeArtifactId=maven-archetype-quickstart \
        -DinteractiveMode=false
      
    2. 依存関係を pom.xml 依存関係リストにコピーします(<dependencies> 要素間)。

      <dependency>
        <groupId>com.sparkjava</groupId>
        <artifactId>spark-core</artifactId>
        <version>2.9.3</version>
      </dependency>
      <dependency>
        <groupId>ch.qos.logback</groupId>
        <artifactId>logback-classic</artifactId>
        <version>1.3.0-alpha5</version>
      </dependency>
      <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-api</artifactId>
        <version>1.7.30</version>
      </dependency>
      <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-simple</artifactId>
        <version>1.7.30</version>
      </dependency>
      
    3. ビルド設定を pom.xml<dependencies> 要素の下)にコピーします。

      <build>
        <plugins>
          <plugin>
            <groupId>com.google.cloud.tools</groupId>
            <artifactId>jib-maven-plugin</artifactId>
            <version>2.7.0</version>
            <configuration>
              <to>
                <image>gcr.io/PROJECT_ID/hello-service</image>
              </to>
            </configuration>
          </plugin>
        </plugins>
      </build>
      

  2. 受信リクエストを処理する HTTP サービスを作成します。

    Node.js

    const express = require('express');
    const app = express();
    
    app.get('/', (req, res) => {
      console.log('hello: received request.');
    
      const {NAME} = process.env;
      if (!NAME) {
        // Plain error logs do not appear in Stackdriver Error Reporting.
        console.error('Environment validation failed.');
        console.error(new Error('Missing required server parameter'));
        return res.status(500).send('Internal Server Error');
      }
      res.send(`Hello ${NAME}!`);
    });
    const port = process.env.PORT || 8080;
    app.listen(port, () => {
      console.log(`hello: listening on port ${port}`);
    });

    Python

    import json
    import os
    
    from flask import Flask
    
    app = Flask(__name__)
    
    @app.route("/", methods=["GET"])
    def index():
        print("hello: received request.")
    
        NAME = os.getenv("NAME")
    
        if not NAME:
            print("Environment validation failed.")
            raise Exception("Missing required service parameter.")
    
        return f"Hello {NAME}"
    if __name__ == "__main__":
        PORT = int(os.getenv("PORT")) if os.getenv("PORT") else 8080
    
        # This is used when running locally. Gunicorn is used to run the
        # application on KubeRun. See entrypoint in Dockerfile.
        app.run(host="127.0.0.1", port=PORT, debug=True)

    Go

    
    // Sample hello demonstrates a difficult to troubleshoot service.
    package main
    
    import (
    	"fmt"
    	"log"
    	"net/http"
    	"os"
    )
    
    func main() {
    	log.Print("hello: service started")
    
    	http.HandleFunc("/", helloHandler)
    
    	http.HandleFunc("/improved", improvedHandler)
    
    	port := os.Getenv("PORT")
    	if port == "" {
    		port = "8080"
    		log.Printf("Defaulting to port %s", port)
    	}
    
    	log.Printf("Listening on port %s", port)
    	log.Fatal(http.ListenAndServe(fmt.Sprintf(":%s", port), nil))
    }
    
    func helloHandler(w http.ResponseWriter, r *http.Request) {
    	log.Print("hello: received request")
    
    	name := os.Getenv("NAME")
    	if name == "" {
    		log.Printf("Missing required server parameter")
    		// The panic stack trace appears in Cloud Error Reporting.
    		panic("Missing required server parameter")
    	}
    
    	fmt.Fprintf(w, "Hello %s!\n", name)
    }
    

    Java

    import static spark.Spark.get;
    import static spark.Spark.port;
    
    import org.slf4j.Logger;
    import org.slf4j.LoggerFactory;
    
    public class App {
    
      private static final Logger logger = LoggerFactory.getLogger(App.class);
    
      public static void main(String[] args) {
        int port = Integer.parseInt(System.getenv().getOrDefault("PORT", "8080"));
        port(port);
    
        get(
            "/",
            (req, res) -> {
              logger.info("Hello: received request.");
              String name = System.getenv("NAME");
              if (name == null) {
                // Standard error logs do not appear in Stackdriver Error Reporting.
                System.err.println("Environment validation failed.");
                String msg = "Missing required server parameter";
                logger.error(msg, new Exception(msg));
                res.status(500);
                return "Internal Server Error";
              }
              res.status(200);
              return String.format("Hello %s!", name);
            });
      }
    }

  3. Dockerfile を作成して、サービスのデプロイに使用するコンテナ イメージを定義します。

    Node.js

    
    # Use the official lightweight Node.js 10 image.
    # https://hub.docker.com/_/node
    FROM node:12-slim
    
    # Create and change to the app directory.
    WORKDIR /usr/src/app
    
    # Copy application dependency manifests to the container image.
    # A wildcard is used to ensure copying both package.json AND package-lock.json (when available).
    # Copying this first prevents re-running npm install on every code change.
    COPY package*.json ./
    
    # Install production dependencies.
    # If you add a package-lock.json, speed your build by switching to 'npm ci'.
    # RUN npm ci --only=production
    RUN npm install --only=production
    
    # Copy local code to the container image.
    COPY . ./
    
    # Run the web service on container startup.
    CMD [ "npm", "start" ]
    

    Python

    
    # Use the official Python image.
    # https://hub.docker.com/_/python
    FROM python:3.9
    
    # Allow statements and log messages to immediately appear in the KubeRun logs
    ENV PYTHONUNBUFFERED True
    
    # Copy application dependency manifests to the container image.
    # Copying this separately prevents re-running pip install on every code change.
    COPY requirements.txt ./
    
    # Install production dependencies.
    RUN pip install -r requirements.txt
    
    # Copy local code to the container image.
    ENV APP_HOME /app
    WORKDIR $APP_HOME
    COPY . ./
    
    # Run the web service on container startup.
    # Use gunicorn webserver with one worker process and 8 threads.
    # For environments with multiple CPU cores, increase the number of workers
    # to be equal to the cores available.
    CMD exec gunicorn --bind :$PORT --workers 1 --threads 8 --timeout 0 main:app
    

    Go

    
    # Use the offical golang image to create a binary.
    # This is based on Debian and sets the GOPATH to /go.
    # https://hub.docker.com/_/golang
    FROM golang:1.15-buster as builder
    
    # Create and change to the app directory.
    WORKDIR /app
    
    # Retrieve application dependencies.
    # This allows the container build to reuse cached dependencies.
    # Expecting to copy go.mod and if present go.sum.
    COPY go.* ./
    RUN go mod download
    
    # Copy local code to the container image.
    COPY . ./
    
    # Build the binary.
    RUN go build -mod=readonly -v -o server
    
    # Use the official Debian slim image for a lean production container.
    # https://hub.docker.com/_/debian
    # https://docs.docker.com/develop/develop-images/multistage-build/#use-multi-stage-builds
    FROM debian:buster-slim
    RUN set -x && apt-get update && DEBIAN_FRONTEND=noninteractive apt-get install -y \
        ca-certificates && \
        rm -rf /var/lib/apt/lists/*
    
    # Copy the binary to the production image from the builder stage.
    COPY --from=builder /app/server /server
    
    # Run the web service on container startup.
    CMD ["/server"]
    

    Java

    このサンプルでは、Jib を使用して一般的な Java ツールにより Docker イメージをビルドします。Jib は、Dockerfile や Docker をインストールせずにコンテナのビルドを最適化します。Jib を使用して Java コンテナを構築する方法の詳細を確認します。

    <plugin>
      <groupId>com.google.cloud.tools</groupId>
      <artifactId>jib-maven-plugin</artifactId>
      <version>2.7.0</version>
      <configuration>
        <to>
          <image>gcr.io/PROJECT_ID/hello-service</image>
        </to>
      </configuration>
    </plugin>
    

コードを配布する

コードの配布は、Cloud Build でコンテナ イメージをビルドする、Container Registry にコンテナ イメージをアップロードする、Cloud Run for Anthos on Google Cloud にコンテナ イメージをデプロイする、という 3 つのステップで構成されます。

コードを配布するには:

  1. コンテナをビルドして、Container Registry に公開します。

    Node.js

    gcloud builds submit --tag gcr.io/PROJECT_ID/hello-service

    PROJECT_ID は、GCP のプロジェクト ID です。現在のプロジェクト ID は、gcloud config get-value project で確認できます。

    ビルドが成功すると、ID、作成時間、イメージ名を含む SUCCESS メッセージが表示されます。イメージが Container Registry に保存されます。このイメージは必要に応じて再利用できます。

    Python

    gcloud builds submit --tag gcr.io/PROJECT_ID/hello-service

    PROJECT_ID は、GCP のプロジェクト ID です。現在のプロジェクト ID は、gcloud config get-value project で確認できます。

    ビルドが成功すると、ID、作成時間、イメージ名を含む SUCCESS メッセージが表示されます。イメージが Container Registry に保存されます。このイメージは必要に応じて再利用できます。

    Go

    gcloud builds submit --tag gcr.io/PROJECT_ID/hello-service

    PROJECT_ID は、GCP のプロジェクト ID です。現在のプロジェクト ID は、gcloud config get-value project で確認できます。

    ビルドが成功すると、ID、作成時間、イメージ名を含む SUCCESS メッセージが表示されます。イメージが Container Registry に保存されます。このイメージは必要に応じて再利用できます。

    Java

    mvn compile jib:build -Dimage=gcr.io/PROJECT_ID/hello-service

    PROJECT_ID は、GCP のプロジェクト ID です。現在のプロジェクト ID は、gcloud config get-value project で確認できます。

    ビルドが成功すると、BUILD SUCCESS メッセージが表示されます。イメージが Container Registry に保存されます。このイメージは必要に応じて再利用できます。

  2. 次のコマンドを実行して、アプリをデプロイします。

    gcloud kuberun core services create hello-service --image gcr.io/PROJECT_ID/hello-service

    PROJECT_ID は実際の GCP プロジェクト ID に置き換えます。hello-service は、コンテナ イメージ名と Cloud Run for Anthos on Google Cloud サービスの名前です。コンテナ イメージは、gcloud の設定で構成したサービスとクラスタにデプロイされることに注意してください。

    デプロイが完了するまで待ちます。30 秒ほどかかる場合があります。成功すると、コマンドラインにサービス URL が表示されます。

試してみる

サービスを試してみて、サービスが正常にデプロイされたことを確認します。リクエストは HTTP 500 エラーまたは HTTP 503 エラー(クラス 5xx サーバーエラーのメンバー)で失敗します。このチュートリアルでは、このエラー レスポンスのトラブルシューティングについて説明します。

クラスタにルーティング可能なデフォルト ドメインが構成されている場合は、上記の手順をスキップして、URL をウェブブラウザにコピーします。

自動 TLS 証明書ドメイン マッピングを使用しない場合、サービスにナビゲーション可能な URL は提供されません。

その代わりに、指定された URL とサービスの Ingress ゲートウェイの IP アドレスを使用して、サービスにリクエストする curl コマンドを作成します。

  1. Istio Ingress ゲートウェイの外部 IP を取得するには: ```sh kubectl get svc istio-ingress -n gke-system ``` 出力結果は次のようになります。 ```sh NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) istio-ingress LoadBalancer XX.XX.XXX.XX pending 80:32380/TCP,443:32390/TCP,32400:32400/TCP ``` 使用する IP アドレスは、ロードバランサの EXTERNAL-IP です。
  2. URL でこの GATEWAY_IP アドレスを使用して、curl コマンドを実行します。

     curl -G -H "Host: SERVICE-DOMAIN" https://EXTERNAL-IP/

    SERVICE-DOMAIN は、サービスにデフォルトで割り当てられているドメインに置き換えます。そのためにデフォルトの URL を取得し、プロトコル http:// を削除します。

  3. HTTP 500 または HTTP 503 のエラー メッセージを確認してください。

問題の調査

前述の試してみるで発生した HTTP 5xx エラーが、本番環境ランタイム エラーとして発生したことを表示で確認してください。このチュートリアルでは、正式な処理プロセスを説明します。本番環境でのエラー解決プロセスは大きく異なりますが、このチュートリアルでは、有用なツールとテクニックを利用するための特定の手順を示します。

この問題を調査するには、以下のフェーズを実施します。

  • 報告されたエラーの詳細を収集し、さらに調査を進め、軽減策を策定します。
  • 修正を進めるか、既知の正常なバージョンにロールバックして、ユーザーへの影響を軽減させます。
  • 正確な詳細が収集されたことと、1 回限りのエラーではないことを確認するために、エラーを再現します。
  • バグの根本原因を分析して、このエラーの原因となったコード、構成、プロセスを特定します。

調査を開始すると、URL、タイムスタンプ、「Internal Server Error」というメッセージが表示されます。

詳細の収集

問題の詳細情報を収集して何が起きたのかを理解し、次のステップを決定します。

利用可能なツールを使用して詳細を収集します。

  1. ログを表示して詳細を確認します。

  2. Cloud Logging を使用して、エラー メッセージなど、問題につながる一連の操作を確認します。

正常なバージョンへのロールバック

動作が確認されている既知のサービスの場合、Cloud Run for Anthos on Google Cloud の以前のバージョンのリビジョンが表示されます。このチュートリアルでは、以前のバージョンを使用しない新しいサービスを使用するため、ロールバックはできません。

ただし、ロールバックできる以前のバージョンのサービスを利用している場合は、リビジョンの詳細の表示に従って、サービスの新しいワーキング デプロイを作成するために必要なコンテナ名と構成の詳細を抽出します。

エラーを再現する

以前に取得した詳細を使用して、テスト条件で一貫して問題が発生していることを確認します。

同じ HTTP リクエストをもう一度試すことで送信し、同じエラーと詳細が報告されるかどうかを確認します。エラーの詳細が表示されるまでに時間がかかることがあります。

このチュートリアルのサンプル サービスは読み取り専用であり、複雑な副次的影響をトリガーしないため、本番環境でのエラーの再現は安全です。ただし、実際のサービスの多くには上記が当てはまりません。テスト環境でエラーを再現するか、ローカル調査に限定する必要があります。

エラーを再現することで、後続作業のコンテキストが明確になります。たとえば、デベロッパーがエラーを再現できない場合、サービスに対してインストゥルメンテーションの追加が必要になる場合があります。

根本原因の分析を行う

根本原因の分析は、効果的なトラブルシューティングにおいて、症状ではなく問題を解決するための重要なステップです。

このチュートリアルでは、Cloud Run for Anthos on Google Cloud で問題を再現し、Cloud Run for Anthos on Google Cloud でサービスがホストされているときに問題が起きることを確認しました。次に、問題をローカルで再現させてみて、問題がコードに限定されているか、本番環境のホスティングでのみ発生しているかを判断します。

  1. Container Registry で Docker CLI をローカルで使用していない場合は、gcloud で認証します。

    gcloud auth configure-docker

    別の方法については、Container Registry の認証方法をご覧ください。

  2. 最近使用したコンテナ イメージ名が利用できない場合、サービスの説明に最近デプロイしたコンテナ イメージの情報があります。

    gcloud kuberun core services describe hello-service

    spec オブジェクト内部のコンテナ イメージ名を探します。よりターゲットを絞ったコマンドを使用すれば、直接取得することもできます。

    gcloud kuberun core services describe hello-service \
       --format="value(spec.template.spec.containers.image)"

    このコマンドは、gcr.io/PROJECT_ID/hello-service のようなコンテナ イメージ名を明らかにします。

  3. コンテナ イメージを Container Registry から環境に pull します。この手順では、コンテナ イメージをダウンロードするため、数分かかることがあります。

    docker pull gcr.io/PROJECT_ID/hello-service

    この名前を再利用するコンテナ イメージに対するその後の更新は、同じコマンドで取得できます。この手順をスキップすると、次の docker run コマンドはコンテナ イメージを pull します(ローカルマシンにない場合)。

  4. ローカルで実行して、問題が Cloud Run for Anthos on Google Cloud に固有のものではないことを確認します。

    PORT=8080 && docker run --rm -e PORT=$PORT -p 9000:$PORT \
       gcr.io/PROJECT_ID/hello-service

    上記のコマンドを要素に分解してみます。

    • PORT 環境変数は、コンテナ内でリッスンするポートを指定するためサービスが使用します。
    • run コマンドはコンテナを起動します。デフォルトでは、Dockerfile または親コンテナ イメージで定義されたエントリポイントのコマンドになります。
    • --rm フラグは、終了時にコンテナ インスタンスを削除します。
    • -e フラグは、環境変数に値を割り当てます。-e PORT=$PORT は、PORT 変数をローカル システムから同じ変数名のコンテナに移動します。
    • -p フラグは、ローカルホストのポート 9,000 でコンテナをサービスとして公開します。localhost: 9000 へのリクエストは、ポート 8080 でコンテナにルーティングされます。つまり、使用中のポート番号に関するサービスからの出力は、サービスへのアクセス方法と一致しません。
    • 最後の引数 gcr.io/PROJECT_ID/hello-service はコンテナ イメージ tag です。これは、コンテナ イメージの SHA256 ハッシュ識別子を表す、人が読める形式のラベルです。ローカルで入手できない場合、Docker はリモート レジストリからイメージを取得しようとします。

    ブラウザで http://localhost:9000 を開きます。ターミナルの出力で、Google Cloud のオペレーション スイートのエラー メッセージと一致するエラー メッセージをチェックします。

    ローカルで再現できない場合は、Cloud Run for Anthos on Google Cloud 環境に固有の問題である可能性があります。特定の領域を調査するには、Cloud Run for Anthos on Google Cloud トラブルシューティング ガイドをご覧ください。

    この場合、エラーはローカルで再現されます。

エラーが永続的なものとして二重に確認され、またホスティング プラットフォームではなくサービスコードが原因と判明したため、コードを詳しく調査します。

このチュートリアルでは、コンテナ内のコードとローカル システムのコードが同じであることを前提にしています。

Node.js

ログに表示されるスタック トレースで示されている行番号の近くにある index.js ファイルで、エラー メッセージのソースを見つけます。
const {NAME} = process.env;
if (!NAME) {
  // Plain error logs do not appear in Stackdriver Error Reporting.
  console.error('Environment validation failed.');
  console.error(new Error('Missing required server parameter'));
  return res.status(500).send('Internal Server Error');
}

Python

ログに表示されるスタック トレースで示されている行番号の近くにある main.py ファイルで、エラー メッセージのソースを見つけます。
NAME = os.getenv("NAME")

if not NAME:
    print("Environment validation failed.")
    raise Exception("Missing required service parameter.")

Go

ログに表示されるスタック トレースで示されている行番号の近くにある main.go ファイルで、エラー メッセージのソースを見つけます。

name := os.Getenv("NAME")
if name == "" {
	log.Printf("Missing required server parameter")
	// The panic stack trace appears in Cloud Error Reporting.
	panic("Missing required server parameter")
}

Java

ログに表示されるスタック トレースで示されている行番号の近くにある App.java ファイルで、エラー メッセージのソースを見つけます。

String name = System.getenv("NAME");
if (name == null) {
  // Standard error logs do not appear in Stackdriver Error Reporting.
  System.err.println("Environment validation failed.");
  String msg = "Missing required server parameter";
  logger.error(msg, new Exception(msg));
  res.status(500);
  return "Internal Server Error";
}

このコードを調べると、NAME 環境変数が設定されていない場合、次のアクションが実行されます。

  • エラーが Google Cloud のオペレーション スイートに記録される。
  • HTTP エラー レスポンスが送信される。

問題の原因は変数がないことですが、根本的な原因はより具体的です。環境変数への強い依存関係を追加するコード変更で、デプロイ スクリプトおよびランタイム要件のドキュメントに対して関連する変更をしなかったからです。

根本原因の修正

これでコードを収集し潜在的な原因を特定できたので、修正の手順を行います。

  • サービスが、そこで利用できる NAME 環境でローカルで動作するかどうかを確認します。

    1. 環境変数を追加してコンテナをローカルで実行します。

      PORT=8080 && docker run --rm -e PORT=$PORT -p 9000:$PORT \
       -e NAME="Local World!" \
       gcr.io/PROJECT_ID/hello-service
    2. ブラウザで http://localhost:9000 に移動します。

    3. ページに「Hello Local World!」が表示されるのを確認します。

  • 実行中の Cloud Run サービス環境を変更して、この変数を含めます。

    1. --update-env-vars パラメータを指定して services update コマンドを実行し、環境変数を追加します。

      gcloud kuberun core services update hello-service \
        --update-env-vars NAME=Override
      
    2. Cloud Run が以前のリビジョンに基づき、追加された新しい環境変数を含む新しいリビジョンを作成するまで数秒待ちます。

  • サービスが修正されたことを確認します。

    1. ブラウザで Cloud Run サービスの URL に移動します。
    2. ページに「Hello Override!」が表示されるのを確認します。
    3. Cloud Logging に予期しないメッセージまたはエラーが表示されないことを確認します。

今後のトラブルシューティングの改善

この本番環境の問題のサンプルでは、エラーは運用構成に関連していました。この問題による将来の影響を最小限に抑えるようなコード変更があります。

  • エラーログを改善して、より具体的な情報を伝えます。
  • エラーを返す代わりに、サービスを安全なデフォルトに戻します。デフォルトの使用が通常の機能への変更を意味する場合、モニタリングのため警告メッセージを使用します。

依存度が高い NAME 環境変数を削除する手順を説明します。

  1. 既存の NAME 処理コードを削除します。

    Node.js

    const {NAME} = process.env;
    if (!NAME) {
      // Plain error logs do not appear in Stackdriver Error Reporting.
      console.error('Environment validation failed.');
      console.error(new Error('Missing required server parameter'));
      return res.status(500).send('Internal Server Error');
    }

    Python

    NAME = os.getenv("NAME")
    
    if not NAME:
        print("Environment validation failed.")
        raise Exception("Missing required service parameter.")

    Go

    name := os.Getenv("NAME")
    if name == "" {
    	log.Printf("Missing required server parameter")
    	// The panic stack trace appears in Cloud Error Reporting.
    	panic("Missing required server parameter")
    }

    Java

    String name = System.getenv("NAME");
    if (name == null) {
      // Standard error logs do not appear in Stackdriver Error Reporting.
      System.err.println("Environment validation failed.");
      String msg = "Missing required server parameter";
      logger.error(msg, new Exception(msg));
      res.status(500);
      return "Internal Server Error";
    }

  2. フォールバック値を設定する新しいコードを追加します。

    Node.js

    const NAME = process.env.NAME || 'World';
    if (!process.env.NAME) {
      console.log(
        JSON.stringify({
          severity: 'WARNING',
          message: `NAME not set, default to '${NAME}'`,
        })
      );
    }

    Python

    NAME = os.getenv("NAME")
    
    if not NAME:
        NAME = "World"
        error_message = {
            "severity": "WARNING",
            "message": f"NAME not set, default to {NAME}",
        }
        print(json.dumps(error_message))

    Go

    name := os.Getenv("NAME")
    if name == "" {
    	name = "World"
    	log.Printf("warning: NAME not set, default to %s", name)
    }

    Java

    String name = System.getenv().getOrDefault("NAME", "World");
    if (System.getenv("NAME") == null) {
      logger.warn(String.format("NAME not set, default to %s", name));
    }

  3. 影響を受けた構成ケースからコンテナを再ビルドして実行し、ローカルでテストします。

    Node.js

    docker build --tag gcr.io/PROJECT_ID/hello-service .

    Python

    docker build --tag gcr.io/PROJECT_ID/hello-service .

    Go

    docker build --tag gcr.io/PROJECT_ID/hello-service .

    Java

    mvn compile jib:build

    NAME 環境変数が引き続き機能することを確認します。

    PORT=8080 && docker run --rm -e $PORT -p 9000:$PORT \
     -e NAME="Robust World" \
     gcr.io/PROJECT_ID/hello-service

    NAME 変数なしでサービスが機能することを確認します。

    PORT=8080 && docker run --rm -e $PORT -p 9000:$PORT \
     gcr.io/PROJECT_ID/hello-service

    サービスが結果を返さない場合、最初のステップでのコード削除で、レスポンスの書き込みに使用されるような余分な行まで削除していないか確認します。

  4. コードをデプロイするセクションに戻ってこれをデプロイします。

    サービスをデプロイするたびに、リビジョンが作成されます。準備ができると、トラフィックの送信が自動的に開始します。

    前に設定した環境変数をクリアするには、次の手順を行います。

    gcloud kuberun core services update hello-service --clear-env-vars

サービスの自動テスト カバレッジに、デフォルト値の新しい機能を追加します。

ログ内でその他の問題を検索

このサービスのログビューアには、その他の問題がある場合があります。たとえば、サポートされていないシステムコールは、「Container Sandbox Limitation」(コンテナ サンドボックスの制限)としてログに表示されます。

たとえば、Node.js サービスはこのようなログメッセージを残すことがあります。

Container Sandbox Limitation: Unsupported syscall statx(0xffffff9c,0x3e1ba8e86d88,0x0,0xfff,0x3e1ba8e86970,0x3e1ba8e86a90). Please, refer to https://gvisor.dev/c/linux/amd64/statx for more information.

この場合、サポート対象外でも hello-service サンプル サービスには影響ありません。

クリーンアップ

このチュートリアル用に新規プロジェクトを作成した場合は、そのプロジェクトを削除します。既存のプロジェクトを使用し、このチュートリアルで変更を加えずに残す場合は、チュートリアル用に作成したリソースを削除します。

プロジェクトを削除する

課金をなくす最も簡単な方法は、チュートリアル用に作成したプロジェクトを削除することです。

プロジェクトを削除するには:

  1. Cloud Console で [リソースの管理] ページに移動します。

    [リソースの管理] に移動

  2. プロジェクト リストで、削除するプロジェクトを選択し、[削除] をクリックします。
  3. ダイアログでプロジェクト ID を入力し、[シャットダウン] をクリックしてプロジェクトを削除します。

チュートリアル リソースを削除する

  1. このチュートリアルでデプロイした Cloud Run for Anthos on Google Cloud サービスを削除します。

    gcloud kuberun core services delete SERVICE-NAME

    SERVICE-NAME は、選択したサービス名です。

    Google Cloud Console から Cloud Run for Anthos on Google Cloud サービスを削除することもできます。

  2. チュートリアルを設定したときに追加した gcloud のデフォルト構成を削除します。

     gcloud config unset kuberun/cluster
     gcloud config unset kuberun/cluster_location
    
  3. プロジェクト構成を削除します。

     gcloud config unset project
    
  4. このチュートリアルで作成した他の Google Cloud リソースを削除します。

次のステップ

  • Cloud Logging を使用して本番環境での動作を分析する方法を学習する。
  • [/kuberun/docs/troubleshooting#sandbox] で Cloud Run for Anthos on Google Cloud のトラブルシューティングの詳細を確認する。
  • Google Cloud のその他の機能を試す。チュートリアルをご覧ください。