Cassandra TLS 証明書の検証エラー

現在、ApigeeApigee ハイブリッドのドキュメントを表示しています。
Apigee Edge ドキュメントを表示する

現象

Cassandra Pod の TLS 証明書検証プロセスが失敗し、次のようなエラーが発生することがあります。

Caused by: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target
at sun.security.validator.PKIXValidator.doBuild(PKIXValidator.java:456)
at sun.security.validator.PKIXValidator.engineValidate(PKIXValidator.java:323)
at sun.security.validator.Validator.validate(Validator.java:271)
at sun.security.ssl.X509TrustManagerImpl.validate(X509TrustManagerImpl.java:315)
at sun.security.ssl.X509TrustManagerImpl.checkTrusted(X509TrustManagerImpl.java:278)
at sun.security.ssl.X509TrustManagerImpl.checkServerTrusted(X509TrustManagerImpl.java:141)
at io.netty.handler.ssl.ReferenceCountedOpenSslClientContext$ExtendedTrustManagerVerifyCallback.verify(ReferenceCountedOpenSslClientContext.java:261)
at io.netty.handler.ssl.ReferenceCountedOpenSslContext$AbstractCertificateVerifier.verify(ReferenceCountedOpenSslContext.java:698)
...
Suppressed: javax.net.ssl.SSLHandshakeException: error:1000007d:SSL routines:OPENSSL_internal:CERTIFICATE_VERIFY_FAILED
at io.netty.handler.ssl.ReferenceCountedOpenSslEngine.sslReadErrorResult(ReferenceCountedOpenSslEngine.java:1309)
at io.netty.handler.ssl.ReferenceCountedOpenSslEngine.unwrap(ReferenceCountedOpenSslEngine.java:1270)
...

考えられる原因

原因 説明 トラブルシューティングの実施対象
Apigee CA 証明書が Apigee クラスタ間で一致しない Apigee CA 証明書がクラスタ間で一致しない場合、Cassandra での TLS 証明書の検証が失敗する可能性があります。 Apigee ハイブリッド

前提条件

  • Apigee クラスタにアクセスできるように kubectl をインストールして構成する必要があります。
  • JSON コンテンツのフォーマットには jq が必要です。
  • TLS 証明書を印刷するには、 keytool が必要です。
  • Cert Manager を使用して証明書を再発行するには、 cmctl が必要です。

原因: Apigee CA 証明書が Apigee クラスタ間で一致しない

診断

  1. 次のコマンドを使用して、apigee-ca シークレットを読み取り、すべてのクラスタの Apigee CA 証明書を出力します。
    kubectl -n cert-manager get secret apigee-ca -o json | jq -r '.data["tls.crt"]' | base64 -d | keytool -printcert | grep Version -B 10

    出力例:

    kubectl -n cert-manager get secret apigee-ca -o json | jq -r '.data["tls.crt"]' | base64 -d | keytool -printcert | grep Version -B 10
    Owner: CN=apigee-hybrid, O=apigee + O=cluster.local
    Issuer: CN=apigee-hybrid, O=apigee + O=cluster.local
    Serial number: afcc2ef957cebfd52b118b0b1622021
    Valid from: Wed Oct 30 03:09:23 UTC 2024 until: Sat Oct 28 03:09:23 UTC 2034
    Certificate fingerprints:
            SHA1: 32:D9:77:54:B1:FC:CB:6C:9E:28:C1:04:25:49:0D:F5:7C:88:A5:6C
            SHA256: 7C:97:31:3B:56:CD:A3:EF:88:A7:DC:17:AE:D5:F2:A7:6A:48:B3:FC:AA:04:F0:6B:9F:43:C4:5C:6E:15:DE:37
    Signature algorithm name: SHA256withECDSA
    Subject Public Key Algorithm: 256-bit EC (secp256r1) key
    Version: 3
  2. apigee-cassandra-default-tls シークレットを読み取り、Cassandra 証明書の生成時に上記の Apigee CA 証明書が使用されているかどうかを確認します。apigee-cassandra-default-tls Secret には、ca.crt の下に Apigee CA 証明書が含まれています。
    kubectl -n apigee get secret apigee-cassandra-default-tls -o json | jq -r '.data["ca.crt"]' | base64 -d | keytool -printcert | grep Version -B 10

    出力例:

    kubectl -n apigee get secret apigee-cassandra-default-tls -o json | jq -r '.data["ca.crt"]' | base64 -d | keytool -printcert | grep Version -B 10
    Owner: CN=apigee-hybrid, O=apigee + O=cluster.local
    Issuer: CN=apigee-hybrid, O=apigee + O=cluster.local
    Serial number: afcc2ef957cebfd52b118b0b1622021
    Valid from: Wed Oct 30 03:09:23 UTC 2024 until: Sat Oct 28 03:09:23 UTC 2034
    Certificate fingerprints:
            SHA1: 32:D9:77:54:B1:FC:CB:6C:9E:28:C1:04:25:49:0D:F5:7C:88:A5:6C
            SHA256: 7C:97:31:3B:56:CD:A3:EF:88:A7:DC:17:AE:D5:F2:A7:6A:48:B3:FC:AA:04:F0:6B:9F:43:C4:5C:6E:15:DE:37
    Signature algorithm name: SHA256withECDSA
    Subject Public Key Algorithm: 256-bit EC (secp256r1) key
    Version: 3
  3. 上記の例では、apigee-ca Secret にある Apigee CA 証明書のシリアル番号は、apigee-cassandra-default-tls Secret にある Apigee CA 証明書 afcc2ef957cebfd52b118b0b1622021 と一致します。これにより、Cassandra 証明書が同じ Apigee CA 証明書で署名されていることが確認されます。以下の手順に沿って、この点について詳しく確認いたします。
  4. Apigee CA 証明書の PEM ファイルを抽出します。
    kubectl -n cert-manager get secret apigee-ca -o json | jq -r '.data["tls.crt"]' | base64 -d > apigee-ca.crt

    出力例:

    kubectl -n cert-manager get secret apigee-ca -o json | jq -r '.data["tls.crt"]' | base64 -d > apigee-ca.crt
    cat apigee-ca.crt
    -----BEGIN CERTIFICATE-----
    MIIBvjCCAWSgAwIBAgIQCvzC75V86/1SsRiwsWIgITAKBggqhkjOPQQDAjA/MSUw
    DQYDVQQKEwZhcGlnZWUwFAYDVQQKEw1jbHVzdGVyLmxvY2FsMRYwFAYDVQQDEw1h
    cGlnZWUtaHlicmlkMB4XDTI0MTAzMDAzMDkyM1oXDTM0MTAyODAzMDkyM1owPzEl
    MA0GA1UEChMGYXBpZ2VlMBQGA1UEChMNY2x1c3Rlci5sb2NhbDEWMBQGA1UEAxMN
    YXBpZ2VlLWh5YnJpZDBZMBMGByqGSM49AgEGCCqGSM49AwEHA0IABNSow7pxNvjj
    R/jV66nY/w/tn22tu7oXyZS8tAFBnP7D2fFfIdk4tJub3gw/CsoyNa1cKXwAt7Tw
    SLp1iGJ3CY+jQjBAMA4GA1UdDwEB/wQEAwICpDAPBgNVHRMBAf8EBTADAQH/MB0G
    A1UdDgQWBBRSjN/cNNbg2kvmddskzdurglxuwTAKBggqhkjOPQQDAgNIADBFAiBp
    pCgNNC8TVEgF8jR5RK9dXZJRcNY39nFY4DqbH6bUJwIhAPdzx5gee3BIWYwlQAYX
    CgtCf4blLNq3KlBWTO993XoY
    -----END CERTIFICATE-----
  5. Cassandra 証明書の PEM ファイルを抽出します。
    kubectl -n apigee get secrets apigee-cassandra-default-tls -o json | jq -r '.data["tls.crt"]' | base64 -d > apigee-cassandra-default-tls.crt

    出力例:

    kubectl -n apigee get secrets apigee-cassandra-default-tls -o json | jq -r '.data["tls.crt"]' | base64 -d > apigee-cassandra-default-tls.crt
    cat apigee-cassandra-default-tls.crt
    -----BEGIN CERTIFICATE-----
    MIIDSDCCAu6gAwIBAgIQZcYk/VOfGUQEzpLbAvyyNjAKBggqhkjOPQQDAjA/MSUw
    DQYDVQQKEwZhcGlnZWUwFAYDVQQKEw1jbHVzdGVyLmxvY2FsMRYwFAYDVQQDEw1h
    cGlnZWUtaHlicmlkMB4XDTI0MTAzMDAzMTAyMFoXDTM0MTAyODAzMTAyMFowPDE6
    MDgGA1UEAxMxYXBpZ2VlLWNhc3NhbmRyYS1kZWZhdWx0LmFwaWdlZS5zdmMuY2x1
    c3Rlci5sb2NhbDCCASIwDQYJKoZIhvcNAQEBBQADggEPADCCAQoCggEBAM6k8YyB
    m/AV9cgexU8fZ4OFw8M72oxWEF44sFezZB7NpCqIFBxAM/7iL0tF2qU4S4gpcabD
    bn30fKKID8651Kytc7KHGT13Nlj9vQRjd0HJD8Qa8YtRcmGKtp+1fbQOcMPxvuNA
    CzaQyuPwieYKc6D9DpDDkPPCmjVwfaxHmNpdswrt0NQbSecg/xZPXbpzOZ6bUFha
    2vTvSTomiDKIPGhWrMnEMJDjFyjpdYND74HnYgw1XGnC4SQNts/kvXligbVmW+Rz
    oyV7n99eN6cE5J/FHDgiHrBRZUw8ujP2l/p7Y96NcMBnXCsQu6RsCDltXqX1f1pG
    sIjUAFAZZvM0pDECAwEAAaOCAQIwgf8wDgYDVR0PAQH/BAQDAgWgMB0GA1UdJQQW
    MBQGCCsGAQUFBwMCBggrBgEFBQcDATAMBgNVHRMBAf8EAjAAMB8GA1UdIwQYMBaA
    FFKM39w01uDaS+Z12yTN26uCXG7BMIGeBgNVHREEgZYwgZOCGGFwaWdlZS1jYXNz
    YW5kcmEtZGVmYXVsdIIfYXBpZ2VlLWNhc3NhbmRyYS1kZWZhdWx0LmFwaWdlZYIj
    YXBpZ2VlLWNhc3NhbmRyYS1kZWZhdWx0LmFwaWdlZS5zdmOCMWFwaWdlZS1jYXNz
    YW5kcmEtZGVmYXVsdC5hcGlnZWUuc3ZjLmNsdXN0ZXIubG9jYWwwCgYIKoZIzj0E
    AwIDSAAwRQIhANt7WYfSbS4a14Fvf3IXcG+/p3iEGg61suK8jOxtgJMyAiBG3z7Y
    kgR7SWNzSoom4Oznq9NSub7v75kfQJFKEtP0Mg==
    -----END CERTIFICATE-----
  6. Apigee CA 証明書を使用して Cassandra 証明書を確認します。
    openssl verify -CAfile apigee-ca.crt apigee-cassandra-default-tls.crt

    正常な出力例:

    openssl verify -CAfile apigee-ca.crt apigee-cassandra-default-tls.crt
    apigee-cassandra-default-tls.crt: OK

    失敗した場合の出力例:

    openssl verify -CAfile apigee-ca.crt apigee-cassandra-default-tls.crt
    CN = apigee-cassandra-default.apigee.svc.cluster.local
    error 20 at 0 depth lookup: unable to get local issuer certificate
    error apigee-cassandra-default-tls.crt: verification failed

解決策

  1. 正しい Apigee CA 証明書を持つ Apigee クラスタを選択します。
  2. そのクラスタから Apigee CA 証明書 Secret をファイルにエクスポートします。
    kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
  3. 上記の Apigee CA 証明書 Secret を他のすべてのクラスタに適用します。一度に 1 つのクラスタを選択し、すべてのクラスタで残りの手順をすべて実行します。
    kubectl -n cert-manager apply -f apigee-ca.yaml
  4. apigee Namespace で使用可能な既存の証明書をすべてバックアップ ファイルにエクスポートします。
    kubectl -n apigee get certificates --all -o yaml > all-certificates.yaml
  5. 次の cmctl コマンドを実行して、apigee Namespace にあるすべての証明書を再発行します。
    cmctl renew --namespace=apigee --all

    出力例:

    cmctl renew --namespace=apigee --all
    
      Manually triggered issuance of Certificate apigee/apigee-cassandra-default
      Manually triggered issuance of Certificate apigee/apigee-cassandra-schema-setup-demo-hybrid-de-5fdc6d2
      Manually triggered issuance of Certificate apigee/apigee-cassandra-schema-val-demo-hybrid-de-5fdc6d2
      Manually triggered issuance of Certificate apigee/apigee-cassandra-user-setup-demo-hybrid-de-5fdc6d2
      Manually triggered issuance of Certificate apigee/apigee-connect-agent-demo-hybrid-de-5fdc6d2
      Manually triggered issuance of Certificate apigee/apigee-datastore-guardrails-tls
      Manually triggered issuance of Certificate apigee/apigee-istiod
      Manually triggered issuance of Certificate apigee/apigee-mart-demo-hybrid-de-5fdc6d2
      Manually triggered issuance of Certificate apigee/apigee-metrics-adapter-apigee-telemetry
      Manually triggered issuance of Certificate apigee/apigee-redis-default
      Manually triggered issuance of Certificate apigee/apigee-redis-envoy-default
      Manually triggered issuance of Certificate apigee/apigee-runtime-demo-hybrid-de-dev-b276d3f
      Manually triggered issuance of Certificate apigee/apigee-serving-cert
      Manually triggered issuance of Certificate apigee/apigee-synchronizer-demo-hybrid-de-dev-b276d3f
      Manually triggered issuance of Certificate apigee/apigee-udca-demo-hybrid-de-5fdc6d2
      Manually triggered issuance of Certificate apigee/apigee-watcher-demo-hybrid-de-5fdc6d2

    この手順では、新しくインポートした Apigee CA 証明書を使用してすべての Apigee ランタイム証明書を再発行します。これにより、この問題が解決します。

  6. すべての証明書の発行日を UTC 時刻と照らし合わせて、再発行されているかどうかを確認します。
    kubectl get certificates -n apigee -o json | jq -r '.items[] | "\(.metadata.name): \(.status.notBefore)"'
    date -u

    出力例:

    kubectl get certificates -n apigee -o json | jq -r '.items[] | "\(.metadata.name): \(.status.notBefore)"'
    
      apigee-cassandra-default: 2024-12-16T04:19:58Z
      apigee-cassandra-schema-setup-demo-hybrid-de-5fdc6d2: 2024-12-16T04:19:58Z
      apigee-cassandra-schema-val-demo-hybrid-de-5fdc6d2: 2024-12-16T04:19:58Z
      apigee-cassandra-user-setup-demo-hybrid-de-5fdc6d2: 2024-12-16T04:19:59Z
      apigee-connect-agent-demo-hybrid-de-5fdc6d2: 2024-12-16T04:20:00Z
      apigee-datastore-guardrails-tls: 2024-12-16T04:20:01Z
      apigee-istiod: 2024-12-16T04:20:02Z
      apigee-mart-demo-hybrid-de-5fdc6d2: 2024-12-16T04:20:02Z
      apigee-metrics-adapter-apigee-telemetry: 2024-12-16T04:20:03Z
      apigee-redis-default: 2024-12-16T04:20:04Z
      apigee-redis-envoy-default: 2024-12-16T04:20:04Z
      apigee-runtime-demo-hybrid-de-dev-b276d3f: 2024-12-16T04:20:04Z
      apigee-serving-cert: 2024-12-16T04:20:04Z
      apigee-synchronizer-demo-hybrid-de-dev-b276d3f: 2024-12-16T04:20:05Z
      apigee-udca-demo-hybrid-de-5fdc6d2: 2024-12-16T04:20:06Z
      apigee-watcher-demo-hybrid-de-5fdc6d2: 2024-12-16T04:20:07Z
    
      date -u
      Mon Dec 16 04:23:45 AM UTC 2024
  7. すべての証明書の有効期限を確認し、適切に延長されていることを確認します。
    kubectl get certificates -n apigee -o json | jq -r '.items[] | "\(.metadata.name): \(.status.notAfter)"'

    出力例:

    kubectl get certificates -n apigee -o json | jq -r '.items[] | "\(.metadata.name): \(.status.notAfter)"'
    
      apigee-cassandra-default: 2034-12-14T04:19:58Z
      apigee-cassandra-schema-setup-demo-hybrid-de-5fdc6d2: 2034-12-14T04:19:58Z
      apigee-cassandra-schema-val-demo-hybrid-de-5fdc6d2: 2034-12-14T04:19:58Z
      apigee-cassandra-user-setup-demo-hybrid-de-5fdc6d2: 2034-12-14T04:19:59Z
      apigee-connect-agent-demo-hybrid-de-5fdc6d2: 2034-12-14T04:20:00Z
      apigee-datastore-guardrails-tls: 2024-12-16T05:20:01Z
      apigee-istiod: 2024-12-18T04:20:02Z
      apigee-mart-demo-hybrid-de-5fdc6d2: 2034-12-14T04:20:02Z
      apigee-metrics-adapter-apigee-telemetry: 2034-12-14T04:20:03Z
      apigee-redis-default: 2034-12-14T04:20:04Z
      apigee-redis-envoy-default: 2034-12-14T04:20:04Z
      apigee-runtime-demo-hybrid-de-dev-b276d3f: 2034-12-14T04:20:04Z
      apigee-serving-cert: 2025-03-16T04:20:04Z
      apigee-synchronizer-demo-hybrid-de-dev-b276d3f: 2034-12-14T04:20:05Z
      apigee-udca-demo-hybrid-de-5fdc6d2: 2034-12-14T04:20:06Z
      apigee-watcher-demo-hybrid-de-5fdc6d2: 2034-12-14T04:20:07Z

診断情報の収集が必要な場合

前述の手順を踏んでも問題が解決しない場合は、次の診断情報を収集して Google Cloud カスタマーケアにご連絡ください。

  1. Google Cloud プロジェクト ID。
  2. Apigee ハイブリッド組織。
  3. ソースと新しいリージョンの両方の overrides.yaml ファイル。機密情報をマスキングします。
  4. Apigee ハイブリッドの必須収集のコマンドの出力。
  5. Apigee ハイブリッド Cassandra の必須収集のコマンドの出力。