Implemente componentes principais na organização do cliente

Esta página detalha como implementar o gateway de inferência na organização do cliente. Para mais informações sobre este componente, consulte o artigo Componentes principais.

Antes de começar

Para implementar componentes importantes na organização do cliente, tem de ter o seguinte:

Implemente o gateway de inferência

Para implementar o gateway de inferência na organização do cliente, siga estes passos:

  1. Aplique o recurso personalizado AICSPackage ao servidor da API de gestão a partir da organização do cliente:

    CUS_ORG_MGMT_KUBECONFIG=CUS_ORG_MGMT_KUBECONFIG_PATH

kubectl apply --kubeconfig ${CUS_ORG_MGMT_KUBECONFIG:?} -f << EOF
apiVersion: aics.gdc.goog/v1
kind: AICSPackage
metadata:
  name: aics-l1opr-cr
  namespace: aics-system
spec:
  applications:
  - name: inference-gateway
    path: inference-gateway
  - name: l2crd
    path: vai-l2crd
  - name: l2opr
    path: aics-l2operator
EOF

    Substitua CUS_ORG_MGMT_KUBECONFIG_PATH pelo caminho para o ficheiro kubeconfig do servidor da API de gestão da organização do cliente.

  2. Obtenha o nome do domínio totalmente qualificado (FQDN) do router de IA gen.:

    GEM_ORG_MGMT_KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH

GEN_AI_ROUTER_FQDN=$(kubectl --kubeconfig ${GEM_ORG_MGMT_KUBECONFIG:?} \
  get dnsregistrations.network.private.gdc.goog/genai-router \
  -n gemini-system -o json | jq '.status.fqdn')

echo $GEN_AI_ROUTER_FQDN

    Substitua GEM_ORG_MGMT_KUBECONFIG_PATH pelo caminho para o ficheiro kubeconfig do servidor da API de gestão da organização Gemini.

    O resultado tem o seguinte aspeto:

    "genai-router.org-1.zone1.google.gdch.test"

  3. Crie um ConfigMap que contenha o FQDN do router de IA gen no cluster de infraestrutura da organização do cliente:

    CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH

kubectl --kubeconfig ${CUS_ORG_CP_KUBECONFIG:?} apply -f - << EOF
apiVersion: v1
kind: ConfigMap
metadata:
  name: inference-gateway-config
  namespace: aics-system
data:
  GEMINI_ADDRESS: $GEN_AI_ROUTER_FQDN
EOF

    Substitua CUS_ORG_CP_KUBECONFIG_PATH pelo caminho para o ficheiro kubeconfig do cluster de infraestrutura da organização do cliente.

  4. Copie o pacote de confiança do cluster de infraestrutura da organização do Gemini para o cluster de infraestrutura da organização do cliente:

    GEM_ORG_CP_KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH
CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH

kubectl --kubeconfig=${GEM_ORG_CP_KUBECONFIG:?} get configMap trust-store-root-ext
  -n istio-system -o yaml | yq .data > genai-istio-ca-crt.yaml

(echo "apiVersion: v1"; echo "kind: ConfigMap"; echo "metadata:"; echo "  name: genai-isito-ca"; \
echo "  namespace: aics-system"; echo "data:"; sed 's/^/  /' genai-istio-ca-crt.yaml | cat -) > genai-istio-ca.yaml

kubectl --kubeconfig=${CUS_ORG_CP_KUBECONFIG:?} apply -f genai-istio-ca.yaml

    Substitua o seguinte:

    • GEM_ORG_CP_KUBECONFIG_PATH: o caminho para o ficheiro kubeconfig do cluster de infraestrutura da organização para a organização Gemini.
    • CUS_ORG_CP_KUBECONFIG_PATH: o caminho para o ficheiro kubeconfig do cluster de infraestrutura da organização do cliente.

O que se segue?