Implante componentes principais na organização do cliente

Esta página detalha como implantar o Inference Gateway na organização do cliente. Para mais informações sobre esse componente, consulte Componentes principais.

Antes de começar

Para implantar componentes principais na organização do cliente, você precisa ter o seguinte:

Implantar o gateway de inferência

Para implantar o Inference Gateway na organização do cliente, siga estas etapas:

  1. Aplique o recurso personalizado AICSPackage ao servidor da API de gerenciamento da organização do cliente:

    CUS_ORG_MGMT_KUBECONFIG=CUS_ORG_MGMT_KUBECONFIG_PATH

kubectl apply --kubeconfig ${CUS_ORG_MGMT_KUBECONFIG:?} -f << EOF
apiVersion: aics.gdc.goog/v1
kind: AICSPackage
metadata:
  name: aics-l1opr-cr
  namespace: aics-system
spec:
  applications:
  - name: inference-gateway
    path: inference-gateway
  - name: l2crd
    path: vai-l2crd
  - name: l2opr
    path: aics-l2operator
EOF

    Substitua CUS_ORG_MGMT_KUBECONFIG_PATH pelo caminho do arquivo kubeconfig do servidor da API de gerenciamento da organização do cliente.

  2. Recupere o nome de domínio totalmente qualificado (FQDN) do roteador de IA generativa:

    GEM_ORG_MGMT_KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH

GEN_AI_ROUTER_FQDN=$(kubectl --kubeconfig ${GEM_ORG_MGMT_KUBECONFIG:?} \
  get dnsregistrations.network.private.gdc.goog/genai-router \
  -n gemini-system -o json | jq '.status.fqdn')

echo $GEN_AI_ROUTER_FQDN

    Substitua GEM_ORG_MGMT_KUBECONFIG_PATH pelo caminho para o arquivo kubeconfig do servidor da API de gerenciamento da organização do Gemini.

    A resposta tem a aparência do exemplo a seguir.

    "genai-router.org-1.zone1.google.gdch.test"

  3. Crie um ConfigMap contendo o FQDN do roteador de IA generativa no cluster de infraestrutura da organização do cliente:

    CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH

kubectl --kubeconfig ${CUS_ORG_CP_KUBECONFIG:?} apply -f - << EOF
apiVersion: v1
kind: ConfigMap
metadata:
  name: inference-gateway-config
  namespace: aics-system
data:
  GEMINI_ADDRESS: $GEN_AI_ROUTER_FQDN
EOF

    Substitua CUS_ORG_CP_KUBECONFIG_PATH pelo caminho para o arquivo kubeconfig do cluster de infraestrutura da organização do cliente.

  4. Copie o pacote de confiança do cluster de infraestrutura da organização do Gemini para o cluster de infraestrutura da organização do cliente:

    GEM_ORG_CP_KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH
CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH

kubectl --kubeconfig=${GEM_ORG_CP_KUBECONFIG:?} get configMap trust-store-root-ext
  -n istio-system -o yaml | yq .data > genai-istio-ca-crt.yaml

(echo "apiVersion: v1"; echo "kind: ConfigMap"; echo "metadata:"; echo "  name: genai-isito-ca"; \
echo "  namespace: aics-system"; echo "data:"; sed 's/^/  /' genai-istio-ca-crt.yaml | cat -) > genai-istio-ca.yaml

kubectl --kubeconfig=${CUS_ORG_CP_KUBECONFIG:?} apply -f genai-istio-ca.yaml

    Substitua:

    • GEM_ORG_CP_KUBECONFIG_PATH: o caminho para o arquivo kubeconfig do cluster de infraestrutura da organização do Gemini.
    • CUS_ORG_CP_KUBECONFIG_PATH: o caminho para o arquivo kubeconfig do cluster de infraestrutura da organização do cliente.

A seguir