Cette page présente un exemple d'utilisation de l'API Vertex AI pour traduire du texte d'une langue à une autre.
Dans cet exemple, vous déployez les charges de travail sans utiliser de GPU. Pour effectuer un déploiement à l'aide de GPU, suivez les étapes décrites dans Déployer des charges de travail de conteneur GPU.
API Translation
L'exemple suivant montre comment utiliser Vertex AI pour la traduction de texte.
- Assurez-vous de configurer l'accès à Vertex AI comme décrit dans Utiliser Vertex AI.
Configurez l'API Python Vertex AI en suivant les instructions du guide de démarrage rapide de Vertex AI à l'aide des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence de l'API Vertex AI en langage Python.
Créez un fichier Python
main.py. Ce script utilise l'API Translation Google Cloud, accessible à l'aide d'un point de terminaison de conteneur, pour effectuer des traductions.import os import requests # Use requests for HTTP calls from flask import Flask, request, jsonify app = Flask(__name__) TRANSLATE_API_URL = 'https://translation.googleapis.com/language/translate/v2' @app.route('/translate', methods=['POST']) def translate_text(): try: data = request.get_json() text_to_translate = data.get('text') target_language = data.get('target_language', 'en') # Default to English if not text_to_translate: return jsonify({'error': 'Missing "text" in request body'}), 400 params = { 'key': '${API_KEY}', // insert API key 'q': text_to_translate, 'target': target_language } response = requests.post(TRANSLATE_API_URL, params=params) response.raise_for_status() # Raise an exception for bad status codes (4xx or 5xx) result = response.json() # The structure of the response from the REST API is slightly different # It's usually: {'data': {'translations': [{'translatedText': '...', 'detectedSourceLanguage': '...'}]}} if 'data' in result and 'translations' in result['data'] and len(result['data']['translations']) > 0: translation_info = result['data']['translations'][0] return jsonify({ 'original_text': text_to_translate, 'translated_text': translation_info['translatedText'], 'detected_source_language': translation_info.get('detectedSourceLanguage') }) else: return jsonify({'error': 'Unexpected response format from Translation API', 'details': result}), 500 except requests.exceptions.HTTPError as http_err: print(f"HTTP error occurred: {http_err} - {response.text}") return jsonify({'error': f"Translation API request failed: {http_err}", 'details': response.text}), response.status_code except Exception as e: print(f"Error during translation: {e}") return jsonify({'error': str(e)}), 500 if __name__ == '__main__': port = int(os.environ.get('PORT', 8080)) app.run(debug=True, host='0.0.0.0', port=port)Créez un fichier Docker contenant le script Python :
FROM python:3.9-slim WORKDIR /app COPY . /app RUN pip install --no-cache-dir -r requirements.txt EXPOSE 8080 ENV PORT 8080 CMD ["python", "main.py"]Créez l'image Docker pour l'application de traduction :
docker build -t translation-app .Suivez les instructions de la section Configurer Docker pour :
- Configurez Docker.
- créer un secret ;
- Importez l'image dans HaaS (Harbor as a Service).
Connectez-vous au cluster d'utilisateur et générez son fichier kubeconfig avec une identité utilisateur. Assurez-vous de définir le chemin d'accès kubeconfig en tant que variable d'environnement :
export KUBECONFIG=${CLUSTER_KUBECONFIG_PATH}Créez et déployez les ressources personnalisées de déploiement et de service Kubernetes. Pour activer la sortie de conteneur, veillez à inclure le libellé
egress.networking.gke.io/enabled: "true", comme indiqué dans cet exemple.kubectl --kubeconfig ${KUBECONFIG} -n TENANT_PROJECT \ create -f - <<EOF apiVersion: apps/v1 kind: Deployment metadata: name: translation-deployment-apikey spec: replicas: 2 selector: matchLabels: app: translation-apikey template: metadata: labels: app: translation-apikey egress.networking.gke.io/enabled: "true" spec: dnsConfig: nameservers: - 8.8.8.8 containers: - name: translation-app image: HARBOR_INSTANCE_URL/HARBOR_PROJECT/translation-app:latest ports: - containerPort: 8080 imagePullSecrets: - name: SECRET --- apiVersion: v1 kind: Service metadata: name: translation-service-apikey spec: type: LoadBalancer selector: app: translation-apikey ports: - protocol: TCP port: 80 targetPort: 8080 EOFRemplacez les éléments suivants :
HARBOR_INSTANCE_URL: URL de l'instance Harbor.HARBOR_PROJECT: projet Harbor.SECRET: nom du secret créé pour stocker les identifiants Docker.
Vérifiez que les pods ont été créés par le déploiement :
kubectl --kubeconfig ${KUBECONFIG} get pods -n TENANT_PROJECTCréez une règle de réseau pour autoriser tout le trafic réseau vers le projet locataire :
kubectl --kubeconfig ${KUBECONFIG} -n TENANT_PROJECT \ create -f - <<EOF apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: annotations: name: allow-all spec: ingress: - from: - ipBlock: cidr: 0.0.0.0/0 podSelector: {} policyTypes: - Ingress EOFExportez l'adresse IP du service :
export IP=`kubectl --kubeconfig=${KUBECONFIG} get service nginx-service \ -n TENANT_PROJECT -o jsonpath='{.status.loadBalancer.ingress[*].ip}'`Créez une session de tunnel SSH vers la charge de travail que vous avez déployée.
sshuttle -r zone1-org-1-data@GDC_SANDBOX_INSTANCE_NAME --no-latency-control \ --ssh-cmd 'gcloud compute ssh --project PROJECT_NAME --zone ZONE --tunnel-through-iap' \ 10.200.0.0/16 --dnsTestez le service en envoyant une charge utile JSON avec le texte et la langue cible à
http://${IP}:8080/translate, à l'aide d'une requête POST avec l'en-têteContent-Typedéfini surapplication/json. La commande curl suivante traduira "Hello, world!" en espagnol (es) :curl -X POST -H "Content-Type: application/json" -d '{"text": "Hello, world\\!", "target\_language": "es"}' http://${IP}:8080/translate