Présentation de Vertex AI

L'appliance isolée Vertex AI sur Google Distributed Cloud (GDC) apporte la puissance d'une plate-forme de machine learning (ML) et d'intelligence artificielle (IA) à votre appareil portable sécurisé. L'appliance GDC isolée physiquement fournit un accès à un ensemble sélectionné d'API Vertex AI pré-entraînées, ce qui permet d'intégrer des fonctionnalités d'IA à votre solution de cloud privé.

Principales fonctionnalités

Vertex AI sur l'appliance GDC isolée vous offre les fonctionnalités suivantes :

  • Déploiement en réseau isolé : exécutez les services Vertex AI entièrement sur votre appareil portable, ce qui garantit la souveraineté et la conformité des données.
  • Expérience Vertex AI familière : profitez des mêmes outils et API que Google Cloud, ce qui simplifie le développement et la gestion.
  • Modèles et algorithmes prédéfinis : accédez à un large éventail de modèles pré-entraînés pour les tâches de machine learning courantes, ce qui vous permet d'accélérer votre délai de rentabilité.

Services disponibles

Vertex AI sur l'appliance GDC isolée propose les services préentraînés suivants :

Planification des capacités et exigences de calcul

Chaque service Vertex AI nécessite des ressources de calcul différentes. Le tableau suivant présente les exigences pour chaque modèle pré-entraîné :

API pré-entraînée Ressources de calcul Exigences concernant le nombre de GPU Exigences de mémoire du GPU
Reconnaissance optique des caractères (OCR) GPU Un seul GPU A100 80 Go 40 Go
Speech-to-Text Processeur Non applicable (CPU uniquement) Non applicable (CPU uniquement)
Vertex AI Translation GPU Un seul GPU A100 80 Go 50 Go

L'appliance GDC isolée inclut un seul GPU NVIDIA A100 80 Go. Cela limite l'appareil à l'exécution d'une seule API Vertex AI pré-entraînée dépendant du GPU à la fois. Si vous essayez d'activer à la fois Vertex AI Translation et l'OCR, la deuxième API ne pourra pas être activée et un message d'erreur indiquant des ressources GPU insuffisantes s'affichera. Toutefois, vous pouvez exécuter Speech-to-Text en parallèle avec Vertex AI Translation ou OCR, car Speech-to-Text ne nécessite que des ressources de processeur.

Pour vous aider à déterminer le nombre d'unités d'appliance nécessaires pour vos charges de travail d'IA/ML, consultez les limites de capacité suivantes pour chaque API pré-entraînée Vertex AI :

API pré-entraînée Capacité par appliance
Reconnaissance optique des caractères (OCR) Jusqu'à 30 images par minute (une image toutes les deux secondes).
Speech-to-Text Jusqu'à sept minutes de contenu audio transcrit par minute (sept secondes de contenu audio transcrit par seconde).
Vertex AI Translation Jusqu'à 61 000 caractères par minute (1 024 caractères par seconde).

Lorsque vous planifiez votre déploiement, tenez compte des conseils suivants :

  • Les limites de capacité sont approximatives et ne sont pas garanties. La capacité réelle peut varier en fonction de facteurs tels que les suivants :

    • Complexité des données d'entrée (par exemple, langue pour la traduction, qualité de l'image pour l'OCR et clarté de l'audio pour Speech-to-Text).
    • Configuration spécifique de l'appliance.
    • Utilisation simultanée d'autres services sur l'appliance.
  • Une seule API gourmande en GPU (Vertex AI Translation ou OCR) peut être active à la fois, car l'appliance GDC air-gapped est limitée à un seul GPU A100 de 80 Go.

  • Estimez votre utilisation maximale et votre potentiel de croissance future.

  • Pour les charges de travail exigeantes nécessitant un débit plus élevé, envisagez de déployer plusieurs unités Appliance.

Le tableau suivant décrit les exigences de stockage pour chaque service Vertex AI sur l'appliance GDC isolée :

Composant Exigences de stockage
Interface OCR 0,1 Go
Backend OCR 5 GB
Extracteur OCR 0,1 Go
Interface utilisateur Speech-to-Text 0,1 Go
Backend Speech-to-Text 1,5 Go
Interface utilisateur Vertex AI Translation 0,7 Go
Backend Vertex AI Translation 61,4 Go

Assurez-vous que votre appliance dispose d'une capacité de stockage suffisante pour les services Vertex AI que vous prévoyez d'utiliser.

Avantages

Vertex AI sur l'appliance GDC isolée offre les avantages suivants :

  • Expérience de développement fluide : utilisez les mêmes outils, API et workflows que Vertex AI sur Google Cloud, ce qui rend le développement et la gestion intuitifs et efficaces.
  • Sécurité et confidentialité renforcées : gardez le contrôle total de vos données et respectez les exigences réglementaires.
  • Délai de rentabilité accéléré : utilisez des modèles pré-entraînés pour les tâches de machine learning courantes.
  • MLOps simplifié : profitez de fonctionnalités robustes d'opérations de machine learning pour une intégration fluide de l'IA dans votre environnement isolé.

Premiers pas

Pour commencer à utiliser Vertex AI sur l'appliance GDC air-gapped, procédez comme suit :