Modelle für generative KI und maschinelles Lernen in einem Unternehmen erstellen und bereitstellen

Last reviewed 2024-03-28 UTC

Modelle für generative KI und maschinelles Lernen (ML) werden in den Geschäftsaktivitäten und Geschäftsprozessen von Unternehmen immer häufiger verwendet. Unternehmen benötigen daher immer mehr Anleitungen bei der Modellentwicklung, um Konsistenz, Wiederholbarkeit, Sicherheit und Schutz zu gewährleisten. Zur Unterstützung großer Unternehmen beim Erstellen und Bereitstellen von Modellen für generative KI und ML haben wir den Blueprint für generative KI und maschinelles Lernen für Unternehmen erstellt. Dieser Blueprint bietet Ihnen einen umfassenden Leitfaden für den gesamten Lebenszyklus der KI-Entwicklung, von der vorläufigen Datenexploration und -experimentierung bis hin zu Modelltraining, Bereitstellung und Monitoring.

Der Blueprint für generative KI und ML für Unternehmen bietet viele Vorteile, darunter:

  • Präskriptive Anleitung: Klare Anleitung zum Erstellen, Konfigurieren und Bereitstellen einer Entwicklungsumgebung für generative KI und ML auf der Grundlage von Vertex AI. Sie können Vertex AI zum Entwickeln eigener Modelle verwenden.
  • Erhöhte Effizienz: Umfassende Automatisierung zur Reduzierung des Aufwands bei der Bereitstellung von Infrastruktur und der Entwicklung von Modellen für generative KI und ML. Die Automatisierung ermöglicht Ihnen, sich auf wertschöpfende Aufgaben wie das Modelldesign und das Testen zu konzentrieren.
  • Verbesserte Governance und Nachvollziehbarkeit: Die Reproduzierbarkeit, Rückverfolgbarkeit und die kontrollierte Bereitstellung von Modellen sind Teil des Designs dieses Blueprints. Mit diesem Vorteil können Sie den Lebenszyklus Ihres Modells für generative KI und ML besser verwalten und Modelle mit klaren Audit-Trails konsistent neu trainieren und bewerten.
  • Sicherheit: Der Blueprint ist so konzipiert, dass er den Anforderungen des NIST-Frameworks (National Institute of Standards and Technology) und des CRI-Frameworks (Cyber Risk Institute) entspricht:

Der Blueprint für generative KI und ML für Unternehmen enthält Folgendes:

  • Ein GitHub-Repository, das eine Reihe von Terraform-Konfigurationen, ein Jupyter-Notebook, eine Vertex AI Pipelines-Definition, einen gerichteten azyklischen Graphen (Directed Acyclic Graph, DAG) für Cloud Composer und Zusatzskripts enthält. Die Komponenten im Repository führen Folgendes aus:
    • Mit der Terraform-Konfiguration wird eine Modellentwicklungsplattform für Vertex AI eingerichtet, die mehrere Modellentwicklungsteams unterstützen kann.
    • Mit dem Jupyter-Notebook können Sie interaktiv ein Modell entwickeln.
    • Die Vertex AI Pipelines-Definition übersetzt das Jupyter-Notebook in ein reproduzierbares Muster, das für Produktionsumgebungen verwendet werden kann.
    • Der Cloud Composer-DAG bietet eine alternative Methode zu Vertex AI Pipelines.
    • Die Zusatzskripts unterstützen die Bereitstellung des Terraform-Codes und der Pipelines.
  • Einer Anleitung zu den Architektur-, Design-, Sicherheitskontrollen und Betriebsprozessen, die Sie mit diesem Blueprint implementieren (dieses Dokument).

Der Blueprint für generative KI und ML für Unternehmen ist so konzipiert, dass er mit dem Blueprint zu Unternehmensgrundlagen kompatibel ist. Der Unternehmensgrundlagen-Blueprint bietet eine Reihe von Diensten auf Basisebene, auf die sich dieser Blueprint stützt, z. B. VPC-Netzwerke. Sie können den generativen KI- und ML-Blueprint für Unternehmen bereitstellen, ohne den Unternehmensgrundlagen-Blueprint bereitzustellen, wenn Ihre Google Cloud-Umgebung die erforderlichen Funktionen zur Unterstützung des generativen KI- und ML-Blueprints für Unternehmen bietet.

Dieses Dokument richtet sich an Cloud-Architekten, Data Scientists und Data Engineers, die mit dem Blueprint neue Modelle für generative KI und ML in Google Cloud erstellen und bereitstellen können. In diesem Dokument wird davon ausgegangen, dass Sie mit der Modellentwicklung für generative KI und ML und der Vertex AI-ML-Plattform vertraut sind.

Übersicht über Blueprint für generative KI und ML für Unternehmen

Der Blueprint für generative KI und ML für Unternehmen verwendet einen mehrstufigen Ansatz, um die Funktionen bereitzustellen, die das Training von Modellen für generative KI und ML ermöglichen. Der Blueprint soll über einen Workflow für ML-Vorgänge (MLOps) bereitgestellt und gesteuert werden. Das folgende Diagramm zeigt, wie sich die von diesem Blueprint bereitgestellte MLOps-Ebene auf andere Ebenen in Ihrer Umgebung bezieht.

Die Blueprint-Ebenen.

Dieses Diagramm enthält Folgendes:

  • Die Google Cloud-Infrastruktur bietet Ihnen Sicherheitsfunktionen wie:Verschlüsselung inaktiver Daten undVerschlüsselung während der Übertragung sowie Grundbausteine wie Computing und Speicher.
  • Die Unternehmensgrundlage bietet Ihnen eine Referenz für Ressourcen wie Identitäts-, Netzwerk-, Logging-, Monitoring- und Bereitstellungssysteme, mit denen Sie Google Cloud für Ihre KI-Arbeitslasten verwenden können.
  • Die Datenschicht ist eine optionale Ebene im Entwicklungspaket, die Ihnen verschiedene Funktionen wie Datenaufnahme, Datenspeicherung, Datenzugriffssteuerung und Data Governance, Datenmonitoring und Datenfreigabe bietet.
  • Mit der Ebene für generative KI und ML (dieser Blueprint) können Sie Modelle erstellen und bereitstellen. Sie können diese Ebene für die vorläufige Datenexploration und -experimente, Modelltraining, Modellbereitstellung und Monitoring verwenden.
  • CI/CD bietet Ihnen Tools, mit denen Sie die Bereitstellung, Konfiguration, Verwaltung und Bereitstellung von Infrastruktur, Workflows und Softwarekomponenten automatisieren können. Mit diesen Komponenten sorgen Sie für konsistente, zuverlässige und überprüfbare Bereitstellungen und können manuelle Fehler minimieren und den gesamten Entwicklungszyklus beschleunigen.

Der Blueprint enthält ein Beispiel für eine ML-Modellentwicklung, um zu zeigen, wie die Umgebung der generativen KI und ML verwendet wird. Die Beispielmodellentwicklung führt Sie durch das Erstellen eines Modells, das Erstellen von Betriebspipelines, das Trainieren des Modells, das Testen des Modells und das Bereitstellen des Modells.

Architektur

Mit dem Blueprint für generative KI und ML für Unternehmen können Sie direkt mit Daten arbeiten. Sie können Modelle in einer interaktiven Entwicklungsumgebung erstellen und die Modelle in eine Betriebsumgebung (Produktion oder Nicht-Produktion) hochstufen.

In der interaktiven Umgebung entwickeln Sie ML-Modelle mit Vertex AI Workbench, einem Jupyter-Notebook-Dienst, der von Google verwaltet wird. Sie erstellen Funktionen zur Datenextraktion, Datentransformation und Modelloptimierung in der interaktiven Umgebung und stufen sie in die Betriebsumgebung hoch.

In der Betriebsumgebung (Nicht-Produktionsumgebung) verwenden Sie Pipelines, um deren Modelle wiederholbar und kontrollierbar zu erstellen und zu testen. Wenn Sie mit der Leistung des Modells zufrieden sind, können Sie es in der Betriebsumgebung (Produktionsumgebung) bereitstellen. Das folgende Diagramm zeigt die verschiedenen Komponenten der interaktiven Umgebungen und der Betriebsumgebungen.

Die Blueprint-Architektur.

Dieses Diagramm enthält Folgendes:

  1. Bereitstellungssysteme: Dienste wie Service Catalog und Cloud Build stellen Google Cloud-Ressourcen in der interaktiven Umgebung bereit. Cloud Build stellt auch Google Cloud-Ressourcen und Workflows zur Modellerstellung in der Betriebsumgebung bereit.
  2. Datenquellen: Dienste wie BigQuery, Cloud Storage, Spanner und AlloyDB for PostgreSQL hosten Ihre Daten. Der Blueprint enthält Beispieldaten in BigQuery und Cloud Storage.
  3. Interaktive Umgebung: Eine Umgebung, in der Sie direkt mit Daten interagieren, mit Modellen experimentieren und Pipelines zur Verwendung in der Betriebsumgebung erstellen können.
  4. Betriebsumgebung: Eine Umgebung, in der Sie Ihre Modelle auf wiederholbare Weise erstellen und testen und dann in der Produktion bereitstellen können.
  5. Modelldienste: Die folgenden Dienste unterstützen verschiedene MLOps-Aktivitäten:
  6. Artefaktspeicher: Diese Dienste speichern den Code und die Container sowie für Ihre Modellentwicklung und Pipelines. Dazu gehören:
    • Artifact Registry speichert Container, die von Pipelines in der Betriebsumgebung verwendet werden, um die verschiedenen Phasen der Modellentwicklung zu steuern.
    • Das Git-Repository speichert die Codebasis der verschiedenen Komponenten, die bei der Modellentwicklung verwendet werden.

Plattformidentitäten

Wenn Sie den Blueprint bereitstellen, erstellen Sie vier Arten von Nutzergruppen: eine MLOps-Entwicklergruppe, eine DevOps-Entwicklergruppe, eine Data-Scentist-Gruppe und eine Data-Entwickler-Gruppe. Die Gruppen sind für Folgendes verantwortlich:

  • Die Gruppe MLOps-Entwickler entwickelt die von Service Catalog verwendeten Terraform-Vorlagen. Dieses Team bietet Vorlagen, die von vielen Modellen verwendet werden.
  • Die Gruppe DevOps-Entwickler genehmigt die Terraform-Vorlagen, die von der MLOps-Entwicklergruppe erstellt werden.
  • Die Data-Scientist-Gruppe entwickelt Modelle, Pipelines und die Container, die von den Pipelines verwendet werden. In der Regel beschäftigt sich ein einzelnes Team mit dem Aufbau eines einzelnen Modells.
  • Die Gruppe Data Engineer genehmigt die Verwendung der Artefakte, die von der Data-Science-Gruppe erstellt werden.

Organisationsstruktur

Dieser Blueprint verwendet die Organisationsstruktur des Unternehmens-Blueprints als Grundlage für die Bereitstellung von KI- und ML-Arbeitslasten. Das folgende Diagramm zeigt die Projekte, die zur Grundlage hinzugefügt werden, um KI- und ML-Arbeitslasten zu aktivieren.

Die Organisationsstruktur des Blueprints.

In der folgenden Tabelle werden die Projekte beschrieben, die vom Blueprint generativer KI und ML verwendet werden.

Ordner Projekt Beschreibung

common

prj-c-infra-pipeline

 Enthält die Bereitstellungspipeline, mit der die Komponenten für generative KI und ML des Blueprints erstellt werden. Weitere Informationen finden Sie im Abschnitt zur Infrastrukturpipeline im Blueprint zur Unternehmensgrundlage.

prj-c-service-catalog

 Enthält die Infrastruktur, die von Service Catalog zum Bereitstellen von Ressourcen in der interaktiven Umgebung verwendet wird.

development

prj-d-machine-learning

 Enthält die Komponenten zum Entwickeln eines KI- und ML-Anwendungsfalls im interaktiven Modus

non-production

prj-n-machine-learning

 Enthält die Komponenten zum Testen und Bewerten eines KI- und ML-Anwendungsfalls, der in der Produktion bereitgestellt werden kann

production

prj-p-machine-learning

 Enthält die Komponenten zum Bereitstellen eines KI- und ML-Anwendungsfalls in der Produktion

Netzwerk

Der Blueprint verwendet das freigegebene VPC-Netzwerk, das im Unternehmensgrundlagen-Blueprint erstellt wurde. In der interaktiven Entwicklungsumgebung werden Vertex AI Workbench-Notebooks in Dienstprojekten bereitgestellt. Lokale Nutzer können über den privaten IP-Adressbereich im freigegebenen VPC-Netzwerk auf die Projekte zugreifen. Lokale Nutzer können über Private Service Connect auf Google Cloud APIs wie Cloud Storage zugreifen. Jedes freigegebene VPC-Netzwerk (Entwicklung, Nicht-Produktion und Produktion) hat einen eigenen Private Service Connect-Endpunkt.

Das Blueprint-Netzwerk.

Die Betriebsumgebung (Nicht-Produktion und Produktion) hat zwei separate freigegebene VPC-Netzwerke, auf die lokale Ressourcen über private IP-Adressen zugreifen können. Die interaktiven Umgebungen und die Betriebsumgebungen werden durch VPC Service Controls geschützt.

Cloud Logging

Dieser Blueprint verwendet die Cloud Logging-Funktionen, die vom Unternehmensgrundlagen-Blueprint bereitgestellt werden.

Cloud Monitoring

Zum Überwachen benutzerdefinierter Trainingsjobs enthält der Blueprint ein Dashboard, mit dem Sie die folgenden Messwerte überwachen können:

  • CPU-Auslastung jedes Trainingsknotens
  • Arbeitsspeicherauslastung der einzelnen Trainingsknoten
  • Netzwerknutzung

Wenn ein benutzerdefinierter Trainingsjob fehlgeschlagen ist, stellt der Blueprint Cloud Monitoring zur Verfügung, um Ihnen einen E-Mail-Benachrichtigungsmechanismus zur Verfügung zu stellen, mit dem Sie über den Fehler informiert werden. Für das Monitoring bereitgestellter Modelle, die den Vertex AI-Endpunkt verwenden, enthält der Blueprint ein Dashboard mit den folgenden Messwerten:

  • Leistungsmesswerte:
    • Vorhersagen pro Sekunde
    • Modelllatenz
  • Ressourcennutzung:
    • CPU-Nutzung
    • Arbeitsspeichernutzung

Organisationsrichtlinien einrichten

Zusätzlich zu den Organisationsrichtlinien, die vom Blueprint zu Unternehmensgrundlagen erstellt wurden, fügt dieser Blueprint die Organisationsrichtlinien hinzu, die unter vordefinierter Status für sichere KI, erweitert aufgeführt werden.

Operations

In diesem Abschnitt werden die im Blueprint enthaltenen Umgebungen beschrieben.

Interaktive Umgebung

Damit Sie Daten untersuchen und Modelle entwickeln können, ohne den Sicherheitsstatus Ihrer Organisation beizubehalten, bietet die interaktive Umgebung eine kontrollierte Reihe von Aktionen, die Sie ausführen können. Sie können Google Cloud-Ressourcen mit einer der folgenden Methoden bereitstellen:

  • Mit Service Catalog, der durch Automatisierung mit Ressourcenvorlagen vorkonfiguriert ist
  • Codeartefakte erstellen und mithilfe von Vertex AI Workbench-Notebooks per Commit in Git-Repositories übertragen

Das folgende Diagramm zeigt die interaktive Umgebung.

Interaktive Blueprint-Umgebung

Ein typischer interaktiver Ablauf umfasst die folgenden Schritte und Komponenten:

  1. Service Catalog bietet eine ausgewählte Liste von Google Cloud-Ressourcen, die Data Scientists in der interaktiven Umgebung bereitstellen können. Der Data Scientist stellt die Vertex AI Workbench-Notebookressource aus Service Catalog bereit.
  2. Vertex AI Workbench-Notebooks sind die Hauptschnittstelle, mit der Data Scientists mit Google Cloud-Ressourcen arbeiten, die in der interaktiven Umgebung bereitgestellt werden. Mit den Notebooks können Data Scientists ihren Code aus Git abrufen und nach Bedarf aktualisieren.
  3. Quelldaten werden außerhalb der interaktiven Umgebung gespeichert und getrennt von diesem Blueprint verwaltet. Der Zugriff auf die Daten wird von einem Dateninhaber gesteuert. Data Scientists können Lesezugriff auf Quelldaten anfordern, aber Data Scientists können nicht in die Quelldaten schreiben.
  4. Data Scientists können Quelldaten in die interaktive Umgebung in Ressourcen übertragen, die über den Service Catalog erstellt wurden. In der interaktiven Umgebung können Data Scientists die Daten lesen, schreiben und bearbeiten. Data Scientists können jedoch keine Daten aus der interaktiven Umgebung übertragen oder Zugriff auf Ressourcen gewähren, die von Service Catalog erstellt werden. BigQuery speichert strukturierte und semistrukturierte Daten und Cloud Storage unstrukturierte Daten.
  5. Feature Store bietet Data Scientists Zugriff mit niedriger Latenz auf Features für das Modelltraining.

  6. Data Scientists trainieren Modelle mit benutzerdefinierten Trainingsjobs von Vertex AI. Der Blueprint verwendet auch Vertex AI für die Hyperparameter-Abstimmung.

  7. Data Scientists bewerten Modelle mithilfe von Vertex AI Experiments und Vertex AI TensorBoard. Mit Vertex AI Experiments können Sie mehrere Trainings für ein Modell mit verschiedenen Parametern, Modellierungsverfahren, Architekturen und Eingaben ausführen. Mit Vertex AI TensorBoard können Sie die verschiedenen ausgeführten Tests verfolgen, visualisieren und vergleichen und das Modell mit den am besten beobachteten Merkmalen zur Validierung auswählen.

  8. Data Scientists validieren ihre Modelle mit der Vertex AI-Bewertung. Zur Validierung ihrer Modelle teilen Data Scientists die Quelldaten in ein Trainings-Dataset und ein Validierungs-Dataset auf und führen eine Vertex AI-Evaluierung für Ihr Modell durch.

  9. Data Scientists erstellen Container mit Cloud Build, speichern die Container in Artifact Registry und verwenden die Container in Pipelines in der Betriebsumgebung.

Betriebsumgebung

In der Betriebsumgebung werden ein Git-Repository und Pipelines verwendet. Diese Umgebung umfasst die Produktionsumgebung und die Nicht-Produktionsumgebung des Blueprints der Unternehmensgrundlage. In der Nicht-Produktionsumgebung wählt der Data Scientist eine Pipeline aus einer der Pipelines aus, die in der interaktiven Umgebung entwickelt wurden. Der Data Scientist kann die Pipeline in der Nicht-Produktionsumgebung ausführen, die Ergebnisse bewerten und dann bestimmen, welches Modell in die Produktionsumgebung hochgestuft werden soll.

Der Blueprint enthält eine Beispielpipeline, die mit Cloud Composer erstellt wurde, und eine Beispielpipeline, die mit Vertex AI Pipelines erstellt wurde. Das folgende Diagramm zeigt die Betriebsumgebung.

Die Blueprint-Betriebsumgebung.

Ein typischer operativer Ablauf umfasst die folgenden Schritte:

  1. Ein Data Scientist führt einen Entwicklungszweig erfolgreich zu einem Bereitstellungszweig zusammen.
  2. Die Zusammenführung in den Bereitstellungszweig löst eine Cloud Build-Pipeline aus.
  3. Eines der folgenden Elemente tritt ein:
    • Wenn ein Data Scientist Cloud Composer als Orchestrator verwendet, verschiebt die Cloud Build-Pipeline einen DAG nach Cloud Storage.
    • Wenn der Data Scientist Vertex AI Pipelines als Orchestrator verwendet, verschiebt die Pipeline eine Python-Datei nach Cloud Storage.
  4. Die Cloud Build-Pipeline löst den Orchestrator (Cloud Composer oder Vertex AI Pipelines) aus.
  5. Der Orchestrator ruft seine Pipelinedefinition aus Cloud Storage ab und beginnt mit der Ausführung der Pipeline.
  6. Die Pipeline ruft einen Container aus Artifact Registry ab, der von allen Phasen der Pipeline zum Auslösen von Vertex AI-Diensten verwendet wird.
  7. Die Pipeline löst unter Verwendung des Containers eine Datenübertragung vom Quelldatenprojekt in die Betriebsumgebung aus.
  8. Daten werden durch die Pipeline transformiert, validiert, aufgeteilt und für das Modelltraining und die Validierung vorbereitet.
  9. Bei Bedarf verschiebt die Pipeline Daten in Vertex AI Feature Store, um während des Modelltrainings einen einfachen Zugriff zu ermöglichen.
  10. Die Pipeline verwendet zum Trainieren des Modells das benutzerdefinierte Modelltraining von Vertex AI.
  11. Die Pipeline verwendet die Vertex-AI-Bewertung, um das Modell zu validieren.
  12. Ein validiertes Modell wird von der Pipeline in die Model Registry importiert.
  13. Das importierte Modell wird dann verwendet, um mithilfe von Onlinevorhersagen oder Batchvorhersagen Vorhersagen zu generieren.
  14. Nachdem das Modell in der Produktionsumgebung bereitgestellt wurde, verwendet die Pipeline Vertex AI Model Monitoring, um zu ermitteln, ob die Leistung des Modells durch Monitoring auf Abweichungen zwischen Training und Bereitstellung und Vorhersage-Drift beeinträchtigt wird.

Bereitstellung

Der Blueprint verwendet eine Reihe von Cloud Build-Pipelines, um die Blueprint-Infrastruktur, die Pipeline in der Betriebsumgebung und die Container zum Erstellen von Modellen für generative KI und ML bereitzustellen. Die verwendeten Pipelines und die bereitgestellten Ressourcen sind:

  • Infrastrukturpipeline: Diese Pipeline ist Teil des Blueprints der Unternehmensgrundlagen. Diese Pipeline stellt die Google Cloud-Ressourcen bereit, die der interaktiven Umgebung und Betriebsumgebung zugeordnet sind.
  • Interaktive Pipeline: Die interaktive Pipeline ist Teil der interaktiven Umgebung. Diese Pipeline kopiert Terraform-Vorlagen aus einem Git-Repository in einen Cloud Storage-Bucket, den Service Catalog lesen kann. Die interaktive Pipeline wird ausgelöst, wenn eine Pull-Anfrage zur Zusammenführung mit dem Hauptzweig gesendet wird.
  • Containerpipeline: Der Blueprint enthält eine Cloud Build-Pipeline, um Container zu erstellen, die in der operativen Pipeline verwendet werden. Container, die in verschiedenen Umgebungen bereitgestellt werden, sind unveränderliche Container-Images. Unveränderliche Container-Images sorgen dafür, dass dasselbe Image in allen Umgebungen bereitgestellt wird und während der Ausführung nicht geändert werden kann. Wenn Sie die Anwendung ändern möchten, müssen Sie das Image neu erstellen und noch einmal bereitstellen. Container-Images, die im Blueprint verwendet werden, werden in Artifact Registry gespeichert und in den Konfigurationsdateien referenziert, die in der operativen Pipeline verwendet werden.
  • Betriebspipeline: Die Betriebspipeline ist Teil der Betriebsumgebung. Diese Pipeline kopiert DAGs für Cloud Composer oder Vertex AI Pipelines, die dann zum Erstellen, Testen und Bereitstellen von Modellen verwendet werden.

Service Catalog

Mit Service Catalog können Entwickler und Cloud-Administratoren ihre Lösungen von internen Unternehmensnutzern verwenden lassen. Die Terraform-Module in Service Catalog werden mit der Cloud Build CI/CD-Pipeline als Artefakte im Cloud Storage-Bucket erstellt und veröffentlicht. Nachdem die Module in den Bucket kopiert wurden, können Entwickler mithilfe der Module Terraform-Lösungen auf der Service Catalog-Admin-Seite erstellen, die Lösungen zu Service Catalog hinzufügen und die Lösungen für interaktive Umgebungsprojekte freigeben, sodass Nutzer die Ressourcen bereitstellen können.

Die interaktive Umgebung verwendet Service Catalog, damit Data Scientists Google Cloud-Ressourcen so bereitstellen können, dass sie dem Sicherheitsstatus ihres Unternehmens entsprechen. Bei der Entwicklung eines Modells, das Google Cloud-Ressourcen erfordert, z. B. einen Cloud Storage-Bucket, wählt der Data Scientist die Ressource aus Service Catalog aus, konfiguriert sie und stellt sie in der interaktiven Umgebung bereit. Service Catalog enthält vorkonfigurierte Vorlagen für verschiedene Google Cloud-Ressourcen, die der Data Scientist in der interaktiven Umgebung bereitstellen kann. Der Data Scientist kann die Ressourcenvorlagen nicht ändern, kann die Ressourcen jedoch über die Konfigurationsvariablen konfigurieren, die die Vorlage bereitstellt. Das folgende Diagramm zeigt die Struktur der Beziehung zwischen Service Catalog und interaktiver Umgebung.

Der Blueprint-Katalog.

Data Scientists stellen Ressourcen mit Service Catalog bereit, wie in den folgenden Schritten beschrieben:

  1. Der MLOps-Entwickler fügt eine Terraform-Ressourcenvorlage für Google Cloud in ein Git-Repository ein.
  2. Das Commit für Git löst eine Cloud Build-Pipeline aus.
  3. Cloud Build kopiert die Vorlage und alle zugehörigen Konfigurationsdateien in Cloud Storage.
  4. Der MLOps-Entwickler richtet die Service Catalog-Lösungen und Service Catalog manuell ein. Der Entwickler gibt dann den Service Catalog für ein Dienstprojekt in der interaktiven Umgebung frei.
  5. Der Data Scientist wählt eine Ressource aus Service Catalog aus.
  6. Service Catalog stellt die Vorlage in der interaktiven Umgebung bereit.
  7. Die Ressource ruft alle erforderlichen Konfigurationsskripts ab.
  8. Der Data Scientist interagiert mit den Ressourcen.

Repositories

Die unter Bereitstellung beschriebenen Pipelines werden durch Änderungen im entsprechenden Repository ausgelöst. Um sicherzustellen, dass niemand unabhängige Änderungen an der Produktionsumgebung vornehmen kann, werden die Verantwortlichkeiten zwischen Nutzern, die Code senden können, und Nutzern, die Codeänderungen genehmigen können, getrennt. In der folgenden Tabelle werden die Blueprint-Repositories und ihre Absender und Genehmiger beschrieben.

Repository Pipeline Beschreibung Absender Genehmiger

ml-foundation

 Infrastruktur
 Enthält den Terraform-Code für den Blueprint für generative KI und ML, der die interaktiven und operativen Umgebungen erstellt. MLOps-Entwickler DevOps-Entwickler

service-catalog

 Interaktiv Enthält die Vorlagen für die Ressourcen, die der Service Catalog bereitstellen kann. MLOps-Entwickler DevOps-Entwickler

artifact-publish

 Container Enthält die Container, die Pipelines in der Betriebsumgebung verwenden können. Data Scientist Data Engineer

machine-learning

 Betrieblich Enthält den Quellcode, den Pipelines in der Betriebsumgebung verwenden können. Data Scientist Data Engineer

Verzweigungsstrategie

Der Blueprint verwendet nichtflüchtige Verzweigung, um Code in der zugehörigen Umgebung bereitzustellen. Der Blueprint verwendet drei Zweige (Entwicklung, Nicht-Produktion und Produktion), die die entsprechenden Umgebungen widerspiegeln.

Sicherheitskontrollen

Der Blueprint generativer KI und ML für Unternehmen verwendet ein mehrstufiges Sicherheitsmodell mit gestaffelten Sicherheitsebenen, das Standard-Google Cloud-Funktionen, Google Cloud-Dienste und Sicherheitsfunktionen verwendet, die über den Unternehmensgrundlagen-Blueprint konfiguriert werden. Das folgende Diagramm zeigt die Schichten der verschiedenen Sicherheitskontrollen für den Blueprint.

Die Blueprint-Sicherheitskontrollen.

Die Funktionen der Ebenen sind:

  • Schnittstelle: Stellt Data Scientists Dienste zur Verfügung, mit denen sie auf kontrollierte Weise mit dem Blueprint interagieren können.
  • Bereitstellung: Stellt eine Reihe von Pipelines bereit, die Infrastruktur bereitstellen sowie Container und Modelle erstellen. Die Verwendung von Pipelines ermöglicht die Nachvollziehbarkeit, Rückverfolgbarkeit und Wiederholbarkeit.
  • Netzwerk: Bietet Schutz vor Daten-Exfiltration für die Blueprint-Ressourcen auf API- und IP-Ebene.
  • Zugriffsverwaltung: steuert, wer auf welche Ressourcen zugreifen kann, und verhindert den nicht autorisierten Zugriff auf Ihre Ressourcen.
  • Verschlüsselung:Hiermit können Sie Ihre Verschlüsselungsschlüssel und Secrets steuern und Ihre Daten durch die Standardverschlüsselung inaktiver Daten und während der Übertragung schützen.
  • Erkennung: hilft Ihnen, Fehlkonfigurationen und schädliche Aktivitäten zu erkennen.
  • Prävention:Sie erhalten die Möglichkeit, die Bereitstellung Ihrer Infrastruktur zu steuern und einzuschränken.

In der folgenden Tabelle werden die Sicherheitskontrollen beschrieben, die mit jeder Ebene verknüpft sind.

Layer Ressource Sicherheitskontrollen
Schnittstelle Vertex AI Workbench Bietet eine verwaltete Notebook-Umgebung mit Nutzerzugriffssteuerung, Netzwerkzugriffssteuerung, IAM-Zugriffssteuerung und deaktivierten Dateidownloads. Diese Funktionen ermöglichen eine sicherere Nutzererfahrung.
Git-Repositories Bietet Nutzerzugriffssteuerung zum Schutz Ihrer Repositories.
Service Catalog Bietet Data Scientists eine ausgewählte Liste von Ressourcen, die nur in genehmigten Konfigurationen bereitgestellt werden können.
Bereitstellung Infrastrukturpipeline Bietet einen sicheren Ablauf zur Bereitstellung der Blueprint-Infrastruktur über die Verwendung von Terraform.
Interaktive Pipeline Bietet einen sicheren Ablauf zur Übertragung von Vorlagen aus einem Git-Repository in einen Bucket innerhalb Ihrer Google Cloud-Organisation.
Container-Pipeline Bietet einen sicheren Ablauf zum Erstellen von Containern, die von der Betriebspipeline verwendet werden.
Betriebspipeline Bietet einen kontrollierten Ablauf zum Trainieren, Testen, Validieren und Bereitstellen von Modellen.
Artifact Registry Speichert Container-Images mit der Ressourcenzugriffssteuerung sicher
Netzwerk Private Service Connect Ermöglicht die Kommunikation mit Google Cloud APIs über private IP-Adressen, sodass Sie Traffic über das Internet vermeiden können.
VPC mit privaten IP-Adressen Der Blueprint verwendet VPCs mit privaten IP-Adressen, um die Gefährdung von Internetbedrohungen zu entfernen.
VPC Service Controls Schützt geschützte Ressourcen vor Daten-Exfiltration.
Firewall Schützt das VPC-Netzwerk vor unbefugtem Zugriff.
Zugriffsverwaltung Cloud Identity Bietet eine zentralisierte Nutzerverwaltung, wodurch das Risiko nicht autorisierter Zugriffe reduziert wird.
IAM Detaillierte Kontrolle darüber, wer was mit welchen Ressourcen tun kann, und ermöglicht so die geringste Berechtigung in der Zugriffsverwaltung.
Verschlüsselung Cloud KMS Hiermit können Sie die Verschlüsselungsschlüssel steuern, die in Ihrer Google Cloud-Organisation verwendet werden.
Secret Manager Bietet einen Secret-Speicher für Ihre Modelle, der von IAM gesteuert wird.
Verschlüsselung ruhender Daten Standardmäßig verschlüsselt Google Cloud alle inaktiven Daten.
Verschlüsselung während der Übertragung Standardmäßig verschlüsselt Google Cloud Daten bei der Übertragung.
Erkennung Security Command Center Stellt Bedrohungsdetektoren zum Schutz Ihrer Google Cloud-Organisation bereit.
Kontinuierliche Architektur Prüft Ihre Google Cloud-Organisation kontinuierlich anhand einer Reihe von OPA-Richtlinien (Open Policy Agent), die Sie definiert haben.
IAM Recommender Analysiert Nutzerberechtigungen und macht Vorschläge zur Reduzierung der Berechtigungen, um das Prinzip der geringsten Berechtigung durchzusetzen.
Firewall Insights Analysiert Firewallregeln, identifiziert Firewallregeln mit zu vielen Berechtigungen und schlägt restriktivere Firewalls vor, um Ihre allgemeine Sicherheitslage zu verbessern.
Cloud Logging Bietet Einblick in Systemaktivitäten und hilft, Anomalien und schädliche Aktivitäten zu erkennen.
Cloud Monitoring Erfasst wichtige Signale und Ereignisse, mit denen verdächtige Aktivitäten identifiziert werden können.
Prävention Organisationsrichtliniendienst Ermöglicht das Einschränken von Aktionen innerhalb Ihrer Google Cloud-Organisation.

Nächste Schritte