ML-Vision-Analyselösung mit Dataflow und der Cloud Vision API erstellen

Last reviewed 2024-05-23 UTC

In dieser Referenzarchitektur erfahren Sie mehr über die Anwendungsfälle, Designalternativen und Designaspekte bei der Bereitstellung einer Dataflow-Pipeline zur Verarbeitung von Bilddateien mit Cloud Vision und zum Speichern verarbeiteter Ergebnisse in BigQuery. Sie können diese gespeicherten Ergebnisse für umfangreiche Datenanalysen und zum Trainieren vordefinierter BigQuery ML-Modelle verwenden.

Dieses Referenzarchitekturdokument richtet sich an Data Engineers und Data Scientists.

Architektur

Das folgende Diagramm veranschaulicht den Systemablauf für diese Referenzarchitektur.

Diagramm: Architektur, die den Informationsfluss bei der Aufnahme und Auslösen, Verarbeitung, Speicherung und Analyse von Prozessen zeigt

Wie im vorherigen Diagramm dargestellt, fließen die Informationen so:

  1. Aufnehmen und auslösen: Dies ist die erste Phase des Systemflusses, in der Bilder zuerst in das System gelangen. In dieser Phase werden folgende Aktionen ausgeführt:

    1. Clients laden Bilddateien in einen Cloud Storage-Bucket hoch.
    2. Für jeden Dateiupload sendet Cloud Storage automatisch eine Eingabebenachrichtigung, indem eine Nachricht in Pub/Sub veröffentlicht wird.

  2. Prozess: Diese Phase folgt unmittelbar auf die Aufnahme- und Triggerphase. Für jede neue Eingabebenachrichtigung werden die folgenden Aktionen ausgeführt:

    1. Die Dataflow-Pipeline überwacht diese Dateieingabebenachrichtigungen, extrahiert Dateimetadaten aus der Pub/Sub-Nachricht und sendet die Dateireferenz zur Verarbeitung an die Vision API.
    2. Die Vision API liest das Bild und erstellt Anmerkungen.
    3. Die Dataflow-Pipeline speichert die von der Vision API generierten Annotationen in BigQuery-Tabellen.

  3. Speichern und analysieren: Dies ist die letzte Phase im Ablauf. An dieser Stelle können Sie mit den gespeicherten Ergebnissen Folgendes tun:

    1. BigQuery-Tabellen abfragen und die gespeicherten Annotationen analysieren.
    2. Mit BigQuery ML oder Vertex AI Modelle erstellen und Vorhersagen basierend auf den gespeicherten Annotationen ausführen.
    3. Führen Sie weitere Analysen in der Dataflow-Pipeline durch (nicht in diesem Diagramm dargestellt).

Verwendete Produkte

In dieser Referenzarchitektur werden die folgenden Google Cloud-Produkte verwendet:

Anwendungsfälle

Die Vision API unterstützt mehrere Verarbeitungsfunktionen, darunter Bildbeschriftung, Gesichts- und Sehenswürdigkeiten-Erkennung, optische Zeichenerkennung, Tag-Kennzeichnung anstößiger Inhalte und weitere. Jedes dieser Features ermöglicht mehrere Anwendungsfälle, die für verschiedene Branchen anwendbar sind. Dieses Dokument enthält einige einfache Beispiele für die Möglichkeiten, die die Verwendung der Vision API bietet. Das Spektrum der möglichen Anwendungen ist jedoch sehr breit.

Die Vision API bietet auch über die REST API und die RPC API leistungsstarke, vorab trainierte ML-Modelle. Sie können Bildern Labels zuweisen und die Bilder in Millionen vordefinierter Kategorien klassifizieren. Sie können damit Objekte erkennen, gedruckten und handgeschriebenen Text lesen und wertvolle Metadaten in den Bildkatalog aufnehmen.

Diese Architektur erfordert kein Modelltraining, bevor Sie sie verwenden können. Wenn Sie ein benutzerdefiniertes Modell benötigen, das mit Ihren spezifischen Daten trainiert wird, können Sie mit Vertex AI ein AutoML- oder ein benutzerdefiniertes Modell für Ziele für maschinelles Sehen wie Bildklassifizierung und Objekterkennung trainieren. Alternativ können Sie Vertex AI Vision als End-to-End-Anwendungsentwicklungsumgebung verwenden, mit der Sie Anwendungen für maschinelles Sehen erstellen, bereitstellen und verwalten können.

Designalternativen

Anstatt Bilder in einem Google Cloud Storage-Bucket zu speichern, kann der Prozess, mit dem die Bilder erzeugt werden, sie direkt in einem Nachrichtensystem – z. B. Pub/Sub – veröffentlichen und die Dataflow-Pipeline kann die Bilder direkt zur Vision API senden.

Diese Designalternative kann eine gute Lösung für latenzempfindliche Anwendungsfälle sein, in denen Bilder relativ kleiner Größe analysiert werden müssen. Pub/Sub begrenzt die maximale Größe der Nachricht auf 10 MB.

Wenn Sie eine große Anzahl von Bildern im Batch verarbeiten müssen, können Sie eine speziell entwickelte asyncBatchAnnotate API verwenden.

Designaspekte

In diesem Abschnitt werden die Designaspekte für diese Referenzarchitektur beschrieben:

Sicherheit, Datenschutz und Compliance

Bilder, die aus nicht vertrauenswürdigen Quellen empfangen wurden, können Malware enthalten. Da die Vision API nichts anhand der analysierten Bilder ausführt, hat die bildbasierte Malware keine Auswirkungen auf die API. Wenn Sie Bilder scannen müssen, ändern Sie die Dataflow-Pipeline, um einen Scanschritt hinzuzufügen. Um dasselbe Ergebnis zu erzielen, können Sie auch ein separates Abo für das Pub/Sub-Thema verwenden und Images in einem separaten Prozess scannen.

Weitere Informationen finden Sie unter Malware-Scans für Dateien automatisieren, die in Cloud Storage hochgeladen werden.

Die Vision API nutzt Identitäts- und Zugriffsverwaltung (Identity and Access Management, IAM) zur Authentifizierung. Für den Zugriff auf die Vision API benötigt das Sicherheitshauptkonto Cloud Storage > Storage-Objekt-Betrachter (roles/storage.objectViewer) für den Bucket, der die gewünschten Dateien zum Analysieren enthält.

Kostenoptimierung

Im Vergleich zu den anderen erläuterten Optionen, wie Verarbeitung mit niedriger Latenz und asynchroner Batchverarbeitung, verwendet diese Referenzarchitektur eine kostengünstige Möglichkeit, die Bilder in Streamingpipelines durch Batchverarbeitung der API-Anfragen zu verarbeiten. Das im Abschnitt Designalternativen erwähnte direkte Image-Streaming mit niedrigerer Latenz kann aufgrund der zusätzlichen Pub/Sub- und Dataflow-Kosten teurer sein. Für eine Bildverarbeitung, die nicht innerhalb von Sekunden oder Minuten erfolgen muss, können Sie die Dataflow-Pipeline im Batchmodus ausführen. Das Ausführen der Pipeline im Batchmodus kann im Vergleich zu den Kosten für die Ausführung der Streamingpipeline einige Einsparungen erzielen.

Die Vision API unterstützt für alle Features asynchrone Batch-Bildannotation. Die asynchrone Anfrage unterstützt bis zu 2.000 Bilder pro Batch. Als Antwort gibt die Vision API JSON-Dateien zurück, die in einem Cloud Storage-Bucket gespeichert sind.

Die Vision API bietet auch eine Reihe von Features für die Bildanalyse. Die Preise gelten pro Image und Feature. Fordern Sie zur Kostensenkung nur die Features an, die Sie für Ihre Lösung benötigen.

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen.

Leistungsoptimierung

Die Vision API ist eine ressourcenintensive API. Aus diesem Grund erfordert die Verarbeitung von Bildern in großem Maßstab eine sorgfältige Orchestrierung der API-Aufrufe. Die Dataflow-Pipeline übernimmt die Batchverarbeitung der API-Anfragen, die Verarbeitung der Ausnahmen im Zusammenhang mit dem Erreichen von Kontingenten und die Erstellung benutzerdefinierter Messwerte der API-Nutzung. Anhand dieser Messwerte können Sie entscheiden, ob eine API-Kontingenterhöhung erforderlich ist oder ob die Dataflow-Pipelineparameter angepasst werden sollten, um die Häufigkeit der Anfragen zu reduzieren. Weitere Informationen zum Erhöhen von Kontingentanfragen für die Vision API finden Sie unter Kontingente und Limits.

Die Dataflow-Pipeline hat mehrere Parameter, die sich auf die Verarbeitungslatenzen auswirken können. Weitere Informationen zu diesen Parametern finden Sie unter ML-Vision-Analyselösung mit Dataflow und der Vision API bereitstellen.

Bereitstellung

Informationen zum Bereitstellen dieser Architektur finden Sie unter ML-Vision-Analyselösung mit Dataflow und der Vision API bereitstellen.

Nächste Schritte

Beitragende

Autoren:

Weitere Beitragende:

Wenn Sie nicht öffentliche LinkedIn-Profile sehen möchten, melden Sie sich in LinkedIn an.