• Asynchrone Verarbeitung: Vorhersagen werden nach einem vordefinierten Zeitplan (z. B. stündlich, täglich) oder bei Bedarf generiert, nicht in Echtzeit, wenn neue Daten eingehen.
• Hoher Durchsatz: Das System ist für die Verarbeitung einer großen Anzahl von Datenpunkten in einem einzigen Durchlauf optimiert und daher sehr effizient.
• Kosteneffizienz: Durch die Ausführung nach Zeitplan können Sie Rechenressourcen nutzen, wenn sie am besten verfügbar oder am kostengünstigsten sind, wodurch die Betriebskosten erheblich gesenkt werden.
• Latenztoleranz: Die primäre Annahme ist, dass die Anwendung, die die Vorhersagen nutzt, keine sofortige Antwort benötigt. Eine Verzögerung von Minuten oder Stunden zwischen der Datenerhebung und der Vorhersageerstellung ist akzeptabel.

Die Entscheidung zwischen Batch- und Online-Inferenz ist eine grundlegende architektonische Entscheidung beim Entwurf eines Machine-Learning-Systems. Jeder Ansatz dient einem anderen Zweck und ist für unterschiedliche Leistungsmerkmale optimiert.

Eine Batch-Inferenzpipeline ist ein strukturierter, automatisierter Workflow, der Daten von ihrem Rohzustand in umsetzbare Vorhersagen überführt. Der Prozess lässt sich in diese wichtigsten Schritte unterteilen, die in der Regel von einem Workflow-Manager oder einem Planungssystem orchestriert werden.

Der Prozess beginnt damit, dass im Laufe der Zeit Daten gesammelt werden. Diese Eingabedaten, die Nutzeraktivitätsprotokolle, Transaktionsdatensätze oder Messwerte von Sensoren umfassen können, werden aus verschiedenen Quellen erfasst und an einem zentralen Speicherort abgelegt. Dabei handelt es sich oft um einen Data Lake, der auf einem Dienst wie Google Cloud Storage basiert, oder um ein Data Warehouse wie BigQuery.

Die Inferenz-Pipeline wird durch einen Trigger initiiert. Dieser Trigger kann Folgendes sein:

• Zeitbasiert: Ein Planer (wie ein Cronjob) startet den Job in regelmäßigen Abständen, z. B. jede Nacht um 1 Uhr.
• Ereignisbasiert: Der Job wird als Reaktion auf ein bestimmtes Ereignis gestartet, z. B. wenn eine neue Datendatei in einem Cloud Storage-Bucket eintrifft.

Nach dem Auslösen lädt der Job den gesamten Batch mit Roh-Eingabedaten. Anschließend werden die notwendigen Schritte zur Vorverarbeitung und zum Feature Engineering durchgeführt, um die Daten in das Format zu bringen, das das Machine-Learning-Modell erwartet. Dazu gehören Aufgaben wie das Bereinigen fehlender Werte, das Skalieren numerischer Merkmale und das Codieren kategorialer Variablen.

Das System ruft das trainierte Machine-Learning-Modell aus einem zentralen Repository wie der Modellregistrierung ab. Der vorverarbeitete Daten-Batch wird dann an das Modell übergeben, das für jede einzelne Beobachtung im Set eine Inferenz ausführt, um eine entsprechende Vorhersage zu generieren.

Die Ausgabe des Modells – die Sammlung von Vorhersagen – wird dann in ein Speichersystem geschrieben. Dieses Ziel wird basierend auf der Verwendung der Vorhersagen ausgewählt. Häufige Ziele sind das Laden der Ergebnisse in eine BigQuery-Tabelle zur Analyse, eine Cloud SQL-Datenbank für schnelle Abfragen durch eine Anwendung oder das Speichern als Dateien in Cloud Storage.

Die Vorhersagen sind jetzt gespeichert und können von nachgelagerten Systemen verwendet werden. Ein Business Intelligence-Tool könnte die Ergebnisse abfragen, um ein Dashboard mit dem vorhergesagten Kundenverhalten zu erstellen. Das Backend einer Webanwendung kann die vorab berechneten Produktempfehlungen laden, um sie den Nutzern anzuzeigen. Eine Marketingautomatisierungsplattform kann eine Liste von Kunden abrufen, bei denen ein Abwandern prognostiziert wird, um sie mit einer neuen Kampagne anzusprechen.

Die Batch-Inferenz ist die bevorzugte Methode für viele zentrale Geschäftsprozesse, bei denen Vorhersagen ein Produkt oder eine Dienstleistung verbessern, ohne in Echtzeit generiert werden zu müssen. Dieser Ansatz kann in verschiedenen Branchen sehr effektiv sein, um umfangreiche Datenprobleme zu lösen.

Die Gemini Enterprise Agent Platform ist die verwaltete Plattform für maschinelles Lernen von Google Cloud und bietet einen optimierten, serverlosen Ansatz für die Batch-Inferenz. Dabei geht es darum, einen Job zu konfigurieren und die Plattform die zugrunde liegende Infrastruktur verwalten zu lassen.

Bevor Sie beginnen, benötigen Sie drei Dinge:

• Ein trainiertes Modell, das in die Model Registry hochgeladen werden sollte.
• Ihre Eingabedaten, formatiert wie für Ihr Modell erforderlich; diese Daten sollten sich entweder in Google Cloud Storage (z. B. als JSON- oder CSV-Dateien) oder in einer BigQuery-Tabelle befinden.
• Ein Zielort für die Ausgabe. Dieser muss ebenfalls ein Cloud Storage-Bucket oder eine BigQuery-Tabelle sein.

Sie können den Job über die Google Cloud Console, das gcloud-Befehlszeilentool oder programmatisch mit dem Agent Platform SDK starten. Beim Erstellen des Jobs geben Sie die folgende Konfiguration an:

• Das spezifische Modell aus der Model Registry, das Sie verwenden möchten
• Der Pfad zu Ihren Eingabedaten und der Speicherort für Ihre Ausgaberesultate
• Der Maschinentyp und der Beschleuniger (z. B. GPU), die Sie für den Job verwenden möchten. So können Sie Kosten und Leistung ausgleichen.

Sobald Sie den Job senden, übernimmt die Agent Platform. Es stellt automatisch die von Ihnen angegebenen Rechenressourcen bereit, führt Ihre Eingabedaten durch das Modell, generiert die Vorhersagen und speichert sie am angegebenen Ausgabespeicherort. Nach Abschluss des Jobs skaliert die Agent Platform alle Ressourcen automatisch auf null herunter, sodass Sie nur für die genutzte Rechenzeit bezahlen. Sie können den Fortschritt des Jobs überwachen und Logs direkt in der Google Cloud Console aufrufen.

Sobald der Jobstatus „Erfolgreich“ lautet, sind Ihre Vorhersagen fertig. Auf die Ausgabedateien in Cloud Storage oder die neue Tabelle in BigQuery kann jetzt über Ihre nachgelagerten Anwendungen, Analysetools oder BI-Dashboards zugegriffen werden.