Einführung in das BigQuery-Framework zur Entitätsauflösung

In diesem Dokument wird die Architektur des BigQuery-Frameworks zur Entitätsauflösung beschrieben. Die Entitätsauflösung ist die Möglichkeit, Datensätze über freigegebene Daten hinweg abzugleichen, die keine gemeinsame Kennzeichnung haben, oder um freigegebene Daten mithilfe eines Identitätsdienstes eines Google Cloud-Partners zu ergänzen.

Dieses Dokument richtet sich an Endnutzer der Entitätsauflösung (im Folgenden als Endnutzer bezeichnet) und Identitätsanbieter. Weitere Informationen zur Implementierung finden Sie unter Entitätsauflösung in BigQuery konfigurieren und verwenden.

Sie können die BigQuery-Entitätsauflösung für alle Daten verwenden, die vorbereitet werden, bevor Daten für einen Data-Clean-Room beigetragen werden. Die Entitätsauflösung ist sowohl in den On-Demand- als auch in den Kapazitätspreisen und in allen BigQuery-Versionen verfügbar.

Vorteile

Als Endnutzer können Sie von der Entitätsauflösung auf folgende Weise profitieren:

  • Sie können Entitäten direkt auflösen, ohne Datenübertragungsgebühren anzuhäufen, da ein Abonnent oder Google Cloud-Partner Ihre Daten mit seiner Identitätstabelle abgleicht und die Abgleichergebnisse in ein Dataset in Ihrem Projekt schreibt.
  • Sie müssen keine ETL-Jobs (Extraktion, Transformation, Laden) verwalten.

Als Identitätsanbieter können Sie auf folgende Weise von der Entitätsauflösung profitieren:

  • Sie können die Entitätsauflösung als verwalteten SaaS-Angebot (Software as a Service) im Google Cloud Marketplace anbieten.
  • Sie können Ihre proprietären Identitätsgrafiken und die Abgleichslogik verwenden, ohne sie Nutzern zugänglich zu machen.

Architektur

BigQuery implementiert die Entitätsauflösung mithilfe von Remote-Funktionsaufrufen, die Entitätsauflösungsprozesse in der Umgebung eines Identitätsanbieters aktivieren. Ihre Daten müssen während dieses Vorgangs weder kopiert noch verschoben werden. Im folgenden Diagramm mit Erläuterung wird der Workflow für die Entitätsauflösung beschrieben:

Diagramm mit zwei Hauptabschnitten: ein Endnutzerprojekt und ein Identitätsanbieterprojekt.

  1. Der Endnutzer gewährt dem Dienstkonto des Identitätsanbieters Lesezugriff auf sein Eingabe-Dataset und Schreibzugriff auf sein Ausgabe-Dataset.
  2. Der Nutzer ruft die Remote-Funktion auf, die seine Eingabedaten mit den Identitätsgrafikdaten des Anbieters abgleicht. Übereinstimmende Parameter werden mit der Remote-Funktion an den Anbieter übergeben.
  3. Das Dienstkonto des Anbieters liest das Eingabe-Dataset und verarbeitet es.
  4. Das Dienstkonto des Anbieters schreibt die Ergebnisse der Entitätsauflösung in das Ausgabe-Dataset des Nutzers.

In den folgenden Abschnitten werden die Endnutzerkomponenten und Anbieterprojekte beschrieben.

Endnutzerkomponenten

Zu den Endnutzerkomponenten gehören:

  • Remote-Funktionsaufruf: Ein Aufruf, der ein vom Identitätsanbieter definiertes und implementiertes Verfahren ausführt. Dieser Aufruf startet den Entitätsauflösungsprozess.
  • Eingabe-Dataset: Das Quell-Dataset, das die Daten enthält, die abgeglichen werden sollen. Optional kann das Dataset eine Metadatentabelle mit zusätzlichen Parametern enthalten. Anbieter legen Schemaanforderungen für Eingabe-Datasets fest.
  • Ausgabe-Dataset: Das Ziel-Dataset, in dem der Anbieter die übereinstimmenden Ergebnisse als Ausgabetabelle speichert. Optional kann der Anbieter eine Jobstatustabelle mit Details zu Entitätsauflösungsjobs in dieses Dataset schreiben. Das Ausgabe-Dataset kann mit dem Eingabe-Dataset übereinstimmen.

Komponenten des Identitätsanbieters

Die Komponenten des Identitätsanbieters umfassen Folgendes:

  • Steuerungsebene: enthält eine BigQuery-Remote-Funktion, die den Abgleichsprozess orchestriert. Diese Funktion kann als Cloud Run-Job oder Cloud Functions-Funktion implementiert werden. Die Steuerungsebene kann auch andere Dienste enthalten, z. B. Authentifizierung und Autorisierung.
  • Datenebene: Enthält das Dataset des Identitätsdiagramms und die gespeicherte Prozedur, die die Logik für den Anbieterabgleich implementiert. Die gespeicherte Prozedur kann als gespeicherte SQL-Prozedur oder als gespeicherte Apache Spark-Prozedur implementiert werden. Das Dataset der Identitätsgrafik enthält die Tabellen, mit denen die Endnutzerdaten abgeglichen werden.

Nächste Schritte