Connettiti a Blob Storage

In qualità di amministratore di BigQuery, puoi creare una connessione per consentire agli analisti dei dati di accedere ai dati archiviati in Azure Blob Storage.

BigQuery Omni accede ai dati di Blob Storage tramite connessioni. BigQuery Omni supporta la federazione delle identità dei workload Azure. Il supporto della federazione delle identità per i carichi di lavoro di Azure da parte di BigQuery Omni ti consente di concedere l'accesso di un'applicazione Azure nel tuo tenant a un account di servizio Google. Non sono presenti client secret dell'applicazione da gestire da parte tua o di Google.

Dopo aver creato una connessione BigQuery Azure, puoi eseguire query sui dati di Blob Storage o esportare i risultati delle query in Blob Storage.

Prima di iniziare

Ruoli obbligatori

Quote

Per ulteriori informazioni sulle quote, consulta l'API BigQuery Connection.

Creare una connessione Azure

Per creare una connessione Azure:

  1. Crea un'applicazione nel tuo tenant Azure.
  2. Crea la connessione BigQuery Azure.
  3. Aggiungi una credenziale federata.
  4. Assegna un ruolo alle applicazioni Azure AD di BigQuery.

Per ulteriori informazioni sull'utilizzo delle credenziali di identità federate per accedere ai dati in Azure, consulta Federazione delle identità per i carichi di lavoro.

Creare un'applicazione nel tenant di Azure

Per creare un'applicazione nel tuo tenant di Azure:

Portale di Azure

  1. Nel portale di Azure, vai a Registrazioni app e fai clic su Nuova registrazione.

  2. In Nomi, inserisci un nome per l'applicazione.

  3. In Tipi di account supportati, seleziona Solo account in questa directory dell'organizzazione.

  4. Per registrare la nuova applicazione, fai clic su Registra.

  5. Prendi nota dell'ID applicazione (client). Devi fornire questo ID quando crei la connessione.

    Portale Azure per la creazione di applicazioni

Terraform

Aggiungi quanto segue al file di configurazione Terraform:

  resource "azuread_application" "example" {
    display_name = "bigquery-omni-connector"
  }

  resource "azuread_service_principal" "example" {
    application_id               = azuread_application.example.application_id
    app_role_assignment_required = false
  }

Per ulteriori informazioni, scopri come registrare un'applicazione in Azure.

Crea una connessione

Console

  1. Nella console Google Cloud, vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel menu Aggiungi dati, seleziona Origine dati esterna.

  3. Nel riquadro Origine dati esterna, inserisci le seguenti informazioni:

    • Per Tipo di connessione, seleziona BigLake su Azure (tramite BigQuery Omni).
    • In ID connessione, inserisci un identificatore per la risorsa di connessione. Puoi utilizzare lettere, numeri, trattini e trattini bassi.
    • Seleziona la posizione in cui vuoi creare la connessione.
    • (Facoltativo) In Nome visualizzato, inserisci un nome intuitivo per la connessione, ad esempio My connection resource. Il nome visualizzato può essere qualsiasi valore che ti aiuti a identificare la risorsa di connessione se devi modificarla in un secondo momento.
    • (Facoltativo) In Descrizione, inserisci una descrizione per la risorsa di connessione.
    • In ID tenant Azure, inserisci l'ID tenant Azure, chiamato anche ID directory (tenant).

    • Attiva la casella di controllo Utilizza identità federata e inserisci l'ID applicazione federata Azure (client).

      Per scoprire come ottenere gli ID Azure, consulta Creare un'applicazione nel tenant di Azure.

  4. Fai clic su Crea connessione.

  5. Fai clic su Vai alla connessione.

  6. Nella sezione Informazioni sulla connessione, prendi nota del valore di Identità Google BigQuery, ovvero l'ID account di servizio. Questo ID è per l'account di servizio Google Cloud che autorizzi ad accedere alla tua applicazione.

Terraform 

  resource "google_bigquery_connection" "connection" {
    connection_id = "omni-azure-connection"
    location      = "azure-eastus2"
    description   = "created by terraform"

    azure {
      customer_tenant_id              = "TENANT_ID"
      federated_application_client_id = azuread_application.example.application_id
    }
  }

Sostituisci TENANT_ID con l'ID tenant della directory Azure contenente l'account Blob Storage.

bq

Utilizza il comando bq mk. Per ottenere l'output in formato JSON, utilizza il parametro --format=json. 

bq mk --connection --connection_type='Azure' \
  --tenant_id=TENANT_ID \
  --location=AZURE_LOCATION \
  --federated_azure=true \
  --federated_app_client_id=APP_ID \
  CONNECTION_ID

Sostituisci quanto segue:

  • TENANT_ID: l'ID tenant della directory Azure che contiene l'account di archiviazione Azure.
  • AZURE_LOCATION: la regione Azure in cui si trovano i dati di Azure Storage. BigQuery Omni supporta la regione azure-eastus2.
  • APP_ID: l'ID applicazione (client) Azure. Per scoprire come ottenere questo ID, consulta Creare un'applicazione nel tenant di Azure.
  • CONNECTION_ID: il nome della connessione.

L'output è simile al seguente:

Connection CONNECTION_ID successfully created
Please add the following identity to your Azure application APP_ID
Identity: SUBJECT_ID

Questo output include i seguenti valori:

  • APP_ID: l'ID dell'applicazione che hai creato.

  • SUBJECT_ID: l'ID dell'account di servizio Google Cloud che l'utente autorizza ad accedere alla propria applicazione. Questo valore è obbligatorio quando crei una credenziale federata in Azure.

Prendi nota dei valori APP_ID e SUBJECT_ID per utilizzarli nei passaggi successivi.

Aggiungi una credenziale federata per la tua applicazione.

Aggiungere una credenziale federata

Per creare una credenziale federata:

Portale di Azure

  1. Nel portale di Azure, vai a Registrazioni app e fai clic sulla tua applicazione.

  2. Seleziona Certificati e segreti > Credenziali federate > Aggiungi credenziali. Poi:

    1. Nell'elenco Scenario delle credenziali federate, seleziona Altro emittente.

    2. In Issuer (Emittente), inserisci https://accounts.google.com.

    3. In Identificatore soggetto, inserisci l'identità Google BigQuery dell'account di servizio Google Cloud che hai ottenuto quando hai creato la connessione.

    4. In Nome, inserisci un nome per la credenziale.

    5. Fai clic su Aggiungi.

Terraform

Aggiungi quanto segue al file di configurazione Terraform:

  resource "azuread_application" "example" {
    display_name = "bigquery-omni-connector"
  }

  resource "azuread_service_principal" "example" {
    application_id               = azuread_application.example.application_id
    app_role_assignment_required = false
  }

  resource "azuread_application_federated_identity_credential" "example" {
    application_object_id = azuread_application.example.object_id
    display_name          = "omni-federated-credential"
    description           = "BigQuery Omni federated credential"
    audiences             = ["api://AzureADTokenExchange"]
    issuer                = "https://accounts.google.com"
    subject               = google_bigquery_connection.connection.azure[0].identity
  }

Per ulteriori informazioni, vedi Configurare un'app in modo che attenda un provider di identità esterno.

Assegna un ruolo alle applicazioni Azure di BigQuery

Per assegnare un ruolo all'applicazione Azure di BigQuery, utilizza il portale Azure, Azure PowerShell o l'API REST di Microsoft Management:

Portale di Azure

Puoi eseguire le assegnazioni dei ruoli nel portale Azure accedendo come utente con l'autorizzazione Microsoft.Authorization/roleAssignments/write. L'assegnazione del ruolo consente alla connessione BigQuery Azure di accedere ai dati di Azure Storage come specificato nel criterio dei ruoli.

Per aggiungere le assegnazioni dei ruoli utilizzando il portale Azure:

  1. Nel tuo account di archiviazione Azure, inserisci IAM nella barra di ricerca.

  2. Fai clic su Controllo accesso (IAM).

  3. Fai clic su Aggiungi e seleziona Aggiungi assegnazioni dei ruoli.

  4. Per fornire l'accesso di sola lettura, seleziona il ruolo Lettore di dati BLOB di archiviazione. Per fornire l'accesso in lettura/scrittura, seleziona il ruolo Contributore di dati BLOB di archiviazione.

  5. Imposta Assegna l'accesso a su Principale utente, gruppo o servizio.

  6. Fai clic su Seleziona membri.

  7. Nel campo Seleziona, inserisci il nome dell'applicazione Azure che hai assegnato quando hai creato l'applicazione nel tenant di Azure.

  8. Fai clic su Salva.

Per ulteriori informazioni, consulta Assegnare i ruoli Azure utilizzando il portale.

Terraform

Aggiungi quanto segue al file di configurazione Terraform:

  resource "azurerm_role_assignment" "data-role" {
    scope                = data.azurerm_storage_account.example.id
    # Read permission for Omni on the storage account
    role_definition_name = "Storage Blob Data Reader"
    principal_id         = azuread_service_principal.example.id
  }

Azure PowerShell

Per aggiungere un'assegnazione di ruolo per un'entità servizio a un ambito della risorsa, puoi utilizzare il comando New-AzRoleAssignment:

  New-AzRoleAssignment`
   -SignInName APP_NAME`
   -RoleDefinitionName ROLE_NAME`
   -ResourceName RESOURCE_NAME`
   -ResourceType RESOURCE_TYPE`
   -ParentResource PARENT_RESOURCE`
   -ResourceGroupName RESOURCE_GROUP_NAME

Sostituisci quanto segue:

  • APP_NAME: il nome dell'applicazione.
  • ROLE_NAME: il nome del ruolo che vuoi assegnare.
  • RESOURCE_NAME: il nome della risorsa.
  • RESOURCE_TYPE: il tipo di risorsa.
  • PARENT_RESOURCE: la risorsa principale.
  • RESOURCE_GROUP_NAME: il nome del gruppo di risorse.

Per ulteriori informazioni sull'utilizzo di Azure PowerShell per aggiungere un nuovo entità del servizio, consulta Assegnare i ruoli di Azure utilizzando Azure PowerShell.

Interfaccia a riga di comando Azure

Per aggiungere un'assegnazione di ruolo per un'entità di servizio a un ambito della risorsa, puoi utilizzare lo strumento a riga di comando Azure. Per concedere i ruoli, devi disporre dell'autorizzazione Microsoft.Authorization/roleAssignments/write per l'account di archiviazione.

Per assegnare un ruolo, ad esempio il ruolo Lettore di dati BLOB di archiviazione, all'entità servizio, esegui il comando az role assignment create:

  az role assignment create --role "Storage Blob Data Reader" \
    --assignee-object-id ${SP_ID} \
    --assignee-principal-type ServicePrincipal \
    --scope   subscriptions/SUBSCRIPTION_ID/resourcegroups/RESOURCE_GROUP_NAME/providers/Microsoft.Storage/storageAccounts/STORAGE_ACCOUNT_NAME

Sostituisci quanto segue:

  • SP_ID: l'ID entità servizio. Questo principale del servizio è destinato all'applicazione che hai creato. Per ottenere il principale servizio per una connessione federata, consulta l'oggetto principale servizio.
  • STORAGE_ACCOUNT_NAME: il nome dell'account di archiviazione.
  • RESOURCE_GROUP_NAME: il nome del gruppo di risorse.
  • SUBSCRIPTION_ID: l'ID abbonamento.

Per ulteriori informazioni, consulta Assegnare i ruoli Azure utilizzando Azure CLI.

API REST di Microsoft

Per aggiungere le assegnazioni dei ruoli per un'entità di servizio, puoi inviare una richiesta HTTP a Microsoft Management.

Per chiamare l'API REST Microsoft Graph, recupera un token OAuth per un'applicazione. Per ulteriori informazioni, vedi Accedere senza un utente. L'applicazione che ha chiamato l'API REST di Microsoft Graph deve disporre dell'autorizzazione di applicazione Application.ReadWrite.All.

Per generare un token OAuth, esegui il seguente comando:

  export TOKEN=$(curl -X POST \
    https://login.microsoftonline.com/TENANT_ID/oauth2/token \
    -H 'cache-control: no-cache' \
    -H 'content-type: application/x-www-form-urlencoded' \
    --data-urlencode "grant_type=client_credentials" \
    --data-urlencode "resource=https://graph.microsoft.com/" \
    --data-urlencode "client_id=CLIENT_ID" \
    --data-urlencode "client_secret=CLIENT_SECRET" \
  | jq --raw-output '.access_token')

Sostituisci quanto segue:

  • TENANT_ID: l'ID tenant corrispondente all'ID della directory Azure contenente l'account di archiviazione Azure.
  • CLIENT_ID: l'ID client Azure.
  • CLIENT_SECRET: il client secret di Azure.

Ottieni l'ID dei ruoli integrati di Azure che vuoi assegnare all'entità del servizio.

Ecco alcuni ruoli comuni:

Per assegnare un ruolo all'entità servizio, chiama l'API REST Microsoft Graph all'API REST Azure Resource Management:

  export ROLE_ASSIGNMENT_ID=$(uuidgen)
  curl -X PUT \
'https://management.azure.com/subscriptions/SUBSCRIPTION_ID/resourcegroups/RESOURCE_GROUP_NAME/providers/Microsoft.Storage/storageAccounts/STORAGE_ACCOUNT_NAME/providers/Microsoft.Authorization/roleAssignments/ROLE_ASSIGNMENT_ID?api-version=2018-01-01-preview' \
    -H "authorization: Bearer ${TOKEN?}" \
    -H 'cache-control: no-cache' \
    -H 'content-type: application/json' \
    -d '{
        "properties": {
            "roleDefinitionId": "subscriptions/SUBSCRIPTION_ID/resourcegroups/RESOURCE_GROUP_NAME/providers/Microsoft.Storage/storageAccounts/STORAGE_ACCOUNT_NAME/providers/Microsoft.Authorization/roleDefinitions/ROLE_ID",
            "principalId": "SP_ID"
        }
    }'

Sostituisci quanto segue:

  • ROLE_ASSIGNMENT_ID: l'ID ruolo.
  • SP_ID: l'ID entità servizio. Questo principale del servizio è destinato all'applicazione che hai creato. Per ottenere il principale servizio per una connessione federata, consulta l'oggetto principale servizio.
  • SUBSCRIPTION_ID: l'ID abbonamento.
  • RESOURCE_GROUP_NAME: il nome del gruppo di risorse.
  • STORAGE_ACCOUNT_NAME: il nome dell'account di archiviazione.
  • SUBSCRIPTION_ID: l'ID abbonamento.

La connessione è ora pronta per l'uso. Tuttavia, potrebbe verificarsi un ritardo nella propagazione per un'assegnazione di ruolo in Azure. Se non riesci a utilizzare la connessione a causa di problemi di autorizzazione, riprova dopo un po' di tempo.

Condividere le connessioni con gli utenti

Puoi concedere i seguenti ruoli per consentire agli utenti di eseguire query sui dati e gestire le connessioni:

  • roles/bigquery.connectionUser: consente agli utenti di utilizzare le connessioni per collegarsi a origini dati esterne ed eseguire query su di esse.

  • roles/bigquery.connectionAdmin: consente agli utenti di gestire le connessioni.

Per ulteriori informazioni sui ruoli e sulle autorizzazioni IAM in BigQuery, consulta Ruoli e autorizzazioni predefiniti.

Seleziona una delle seguenti opzioni:

Console

  1. Vai alla pagina BigQuery.

    Vai a BigQuery

    Le connessioni sono elencate nel progetto, in un gruppo denominato Connessioni esterne.

  2. Nel riquadro Explorer, fai clic sul nome del progetto > Connessioni esterne > Connessione.

  3. Nel riquadro Dettagli, fai clic su Condividi per condividere una connessione. Quindi:

    1. Nella finestra di dialogo Autorizzazioni di connessione, condividi la connessione con altre entità aggiungendole o modificandole.

    2. Fai clic su Salva.

bq

Non puoi condividere una connessione con lo strumento a riga di comando bq. Per condividere una connessione, utilizza la console Google Cloud o il metodo dell'API BigQuery Connections.

API

Utilizza il metodo projects.locations.connections.setIAM nella sezione di riferimento dell'API REST BigQuery Connections e fornisci un'istanza della risorsa policy.

Java

Prima di provare questo esempio, segui le istruzioni di configurazione Java riportate nella guida rapida all'utilizzo di BigQuery con le librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API BigQuery Java.

Per autenticarti in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configurare l'autenticazione per le librerie client. 

import com.google.api.resourcenames.ResourceName;
import com.google.cloud.bigquery.connection.v1.ConnectionName;
import com.google.cloud.bigqueryconnection.v1.ConnectionServiceClient;
import com.google.iam.v1.Binding;
import com.google.iam.v1.Policy;
import com.google.iam.v1.SetIamPolicyRequest;
import java.io.IOException;

// Sample to share connections
public class ShareConnection {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String location = "MY_LOCATION";
    String connectionId = "MY_CONNECTION_ID";
    shareConnection(projectId, location, connectionId);
  }

  static void shareConnection(String projectId, String location, String connectionId)
      throws IOException {
    try (ConnectionServiceClient client = ConnectionServiceClient.create()) {
      ResourceName resource = ConnectionName.of(projectId, location, connectionId);
      Binding binding =
          Binding.newBuilder()
              .addMembers("group:example-analyst-group@google.com")
              .setRole("roles/bigquery.connectionUser")
              .build();
      Policy policy = Policy.newBuilder().addBindings(binding).build();
      SetIamPolicyRequest request =
          SetIamPolicyRequest.newBuilder()
              .setResource(resource.toString())
              .setPolicy(policy)
              .build();
      client.setIamPolicy(request);
      System.out.println("Connection shared successfully");
    }
  }
}

Passaggi successivi