Gérer les connexions

Ce document explique comment afficher, répertorier, partager, modifier, supprimer et dépanner une connexion BigQuery.

En tant qu'administrateur BigQuery, vous pouvez créer et gérer des connexions utilisées pour vous connecter à des services et à des sources de données externes. Les analystes BigQuery utilisent ces connexions pour envoyer des requêtes en fonction de sources de données externes sans déplacer ni copier de données dans BigQuery. Vous pouvez créer les types de connexions suivants :

Connexions Amazon S3
Connexions Apache Spark
Connexions au stockage de blobs
Connexions aux ressources cloud pour se connecter aux données Cloud Storage et mettre en œuvre des fonctions distantes
Connexions Spanner
Connexions Cloud SQL

Avant de commencer

Activez l'API BigQuery Connection.

Activer l'API
Assurez-vous de pouvoir afficher la liste des comptes de service de votre projet. BigQuery crée et utilise un compte de service pour se connecter à votre source de données externe. Lorsque vous créez une connexion, un compte de service Cloud IAM (Cloud Identity and Access Management) géré par Google Cloud est créé en votre nom. Pour afficher le compte de service associé à une connexion particulière, affichez les informations sur la connexion.

Rôles requis

Pour obtenir les autorisations nécessaires pour gérer les connexions, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Afficher les informations sur la connexion : Utilisateur de connexion BigQuery (roles/bigquery.connectionUser) sur votre ensemble de données
Lister toutes les connexions : Utilisateur de connexion BigQuery (roles/bigquery.connectionUser) sur votre ensemble de données
Partager une connexion : Administrateur de connexion BigQuery (roles/bigquery.connectionAdmin) sur votre connexion
Modifier une connexion : Administrateur de connexion BigQuery (roles/bigquery.connectionAdmin) sur votre connexion
Supprimer une connexion : Administrateur de connexion BigQuery (roles/bigquery.connectionAdmin) sur votre connexion

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Ces rôles prédéfinis contiennent les autorisations requises pour effectuer les tâches décrites dans ce document. Pour afficher les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Afficher les informations sur la connexion : bigquery.connections.get
Répertorier toutes les connexions : bigquery.connections.list
Modifier et supprimer une connexion : bigquery.connections.update
Partager une connexion : bigquery.connections.setIamPolicy

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Répertorier toutes les connexions

Sélectionnez l'une des options suivantes :

Console

Accédez à la page BigQuery.

Accéder à BigQuery

Les connexions sont répertoriées dans votre projet, dans un groupe appelé Connexions externes.
Dans le volet Explorateur, cliquez sur votre nom de projet > Connexions externes pour afficher la liste de toutes les connexions.

bq

Saisissez la commande bq ls, puis spécifiez l'option --connection. Vous pouvez également spécifier les options --project_id et --location pour identifier le projet et l'emplacement des connexions à répertorier.

bq ls --connection --project_id=PROJECT_ID --location=REGION

Remplacez les éléments suivants :

PROJECT_ID : ID de votre projet Google Cloud
REGION : région de la connexion

API

Utilisez la méthode projects.locations.connections.list dans la documentation de référence de l'API REST.

Java

Avant d'essayer cet exemple, suivez les instructions de configuration pour Java du guide de démarrage rapide de BigQuery : Utiliser les bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence de l'API BigQuery pour Java.

Pour vous authentifier auprès de BigQuery, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez la page Configurer l'authentification pour les bibliothèques clientes.

import com.google.cloud.bigquery.connection.v1.ListConnectionsRequest;
import com.google.cloud.bigquery.connection.v1.LocationName;
import com.google.cloud.bigqueryconnection.v1.ConnectionServiceClient;
import java.io.IOException;

// Sample to get list of connections
public class ListConnections {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String location = "MY_LOCATION";
    listConnections(projectId, location);
  }

  static void listConnections(String projectId, String location) throws IOException {
    try (ConnectionServiceClient client = ConnectionServiceClient.create()) {
      LocationName parent = LocationName.of(projectId, location);
      int pageSize = 10;
      ListConnectionsRequest request =
          ListConnectionsRequest.newBuilder()
              .setParent(parent.toString())
              .setPageSize(pageSize)
              .build();
      client
          .listConnections(request)
          .iterateAll()
          .forEach(con -> System.out.println("Connection Id :" + con.getName()));
    }
  }
}

Afficher les informations sur la connexion

Une fois que vous avez créé une connexion, vous pouvez obtenir des informations sur sa configuration. Celle-ci inclut les valeurs que vous avez fournies lors de la création du transfert.

Sélectionnez l'une des options suivantes :

Console

Accédez à la page BigQuery.

Accéder à BigQuery

Les connexions sont répertoriées dans votre projet, dans un groupe appelé Connexions externes.
Dans le volet Explorateur, cliquez sur votre nom de projet > Connexions externes > connexion.

bq

Saisissez la commande bq show, puis spécifiez l'option --connection. Qualifiez éventuellement l'ID de connexion avec l'ID de projet et la région de la connexion.

bq show --connection PROJECT_ID.REGION.CONNECTION_ID

Remplacez les éléments suivants :

PROJECT_ID : ID de votre projet Google Cloud
REGION : région de la connexion
CONNECTION_I : ID de connexion

API

Utilisez la méthode projects.locations.connections.get dans la documentation de référence de l'API REST.

Java

import com.google.cloud.bigquery.connection.v1.Connection;
import com.google.cloud.bigquery.connection.v1.ConnectionName;
import com.google.cloud.bigquery.connection.v1.GetConnectionRequest;
import com.google.cloud.bigqueryconnection.v1.ConnectionServiceClient;
import java.io.IOException;

// Sample to get connection
public class GetConnection {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String location = "MY_LOCATION";
    String connectionId = "MY_CONNECTION_ID";
    getConnection(projectId, location, connectionId);
  }

  static void getConnection(String projectId, String location, String connectionId)
      throws IOException {
    try (ConnectionServiceClient client = ConnectionServiceClient.create()) {
      ConnectionName name = ConnectionName.of(projectId, location, connectionId);
      GetConnectionRequest request =
          GetConnectionRequest.newBuilder().setName(name.toString()).build();
      Connection response = client.getConnection(request);
      System.out.println("Connection info retrieved successfully :" + response.getName());
    }
  }
}

Vous pouvez attribuer les rôles suivants pour permettre aux utilisateurs d'interroger des données et de gérer les connexions :

roles/bigquery.connectionUser permet aux utilisateurs de se connecter à des sources de données externes et d'y exécuter des requêtes.
roles/bigquery.connectionAdmin permet aux utilisateurs de gérer les connexions.

Pour en savoir plus sur les rôles et les autorisations IAM dans BigQuery, consultez la page Rôles prédéfinis et autorisations.

Sélectionnez l'une des options suivantes :

Console

Accédez à la page BigQuery.

Accéder à BigQuery

Les connexions sont répertoriées dans votre projet, dans un groupe appelé Connexions externes.
Dans le volet Explorateur, cliquez sur votre nom de projet > Connexions externes > connexion.
Dans le volet Détails, cliquez sur Partager pour partager une connexion. Ensuite, procédez comme suit :
1. Dans la boîte de dialogue Autorisations de connexion, partagez la connexion avec d'autres comptes principaux en ajoutant ou en modifiant des comptes principaux.
2. Cliquez sur Enregistrer.

bq

Vous ne pouvez pas partager de connexion avec l'outil de ligne de commande bq. Pour partager une connexion, utilisez la console Google Cloud ou la méthode de l'API BigQuery Connections permettant le partage de connexion.

API

Utilisez la méthode projects.locations.connections.setIAM dans la section de référence de l'API REST BigQuery Connections et fournissez une instance de la ressource policy.

Java

import com.google.api.resourcenames.ResourceName;
import com.google.cloud.bigquery.connection.v1.ConnectionName;
import com.google.cloud.bigqueryconnection.v1.ConnectionServiceClient;
import com.google.iam.v1.Binding;
import com.google.iam.v1.Policy;
import com.google.iam.v1.SetIamPolicyRequest;
import java.io.IOException;

// Sample to share connections
public class ShareConnection {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String location = "MY_LOCATION";
    String connectionId = "MY_CONNECTION_ID";
    shareConnection(projectId, location, connectionId);
  }

  static void shareConnection(String projectId, String location, String connectionId)
      throws IOException {
    try (ConnectionServiceClient client = ConnectionServiceClient.create()) {
      ResourceName resource = ConnectionName.of(projectId, location, connectionId);
      Binding binding =
          Binding.newBuilder()
              .addMembers("group:example-analyst-group@google.com")
              .setRole("roles/bigquery.connectionUser")
              .build();
      Policy policy = Policy.newBuilder().addBindings(binding).build();
      SetIamPolicyRequest request =
          SetIamPolicyRequest.newBuilder()
              .setResource(resource.toString())
              .setPolicy(policy)
              .build();
      client.setIamPolicy(request);
      System.out.println("Connection shared successfully");
    }
  }
}

Modifier une connexion

Une connexion emploie les identifiants de l'utilisateur qui l'a créée. Si vous devez modifier l'utilisateur associé à une connexion, vous pouvez mettre à jour ses identifiants. C'est utile si l'utilisateur qui a créé la connexion ne fait plus partie de votre organisation.

Vous ne pouvez pas modifier les éléments suivants d'une connexion :

Type de connexion
ID de connexion
Emplacement

Sélectionnez l'une des options suivantes :

Console

Accédez à la page BigQuery.

Accéder à BigQuery

Les connexions sont répertoriées dans votre projet, dans un groupe appelé Connexions externes.
Dans le volet Explorateur, cliquez sur votre nom de projet > Connexions externes > connexion.
Dans le panneau Détails, cliquez sur Modifier les détails pour modifier les détails. Ensuite, procédez comme suit :
1. Dans la boîte de dialogue Modifier la connexion, modifiez les détails de la connexion, y compris les identifiants de l'utilisateur.
2. Cliquez sur Mettre à jour la connexion.

bq

Saisissez la commande bq update, puis indiquez l'option de connexion --connection. L'ID connection_id complet est requis.

  bq update --connection --connection_type='CLOUD_SQL'
      --properties='{"instanceId" : "INSTANCE",
      "database" : "DATABASE", "type" : "MYSQL" }'
      --connection_credential='{"username":"USERNAME", "password":"PASSWORD"}'
      PROJECT.REGION.CONNECTION_ID

Remplacez les éléments suivants :

INSTANCE : instance Cloud SQL
DATABASE : nom de la base de données
USERNAME : nom d'utilisateur de votre base de données Cloud SQL
PASSWORD : mot de passe de votre base de données Cloud SQL
PROJECT : ID de projet Google Cloud
REGION : région de la connexion
CONNECTION_ID : ID de connexion

Par exemple, la commande suivante met à jour la connexion d'un projet avec l'ID federation-test et l'ID de connexion test-mysql.

bq update --connection --connection_type='CLOUD_SQL'
    --properties='{"instanceId" : "federation-test:us-central1:new-mysql",
    "database" : "imdb2", "type" : "MYSQL" }'
    --connection_credential='{"username":"my_username",
    "password":"my_password"}' federation-test.us.test-mysql

API

Reportez-vous à la méthode projects.locations.connections.patch de la section de référence de l'API REST et fournissez une instance de la connection.

Java

import com.google.cloud.bigquery.connection.v1.Connection;
import com.google.cloud.bigquery.connection.v1.ConnectionName;
import com.google.cloud.bigquery.connection.v1.UpdateConnectionRequest;
import com.google.cloud.bigqueryconnection.v1.ConnectionServiceClient;
import com.google.protobuf.FieldMask;
import com.google.protobuf.util.FieldMaskUtil;
import java.io.IOException;

// Sample to update connection
public class UpdateConnection {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String location = "MY_LOCATION";
    String connectionId = "MY_CONNECTION_ID";
    String description = "MY_DESCRIPTION";
    Connection connection = Connection.newBuilder().setDescription(description).build();
    updateConnection(projectId, location, connectionId, connection);
  }

  static void updateConnection(
      String projectId, String location, String connectionId, Connection connection)
      throws IOException {
    try (ConnectionServiceClient client = ConnectionServiceClient.create()) {
      ConnectionName name = ConnectionName.of(projectId, location, connectionId);
      FieldMask updateMask = FieldMaskUtil.fromString("description");
      UpdateConnectionRequest request =
          UpdateConnectionRequest.newBuilder()
              .setName(name.toString())
              .setConnection(connection)
              .setUpdateMask(updateMask)
              .build();
      Connection response = client.updateConnection(request);
      System.out.println("Connection updated successfully :" + response.getDescription());
    }
  }
}

Supprimer une connexion

Sélectionnez l'une des options suivantes :

Console

Accédez à la page BigQuery.

Accéder à BigQuery

Les connexions sont répertoriées dans votre projet, dans un groupe appelé Connexions externes.
Dans le volet Explorateur, cliquez sur votre nom de projet > Connexions externes > connexion.
Dans le volet Détails, cliquez sur Supprimer pour supprimer la connexion.
Dans la boîte de dialogue Delete connection? (Supprimer la connexion ?), saisissez delete pour confirmer la suppression.
Cliquez sur Supprimer.

bq

Saisissez la commande bq rm, puis indiquez l'option de connexion --connection. L'ID connection_id complet est requis.

bq rm --connection PROJECT_ID.REGION.CONNECTION_ID

Remplacez les éléments suivants :

PROJECT_ID : ID de votre projet Google Cloud
REGION : région de la connexion
CONNECTION_ID : ID de connexion

API

Reportez-vous à la méthode projects.locations.connections.delete dans la documentation de référence de l'API REST.

Java

import com.google.cloud.bigquery.connection.v1.ConnectionName;
import com.google.cloud.bigquery.connection.v1.DeleteConnectionRequest;
import com.google.cloud.bigqueryconnection.v1.ConnectionServiceClient;
import java.io.IOException;

// Sample to delete a connection
public class DeleteConnection {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String location = "MY_LOCATION";
    String connectionName = "MY_CONNECTION_NAME";
    deleteConnection(projectId, location, connectionName);
  }

  static void deleteConnection(String projectId, String location, String connectionName)
      throws IOException {
    try (ConnectionServiceClient client = ConnectionServiceClient.create()) {
      ConnectionName name = ConnectionName.of(projectId, location, connectionName);
      DeleteConnectionRequest request =
          DeleteConnectionRequest.newBuilder().setName(name.toString()).build();
      client.deleteConnection(request);
      System.out.println("Connection deleted successfully");
    }
  }
}

Étapes suivantes

Découvrez comment utiliser des fonctions distantes.
Découvrez comment utiliser des procédures stockées pour Apache Spark.

Gérer les connexions

Avant de commencer

Rôles requis

Autorisations requises

Répertorier toutes les connexions

Console

bq

API

Java

Afficher les informations sur la connexion

Console

bq

API

Java

Partager une connexion avec les utilisateurs

Console

bq

API

Java

Modifier une connexion

Console

bq

API

Java

Supprimer une connexion

Console

bq

API

Java

Étapes suivantes