Modèle Apache Cassandra vers Bigtable

Le modèle Apache Cassandra vers Bigtable copie une table d'Apache Cassandra vers Bigtable. Ce modèle nécessite une configuration minimale et réplique la structure de la table Cassandra aussi fidèlement que possible dans Bigtable.

Le modèle Apache Cassandra vers Bigtable est utile pour les tâches suivantes :

  • Migrer une base de données Apache Cassandra lorsqu'un temps d'arrêt de courte durée est toléré
  • Répliquer périodiquement des tables Cassandra dans Bigtable à des fins de diffusion mondiale

Conditions requises pour ce pipeline

  • La table Bigtable cible doit exister avant l'exécution du pipeline.
  • Une connexion réseau doit être établie entre les nœuds de calcul Dataflow et les nœuds Apache Cassandra.

Conversion des types de données

Le modèle Apache Cassandra vers Bigtable convertit automatiquement les types de données Apache Cassandra en types de données Bigtable.

La plupart des données de type primitif sont représentées de la même manière dans Bigtable et Apache Cassandra. Toutefois, les données de type primitif suivantes présentent des différences :

  • Date et Timestamp sont convertis en objets DateTime.
  • UUID est converti en String.
  • Varint est converti en BigDecimal.

En outre, Apache Cassandra accepte de manière native des types de données plus complexes, tels que Tuple, List, Set et Map. Le type Tuple n'est pas compatible avec ce pipeline, car il n'existe pas de type correspondant dans Apache Beam.

Par exemple, dans Apache Cassandra, vous pouvez avoir une colonne de type List appelée "mylist" et des valeurs semblables à celles du tableau suivant :

ligne mylist
1 (a,b,c)

Le pipeline étend les données de cette colonne dans trois colonnes différentes (appelées "qualificatifs de colonne" dans Bigtable). Les colonnes sont nommées "mylist", mais le pipeline ajoute l'index de l'élément de la liste, tel que "mylist[0]".

ligne mylist[0] mylist[1] mylist[2]
1 a b c

Le pipeline traite les ensembles de la même manière que les listes, mais ajoute un suffixe supplémentaire pour indiquer si la cellule est une clé ou une valeur.

ligne mymap
1 {"first_key":"first_value","another_key":"different_value"}

Après la transformation, la table se présente comme suit :

ligne mymap[0].key mymap[0].value mymap[1].key mymap[1].value
1 first_key first_value another_key different_value

Conversion des clés primaires

Dans Apache Cassandra, les clés primaires sont définies à l'aide d'un langage de définition des données. Elles peuvent être simples, composites ou composées avec des colonnes de clustering. Bigtable est compatible avec la création manuelle des clés de ligne, qui sont triées dans l'ordre lexicographique en fonction du tableau d'octets. Le pipeline collecte automatiquement des informations sur les types de clés, puis crée les clés en suivant les bonnes pratiques de création de clés de ligne basées sur plusieurs valeurs.

Paramètres de modèle

Paramètres obligatoires

  • cassandraHosts : hôtes des nœuds Apache Cassandra sous la forme d'une liste de valeurs séparées par des virgules.
  • cassandraKeyspace : espace de clés Apache Cassandra dans lequel se trouve la table.
  • cassandraTable : table Apache Cassandra à copier.
  • bigtableProjectId : ID de projet Google Cloud associé à l'instance Bigtable.
  • bigtableInstanceId : ID de l'instance Bigtable dans laquelle la table Apache Cassandra est copiée.
  • bigtableTableId : nom de la table Bigtable dans laquelle la table Apache Cassandra est copiée.

Paramètres facultatifs

  • cassandraPort : port TCP à utiliser pour accéder à Apache Cassandra sur les nœuds. La valeur par défaut est 9042.
  • defaultColumnFamily : nom de la famille de colonnes de la table Bigtable. La valeur par défaut est "default".
  • rowKeySeparator : séparateur utilisé pour créer des clés de ligne. La valeur par défaut est "#".
  • splitLargeRows : indicateur permettant d'activer le fractionnement des lignes volumineuses en plusieurs requêtes MutateRows. Notez que lorsqu'une ligne volumineuse est divisée entre plusieurs appels d'API, les mises à jour de la ligne ne sont pas atomiques. .

Exécuter le modèle

Console

  1. Accédez à la page Dataflow Créer un job à partir d'un modèle.
  2. Accéder à la page Créer un job à partir d'un modèle
  3. Dans le champ Nom du job, saisissez un nom de job unique.
  4. Facultatif : pour Point de terminaison régional, sélectionnez une valeur dans le menu déroulant. La région par défaut est us-central1.

    Pour obtenir la liste des régions dans lesquelles vous pouvez exécuter un job Dataflow, consultez la page Emplacements Dataflow.

  5. Dans le menu déroulant Modèle Dataflow, sélectionnez the Cassandra to Cloud Bigtable template.
  6. Dans les champs fournis, saisissez vos valeurs de paramètres.
  7. Cliquez sur Run Job (Exécuter la tâche).

gcloud

Dans le shell ou le terminal, exécutez le modèle :

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cassandra_To_Cloud_Bigtable \
    --region REGION_NAME \
    --parameters \
bigtableProjectId=BIGTABLE_PROJECT_ID,\
bigtableInstanceId=BIGTABLE_INSTANCE_ID,\
bigtableTableId=BIGTABLE_TABLE_ID,\
cassandraHosts=CASSANDRA_HOSTS,\
cassandraKeyspace=CASSANDRA_KEYSPACE,\
cassandraTable=CASSANDRA_TABLE

Remplacez les éléments suivants :

  • JOB_NAME : nom de job unique de votre choix
  • VERSION : version du modèle que vous souhaitez utiliser

    Vous pouvez utiliser les valeurs suivantes :

  • REGION_NAME : région dans laquelle vous souhaitez déployer votre job Dataflow, par exemple us-central1
  • BIGTABLE_PROJECT_ID : ID du projet dans lequel se trouve l'instance Bigtable
  • BIGTABLE_INSTANCE_ID : ID de l'instance Bigtable
  • BIGTABLE_TABLE_ID : nom de votre table Bigtable
  • CASSANDRA_HOSTS : liste d'hôtes Apache Cassandra ; si plusieurs hôtes sont fournis, suivez les instructions expliquant comment échapper les virgules
  • CASSANDRA_KEYSPACE : espace de clés Apache Cassandra dans lequel se trouve la table
  • CASSANDRA_TABLE : table Apache Cassandra qui doit être migrée

API

Pour exécuter le modèle à l'aide de l'API REST, envoyez une requête HTTP POST. Pour en savoir plus sur l'API, ses autorisations et leurs champs d'application, consultez la section projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cassandra_To_Cloud_Bigtable
{
   "jobName": "JOB_NAME",
   "parameters": {
       "bigtableProjectId": "BIGTABLE_PROJECT_ID",
       "bigtableInstanceId": "BIGTABLE_INSTANCE_ID",
       "bigtableTableId": "BIGTABLE_TABLE_ID",
       "cassandraHosts": "CASSANDRA_HOSTS",
       "cassandraKeyspace": "CASSANDRA_KEYSPACE",
       "cassandraTable": "CASSANDRA_TABLE"
   },
   "environment": { "zone": "us-central1-f" }
}

Remplacez les éléments suivants :

  • PROJECT_ID : ID du projet Google Cloud dans lequel vous souhaitez exécuter le job Dataflow
  • JOB_NAME : nom de job unique de votre choix
  • VERSION : version du modèle que vous souhaitez utiliser

    Vous pouvez utiliser les valeurs suivantes :

  • LOCATION : région dans laquelle vous souhaitez déployer votre job Dataflow, par exemple us-central1
  • BIGTABLE_PROJECT_ID : ID du projet dans lequel se trouve l'instance Bigtable
  • BIGTABLE_INSTANCE_ID : ID de l'instance Bigtable
  • BIGTABLE_TABLE_ID : nom de votre table Bigtable
  • CASSANDRA_HOSTS : liste d'hôtes Apache Cassandra ; si plusieurs hôtes sont fournis, suivez les instructions expliquant comment échapper les virgules
  • CASSANDRA_KEYSPACE : espace de clés Apache Cassandra dans lequel se trouve la table
  • CASSANDRA_TABLE : table Apache Cassandra qui doit être migrée

Étapes suivantes