Cette page a été traduite par l'API Cloud Translation.

Diffuser les modifications de ressources FHIR dans BigQuery

Cette page explique comment configurer un store FHIR pour exporter automatiquement vos données des ressources FHIR vers des tables BigQuery chaque fois qu'une ressource FHIR est créée, mise à jour corrigées ou supprimées. Ce processus est appelé flux BigQuery.

Vous pouvez utiliser l'insertion en flux continu BigQuery pour effectuer les opérations suivantes:

Synchronisez les données d'un store FHIR avec un ensemble de données BigQuery dans en temps réel.
Exécuter des requêtes complexes sur des données FHIR sans avoir à les exporter vers BigQuery chaque fois que vous voulez analyser les données.

Pour améliorer les performances des requêtes et réduire les coûts, vous pouvez configurer BigQuery vers des tables partitionnées. Pour instructions, consultez Diffuser des ressources FHIR vers des tables partitionnées.

Avant de commencer

Lue Exporter des ressources FHIR vers BigQuery pour comprendre le fonctionnement du processus d'exportation.

Limites

Si vous importez des ressources FHIR à partir de Cloud Storage, les modifications ne sont pas transmises en flux continu vers BigQuery.

Définir des autorisations BigQuery

Pour activer le traitement par flux BigQuery, vous devez accorder des autorisations supplémentaires à l'agent de service Cloud Healthcare compte de service. Pour en savoir plus, consultez la section Autorisations BigQuery pour les datastores FHIR.

Configurer un flux BigQuery sur un store FHIR

Pour activer l'insertion en flux continu BigQuery, configurez StreamConfigs dans votre store FHIR. Dans StreamConfigs, vous pouvez configurer resourceTypes[] pour contrôler les types de ressources FHIR traitées par BigQuery s'applique. Si vous ne spécifiez pas resourceTypes[], BigQuery le traitement par flux s'applique à tous les types de ressources FHIR.

Pour obtenir des explications sur les autres configurations disponibles dans StreamConfigs, telles que BigQueryDestination, voir Exportation de ressources FHIR.

Les exemples suivants montrent comment activer l'insertion en flux continu BigQuery sur un store FHIR existant.

Console

Pour configurer un flux BigQuery sur un store FHIR existant à l'aide de la méthode console Google Cloud, procédez comme suit:

Dans la console Google Cloud, accédez à la page Ensembles de données.

Accéder à la page "Ensembles de données"
Sélectionnez l'ensemble de données contenant le magasin FHIR que vous souhaitez modifier.
Dans la liste Datastores, cliquez sur le store FHIR que vous souhaitez modifier.
Dans la section Flux BigQuery, effectuez les opérations suivantes : étapes:
1. Cliquez sur Ajouter une configuration de streaming.
2. Dans la section New streaming configuration (Nouvelle configuration de streaming), cliquez sur Browse (Parcourir) pour Sélectionnez l'ensemble de données BigQuery dans lequel vous souhaitez diffuser les ressources FHIR modifiées.
3. Dans la liste déroulante Schema type (Type de schéma), sélectionnez le schéma de sortie pour le table BigQuery. Les schémas suivants sont disponibles: <ph type="x-smartling-placeholder">
  - Données analytiques : Schéma basé sur le document SQL sur FHIR. Étant donné que BigQuery n'accepte que 10 000 colonnes par table, aucun schéma n'est généré pour les champs Parameters.parameter.resource, Bundle.entry.resource et Bundle.entry.response.outcome.
  - Analytics V2. Un schéma semblable au schéma Analytics, avec une prise en charge supplémentaire des éléments suivants:
    - Extensions avec plusieurs valeurs pour le même url
    - Ressources FHIR contenues
    Le schéma Analytics V2 utilise plus d'espace dans la table de destination que le schéma Analytics.
4. Sélectionnez un niveau de profondeur dans Recursive Structure Depth (Profondeur de la structure récursive). pour définir la profondeur de toutes les structures récursives du schéma de sortie. Par défaut, la valeur récursive est 2.
5. Dans la liste Sélectionner les types de ressources FHIR, sélectionnez les types de ressources. à diffuser.
Cliquez sur OK pour enregistrer la configuration de streaming.

gcloud

gcloud CLI n'est pas compatible avec cette action. Utilisez plutôt la console Google Cloud, curl, PowerShell ou le langage de votre choix.

REST

Pour configurer un flux BigQuery sur un store FHIR existant, utilisez la classe projects.locations.datasets.fhirStores.patch .

Les exemples suivants ne spécifient pas le tableau resourceTypes[], Le streaming BigQuery est donc activé pour tous les types de ressources FHIR.

Avant d'utiliser les données de requête ci-dessous, effectuez les remplacements suivants :

PROJECT_ID : ID de votre projet Google Cloud
LOCATION : emplacement de l'ensemble de données
DATASET_ID : ensemble de données parent du magasin FHIR.
FHIR_STORE_ID : ID du magasin FHIR.
BIGQUERY_DATASET_ID: nom d'un ensemble de données BigQuery existant dans lequel vous diffusez les modifications de ressources FHIR
SCHEMA_TYPE : valeur pour l'énumération SchemaType. Utilisez l'une des valeurs suivantes: <ph type="x-smartling-placeholder">
- ANALYTICS Schéma basé sur le document SQL sur FHIR. Étant donné que BigQuery n'accepte que 10 000 colonnes par table, aucun schéma n'est généré pour les champs Parameters.parameter.resource, Bundle.entry.resource et Bundle.entry.response.outcome.
- ANALYTICS_V2 Un schéma semblable à ANALYTICS, avec une prise en charge supplémentaire des éléments suivants:
  - Extensions avec plusieurs valeurs pour le même url
  - Ressources FHIR contenues
  ANALYTICS_V2 utilise plus d'espace dans la table de destination que ANALYTICS
  .
WRITE_DISPOSITION : valeur pour l'énumération WriteDisposition. Utilisez l'une des valeurs suivantes: <ph type="x-smartling-placeholder">
- WRITE_EMPTY N'exportez des données que si les tables BigQuery de destination sont vides.
- WRITE_TRUNCATE Effacez toutes les données existantes dans les tables BigQuery avant d'écrire les ressources FHIR.
- WRITE_APPEND Ajouter des données aux tables BigQuery de destination

Corps JSON de la requête :

{
  "streamConfigs": [
    {
      "bigqueryDestination": {
        "datasetUri": "bq://PROJECT_ID.BIGQUERY_DATASET_ID",
        "schemaConfig": {
          "schemaType": "SCHEMA_TYPE",
        },
        "writeDisposition": "WRITE_DISPOSITION"
      }
    }
  ]
}

Pour envoyer votre requête, choisissez l'une des options suivantes :

curl

Remarque : La commande suivante suppose que vous vous êtes connecté à la CLI gcloud avec votre compte utilisateur en exécutant la commande gcloud init ou gcloud auth login, ou en utilisant Cloud Shell, qui vous connecte automatiquement à la CLI gcloud. Vous pouvez exécuter la commande gcloud auth list pour vérifier quel est le compte actuellement actif.

Enregistrez le corps de la requête dans un fichier nommé request.json. Exécutez la commande suivante dans le terminal pour créer ou écraser ce fichier dans le répertoire actuel :

cat > request.json << 'EOF'
{
  "streamConfigs": [
    {
      "bigqueryDestination": {
        "datasetUri": "bq://PROJECT_ID.BIGQUERY_DATASET_ID",
        "schemaConfig": {
          "schemaType": "SCHEMA_TYPE",
        },
        "writeDisposition": "WRITE_DISPOSITION"
      }
    }
  ]
}
EOF

Exécutez ensuite la commande suivante pour envoyer votre requête REST :

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/fhirStores/FHIR_STORE_ID?updateMask=streamConfigs"

PowerShell

Remarque : La commande suivante suppose que vous vous êtes connecté à la CLI gcloud avec votre compte utilisateur en exécutant la commande gcloud init ou gcloud auth login. Vous pouvez exécuter la commande gcloud auth list pour vérifier quel est le compte actuellement actif.

Enregistrez le corps de la requête dans un fichier nommé request.json. Exécutez la commande suivante dans le terminal pour créer ou écraser ce fichier dans le répertoire actuel :

@'
{
  "streamConfigs": [
    {
      "bigqueryDestination": {
        "datasetUri": "bq://PROJECT_ID.BIGQUERY_DATASET_ID",
        "schemaConfig": {
          "schemaType": "SCHEMA_TYPE",
        },
        "writeDisposition": "WRITE_DISPOSITION"
      }
    }
  ]
}
'@  | Out-File -FilePath request.json -Encoding utf8

Exécutez ensuite la commande suivante pour envoyer votre requête REST :

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/fhirStores/FHIR_STORE_ID?updateMask=streamConfigs" | Select-Object -Expand Content

API Explorer

Copiez le corps de la requête et ouvrez la page de référence de la méthode. Le panneau APIs Explorer s'ouvre dans la partie droite de la page. Vous pouvez interagir avec cet outil pour envoyer des requêtes. Collez le corps de la requête dans cet outil, renseignez tous les champs obligatoires, puis cliquez sur Execute (Exécuter).

Vous devriez recevoir une réponse JSON semblable à la suivante.

Si vous avez configuré des champs dans la ressource FhirStore, ils apparaissent également dans la réponse.

Réponse

{
  "name": "projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/fhirStores/FHIR_STORE_ID",
  "version": "FHIR_STORE_VERSION",
  "streamConfigs": [
    {
      "bigqueryDestination": {
        "datasetUri": "bq://PROJECT_ID.BIGQUERY_DATASET_ID",
        "schemaConfig": {
          "schemaType": "SCHEMA_TYPE",
        },
        "writeDisposition": "WRITE_DISPOSITION"
      }
    }
  ]
}

Par défaut, lorsque vous diffusez des modifications de ressources FHIR vers BigQuery, une vue est créée pour chaque ressource diffusée. La vue possède les propriétés suivantes :

Elle porte le même nom que la ressource et que la table de la ressource dans le ensemble de données BigQuery. Par exemple, lorsque vous diffusez un flux de données ressource, une table nommée Patient est créée avec une vue nommée Patientview.
Il ne contient que la version actuelle de la ressource, et non l'ensemble des éléments historiques versions.

Diffuser des ressources FHIR vers des tables partitionnées

Pour exporter des ressources FHIR vers des tables partitionnées BigQuery, définissez le paramètre TimePartitioning "énumération" dans lastUpdatedPartitionConfig dans votre store FHIR.

Les tables partitionnées fonctionnent comme BigQuery tables partitionnées par unité de temps. Les tables partitionnées comportent une colonne supplémentaire nommée lastUpdated, qui est un doublon de la colonne meta.lastUpdated générée à partir du champ meta.lastUpdated dans une ressource FHIR. BigQuery utilise le lastUpdated pour partitionner les tables par heure, jour, mois ou année.

Voir Sélectionner un partitionnement quotidien, horaire, mensuel ou annuel pour obtenir des recommandations sur le choix d'une granularité de partition.

Vous ne pouvez pas convertir des tables BigQuery existantes non partitionnées en les tables partitionnées. Si vous exportez une ressource Patient les modifications apportées à une table Patients non partitionnée ; créer ultérieurement un nouveau store FHIR avec un partitionnement de table qui exporte vers le même ensemble de données BigQuery, l'API Cloud Healthcare exporte toujours les données. à la table Patients non partitionnée. Pour commencer à utiliser une table partitionnée, supprimez la table Patients existante ou utilisez un autre ensemble de données BigQuery.

Si vous ajoutez un partitionnement à une configuration de store FHIR existante, vous pouvez toujours exporter vers des tables non partitionnées existantes. Toutefois, le partitionnement ne prendra effet sur de nouvelles tables.

Les exemples suivants montrent comment activer les flux BigQuery sur un store FHIR existant.

Console

La console Google Cloud et gcloud CLI ne permettent pas d'effectuer cette opération. Utilisez plutôt curl, PowerShell ou le langage de votre choix.

gcloud

La console Google Cloud et gcloud CLI ne permettent pas d'effectuer cette opération. Utilisez plutôt curl, PowerShell ou le langage de votre choix.

REST

Pour configurer l'insertion en flux continu de BigQuery vers des tables partitionnées store FHIR existant, utilisez le projects.locations.datasets.fhirStores.patch .

Avant d'utiliser les données de requête ci-dessous, effectuez les remplacements suivants :

PROJECT_ID : ID de votre projet Google Cloud
LOCATION : emplacement de l'ensemble de données
DATASET_ID : ensemble de données parent du magasin FHIR.
FHIR_STORE_ID : ID du magasin FHIR.
BIGQUERY_DATASET_ID: nom d'un ensemble de données BigQuery existant dans lequel vous diffusez les modifications de ressources FHIR
SCHEMA_TYPE : valeur pour l'énumération SchemaType. Utilisez l'une des valeurs suivantes: <ph type="x-smartling-placeholder">
- ANALYTICS Schéma basé sur le document SQL sur FHIR. Étant donné que BigQuery n'accepte que 10 000 colonnes par table, aucun schéma n'est généré pour les champs Parameters.parameter.resource, Bundle.entry.resource et Bundle.entry.response.outcome.
- ANALYTICS_V2 Un schéma semblable à ANALYTICS, avec une prise en charge supplémentaire des éléments suivants:
  - Extensions avec plusieurs valeurs pour le même url
  - Ressources FHIR contenues
  ANALYTICS_V2 utilise plus d'espace dans la table de destination que ANALYTICS
  .
TIME_PARTITION_TYPE: précision avec laquelle vous souhaitez partitionner les ressources FHIR exportées. Utilisez l'une des valeurs suivantes: <ph type="x-smartling-placeholder">
- HOUR: partitionner les données par heure
- DAY: partitionner les données par jour
- MONTH: partitionner les données par mois
- YEAR: partitionner les données par année
WRITE_DISPOSITION : valeur pour l'énumération WriteDisposition. Utilisez l'une des valeurs suivantes: <ph type="x-smartling-placeholder">
- WRITE_EMPTY N'exportez des données que si les tables BigQuery de destination sont vides.
- WRITE_TRUNCATE Effacez toutes les données existantes dans les tables BigQuery avant d'écrire les ressources FHIR.
- WRITE_APPEND Ajouter des données aux tables BigQuery de destination

Corps JSON de la requête :

{
  "streamConfigs": [
    {
      "bigqueryDestination": {
        "datasetUri": "bq://PROJECT_ID.BIGQUERY_DATASET_ID",
        "schemaConfig": {
          "schemaType": "SCHEMA_TYPE",
          "lastUpdatedPartitionConfig": {
            "type": "TIME_PARTITION_TYPE"
          }
        },
        "writeDisposition": "WRITE_DISPOSITION"
      }
    }
  ]
}

Pour envoyer votre requête, choisissez l'une des options suivantes :

curl

Enregistrez le corps de la requête dans un fichier nommé request.json. Exécutez la commande suivante dans le terminal pour créer ou écraser ce fichier dans le répertoire actuel :

cat > request.json << 'EOF'
{
  "streamConfigs": [
    {
      "bigqueryDestination": {
        "datasetUri": "bq://PROJECT_ID.BIGQUERY_DATASET_ID",
        "schemaConfig": {
          "schemaType": "SCHEMA_TYPE",
          "lastUpdatedPartitionConfig": {
            "type": "TIME_PARTITION_TYPE"
          }
        },
        "writeDisposition": "WRITE_DISPOSITION"
      }
    }
  ]
}
EOF

Exécutez ensuite la commande suivante pour envoyer votre requête REST :

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/fhirStores/FHIR_STORE_ID?updateMask=streamConfigs"

PowerShell

Remarque : La commande suivante suppose que vous vous êtes connecté à la CLI gcloud avec votre compte utilisateur en exécutant la commande gcloud init ou gcloud auth login. Vous pouvez exécuter la commande gcloud auth list pour vérifier quel est le compte actuellement actif.

Enregistrez le corps de la requête dans un fichier nommé request.json. Exécutez la commande suivante dans le terminal pour créer ou écraser ce fichier dans le répertoire actuel :

@'
{
  "streamConfigs": [
    {
      "bigqueryDestination": {
        "datasetUri": "bq://PROJECT_ID.BIGQUERY_DATASET_ID",
        "schemaConfig": {
          "schemaType": "SCHEMA_TYPE",
          "lastUpdatedPartitionConfig": {
            "type": "TIME_PARTITION_TYPE"
          }
        },
        "writeDisposition": "WRITE_DISPOSITION"
      }
    }
  ]
}
'@  | Out-File -FilePath request.json -Encoding utf8

Exécutez ensuite la commande suivante pour envoyer votre requête REST :

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/fhirStores/FHIR_STORE_ID?updateMask=streamConfigs" | Select-Object -Expand Content

API Explorer

Vous devriez recevoir une réponse JSON de ce type :

Réponse

{
  "name": "projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/fhirStores/FHIR_STORE_ID",
  "version": "FHIR_STORE_VERSION",
  "streamConfigs": [
    {
      "bigqueryDestination": {
        "datasetUri": "bq://PROJECT_ID.BIGQUERY_DATASET_ID",
        "schemaConfig": {
          "schemaType": "SCHEMA_TYPE",
          "lastUpdatedPartitionConfig": {
            "type": "TIME_PARTITION_TYPE"
          }
        },
        "writeDisposition": "WRITE_DISPOSITION"
      }
    }
  ]
}

Interroger une table partitionnée

Pour réduire les coûts des requêtes lorsque vous interrogez des tables partitionnées, utilisez la classe WHERE pour filtrer par unité de temps.

Par exemple, supposons que vous définissiez PartitionType sur DAY. Pour interroger une table Patients sur les ressources patient modifiées sur un exécutez la requête suivante:

SELECT * FROM `PROJECT_ID.BIGQUERY_DATASET.Patients`
  WHERE DATE(lastUpdated) = 'YYYY-MM-DD'

Migrer d'Analytics vers Analytics V2

Vous ne pouvez pas migrer un ensemble de données BigQuery existant depuis Analytics au schéma Analytics V2 à l'aide de n'importe quelle méthode, y compris la suivante:

Modifier le type de schéma de la table dans BigQuery.
Modifier le type de schéma dans une configuration de streaming FHIR existante

En effet, les colonnes de table BigQuery Extensions FHIR Dans le schéma Analytics, le mode est défini sur NULLABLE, tandis que dans du schéma Analytics V2 sont définies sur REPEATED. BigQuery ne permet pas de modifier le mode d'une colonne de NULLABLE à REPEATED. Par conséquent, les deux types de schémas sont incompatibles.

Pour migrer le type de schéma des ressources FHIR exportées de Analytics vers Analytics V2, vous devez exporter les ressources FHIR vers un nouveau fichier BigQuery. à l'aide d'une nouvelle configuration de traitement par flux avec le type de schéma mis à jour. À faire procédez comme suit:

Créez un ensemble de données BigQuery.
Définissez des autorisations pour l'ensemble de données BigQuery.
Ajouter une configuration de streaming au store FHIR avec le type de schéma défini sur Analytics V2.
Remplissez les données existantes en exportant les données FHIR existantes à l'aide des paramètres suivants. Voir Exporter des ressources FHIR pour obtenir des instructions sur la configuration de ces paramètres à l'aide de la console Google Cloud, de Google Cloud CLI ou de l'API REST. Les paramètres suivants s'appliquent à l'API REST:
- Définir WriteDisposition à WRITE_APPEND pour ajouter les données à la table de destination.
- Définir SchemaType par ANALYTICS_V2.

Les vues dans BigQuery qui correspondent à tout ou partie des ressources FHIR de l'ensemble de données BigQuery d'origine peuvent manquer ensemble de données. Pour résoudre ce problème, consultez la section Création d'une vue de ressource FHIR manquante.

Résoudre les problèmes liés au streaming FHIR

Si des erreurs se produisent lorsque des modifications de ressources sont envoyées à BigQuery, elles sont consignées dans Cloud Logging. Pour en savoir plus, consultez la section Afficher les journaux d'erreurs dans Cloud Logging.

Impossible de convertir la colonne NULLABLE en REPEATED

Cette erreur est causée par une extension répétée. Pour résoudre cette erreur, utilisez ANALYTICS_V2 type de schéma. Si vous utilisez déjà ANALYTICS_V2, vous avez peut-être un Conflit entre deux extensions, ou entre une extension et une autre .

Les noms de colonne sont générés à partir du texte situé après le dernier caractère / dans URL d'extension. Si une URL d'extension se termine par une valeur telle que /resource_field name, un conflit peut survenir.

Pour éviter que cette erreur ne se reproduise, n'utilisez pas les extensions si leur champ sont identiques à ceux des champs de ressources que vous remplissez.

Création de la vue de ressources FHIR manquante

Si vous exportez de manière groupée une ressource FHIR vers BigQuery avant de la diffuser, BigQuery ne crée pas de vues pour la ressource FHIR.

Par exemple, vous ne verrez peut-être aucune vue pour les ressources Encounter dans la situation suivante :

Configurez le streaming sur un magasin FHIR dans BigQuery, puis utilisez l'API REST pour créer une ressource Patient.

BigQuery crée une table et une vue pour la ressource Patient.
Exportez des ressources Encounter de manière groupée vers le même ensemble de données BigQuery qu'à l'étape précédente.

BigQuery crée une table pour les ressources Encounter.
Vous utilisez l'API REST pour créer une ressource Encounter.

Après cette étape, les vues BigQuery ne sont pas créées pour la ressource Encounter.

Pour résoudre ce problème, utilisez la requête suivante pour créer une vue :

SELECT
    * EXCEPT (_resource_row_id)
FROM (
  SELECT
    ROW_NUMBER() OVER(PARTITION BY id ORDER BY meta.lastUpdated DESC) as _resource_row_id,
    *
    FROM `PROJECT_ID.BIGQUERY_DATASET_ID.RESOURCE_TABLE` AS p
) AS p
WHERE
  p._resource_row_id=1
  AND
  NOT EXISTS (
  SELECT
    *
  FROM
    UNNEST(p.meta.tag)
  WHERE
    code = 'DELETE');

Remplacez les éléments suivants :

PROJECT_ID : ID de votre projet Google Cloud
BIGQUERY_DATASET_ID : ID de l'ensemble de données BigQuery dans lequel vous avez exporté la ressource FHIR de manière groupée
RESOURCE_TABLE : nom de la table correspondant à la ressource FHIR pour laquelle vous souhaitez créer des vues

Après avoir créé la vue, vous pouvez continuer à diffuser les modifications vers la ressource FHIR et la vue est mise à jour en conséquence.

Étapes suivantes

Pour obtenir un tutoriel de cas d'utilisation sur la diffusion de modifications de ressources FHIR, consultez la page Diffuser et synchroniser des ressources FHIR avec BigQuery.