Fazer streaming de metadados de DICOM para o BigQuery

Esta página descreve como configurar um armazenamento DICOM para exportar metadados de instância DICOM para uma tabela do BigQuery sempre que uma das seguintes condições ocorrer:

Fazer streaming de metadados DICOM para uma tabela do BigQuery sincroniza a tabela com seus dados DICOM para que você possa executar consultas complexas na versão mais recente do armazenamento DICOM.

Antes de começar

Antes de configurar o armazenamento DICOM, conclua as seguintes etapas:

Definir permissões do BigQuery

Antes de transmitir metadados DICOM para o BigQuery, é necessário conceder as permissões necessárias à conta de serviço do Agente de serviço do Cloud Healthcare. Para mais informações, consulte Permissões do BigQuery para armazenar DICOM.

Aprenda a exportar metadados DICOM para o BigQuery

Antes de configurar o streaming, entenda como exportar metadados DICOM para o BigQuery.

Configurar o armazenamento DICOM

Para ativar o streaming no BigQuery, configure o objeto StreamConfig no seu armazenamento de DICOM. No objeto StreamConfig, defina o objeto BigQueryDestination como um URI de tabela do BigQuery totalmente qualificado como um destino de metadados de instância DICOM.

É possível especificar até cinco destinos do BigQuery como objetos JSON separados por vírgulas.

A exclusão de instâncias DICOM em um armazenamento DICOM não exclui as linhas do BigQuery que contêm os metadados dessas instâncias.

Console

Para atualizar uma loja DICOM e ativar o streaming do BigQuery, siga estas etapas:

  1. No console do Google Cloud, acesse a página Conjuntos de dados.
    Acessar a página Conjuntos de dados
  2. Selecione o conjunto de dados que contém o armazenamento DICOM que você quer editar.
  3. Selecione o armazenamento DICOM para o qual você está adicionando uma configuração de streaming.
  4. Na guia Visão geral da página Detalhes do repositório de dados, clique em Adicionar nova configuração de streaming.
  5. No campo Nova configuração de streaming, clique em Procurar.
    1. No painel Selecionar tabela, escolha uma tabela do BigQuery.
    2. Clique em Selecionar.
  6. Clique em Concluído.

REST

Os exemplos a seguir mostram como atualizar um armazenamento de DICOM para ativar o streaming do BigQuery. Nestas amostras, o armazenamento de DICOM e a Tabela do BigQuery estão no mesmo projeto. Para exportar metadados DICOM para outro projeto, consulte Como exportar metadados DICOM para um projeto diferente.

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • PROJECT_ID: o ID do seu projeto do Google Cloud;
  • LOCATION: o local do conjunto de dados;
  • DATASET_ID: o conjunto de dados pai do armazenamento DICOM
  • DICOM_STORE_ID: o ID do armazenamento DICOM
  • BIGQUERY_DATASET_ID: o nome de um conjunto de dados do BigQuery
  • BIGQUERY_TABLE_ID: um nome exclusivo para uma tabela no conjunto de dados do BigQuery. Consulte Nomeação de tabelas para saber mais sobre os requisitos de nomenclatura. O conjunto de dados do BigQuery precisa existir, mas a API Cloud Healthcare pode atualizar uma tabela existente ou criar uma nova.

Corpo JSON da solicitação:

{
  'streamConfigs': [{
     'bigqueryDestination': {
      'tableUri': 'bq://PROJECT_ID.BIGQUERY_DATASET_ID.BIGQUERY_TABLE_ID'
     }
  }]
}

Para enviar a solicitação, escolha uma destas opções:

curl

Salve o corpo da solicitação em um arquivo chamado request.json. Execute o comando a seguir no terminal para criar ou substituir esse arquivo no diretório atual: 

cat > request.json << 'EOF'
{
  'streamConfigs': [{
     'bigqueryDestination': {
      'tableUri': 'bq://PROJECT_ID.BIGQUERY_DATASET_ID.BIGQUERY_TABLE_ID'
     }
  }]
}
EOF

Depois execute o comando a seguir para enviar a solicitação REST: 

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID?updateMask=streamConfigs"

PowerShell

Salve o corpo da solicitação em um arquivo chamado request.json. Execute o comando a seguir no terminal para criar ou substituir esse arquivo no diretório atual: 

@'
{
  'streamConfigs': [{
     'bigqueryDestination': {
      'tableUri': 'bq://PROJECT_ID.BIGQUERY_DATASET_ID.BIGQUERY_TABLE_ID'
     }
  }]
}
'@  | Out-File -FilePath request.json -Encoding utf8

Depois execute o comando a seguir para enviar a solicitação REST: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID?updateMask=streamConfigs" | Select-Object -Expand Content

APIs Explorer

Copie o corpo da solicitação e abra a página de referência do método. O painel "APIs Explorer" é aberto no lado direito da página. Interaja com essa ferramenta para enviar solicitações. Cole o corpo da solicitação nessa ferramenta, preencha todos os outros campos obrigatórios e clique em Executar.

Você receberá uma resposta JSON semelhante a esta:

Metadados de exclusão

Nas versões anteriores da API Cloud Healthcare, os metadados de instância DICOM só eram exportados para o BigQuery quando uma instância DICOM era inserida em um armazenamento DICOM. Quando a gravação de metadados para exclusões foi adicionada, duas novas colunas, Type e LastUpdated, foram adicionadas à tabela gerada que contém os metadados DICOM.

Todos os metadados na tabela que existiam antes da introdução dos metadados de exclusão têm um valor NULL para essas colunas. Um NULL é o valor mais baixo e aparece por último quando a classificação é em ordem decrescente.

Visualização gerada do BigQuery

Quando você insere ou exclui uma instância DICOM em um armazenamento DICOM, a tabela do BigQuery configurada é atualizada.

Se uma visualização da tabela não existir, ela será criada. Caso contrário, a visualização será atualizada.

Limitações e comportamento adicional

Algumas tags DICOM podem estar faltando nos metadados exportados. Nesse caso, as tags ausentes são adicionadas a uma coluna separada chamada DroppedTags.TagName na tabela de destino do BigQuery.

As tags vão estar ausentes por um dos seguintes motivos:

  • A tag DICOM é uma RV sem suporte listada em RVs excluídas.
  • A tag DICOM excede aproximadamente 1 MB.
  • O número de colunas na tabela de destino do BigQuery excede o número máximo de colunas. Quando a exportação de metadados DICOM para uma tabela do BigQuery excede o limite de colunas, as tags DICOM que não correspondem a uma coluna existente são adicionadas à coluna DroppedTags.Name. Se a coluna DroppedTags não puder ser adicionada, as tags DICOM serão descartadas sem uma notificação e um registro de aviso será gerado. Para mais informações, consulte Solução de problemas de solicitações de streaming DICOM para visualizar registros.

Incorporar metadados de exclusão a uma tabela

O comportamento da visualização gerada depende se a tabela base dela contém metadados adicionados antes do recurso de metadados de exclusão ser introduzido.

Suponha que uma tabela do BigQuery contenha metadados DICOM de antes da inclusão de metadados de exclusão e que o seguinte ocorra:

  1. Você insere uma instância DICOM em um armazenamento DICOM.
  2. Exclua a instância DICOM do armazenamento DICOM.
  3. Você edita as tags da instância DICOM original e insere a instância modificada no armazenamento DICOM.

Como a tabela do BigQuery continha os metadados originais antes da ativação do suporte a metadados de exclusão, a instância DICOM original e a versão editada têm os mesmos identificadores únicos de estudos, séries e instâncias (UID). A visualização gerada pode conter a instância DICOM original ou a mais recente. Sem a coluna LastUpdated, a visualização não consegue identificar qual instância DICOM é mais recente.

Para garantir que você está consultando os metadados de instância DICOM mais recentes, faça um dos seguintes:

  • Consulte a tabela base em vez da visualização. Verifique se a consulta procura as tags atualizadas na instância DICOM editada.

  • Exclua a tabela atual que contém metadados DICOM e a recrie exportando os metadados DICOM para o BigQuery manualmente. A tabela recriada contém a coluna LastUpdated.

    Essa opção remove os metadados de streaming históricos, mas garante que a tabela tenha a coluna LastUpdated com valores válidos.

Resolver problemas de solicitações de streaming de DICOM

Se ocorrerem erros durante uma solicitação de exportação do DICOM para o BigQuery, eles serão registrados no Cloud Logging. Para mais informações, consulte Como visualizar registros de erros no Cloud Logging.

Para filtrar os registros de erro de metadados DICOM de streaming no console do Google Cloud, siga estas etapas:

  1. Acesse a página Análise de registros.

    Acessar o "Explorador de registros"

  2. No campo Consulta, digite a seguinte consulta:

    logName="healthcare.googleapis.com%2Fdicom_stream"

  3. Clique em Executar consulta.

    Todos os registros de erros são exibidos na seção Resultados da consulta.