Transcreva ficheiros de áudio com a função ML.TRANSCRIBE

Este documento descreve como usar a função ML.TRANSCRIBE com um modelo remoto para transcrever ficheiros de áudio de uma tabela de objetos.

Localizações suportadas

Tem de criar o modelo remoto usado neste procedimento numa das seguintes localizações:

• asia-northeast1
• asia-south1
• asia-southeast1
• australia-southeast1
• eu
• europe-west1
• europe-west2
• europe-west3
• europe-west4
• northamerica-northeast1
• us
• us-central1
• us-east1
• us-east4
• us-west1

Tem de executar a função ML.TRANSCRIBE na mesma região que o modelo remoto.

Funções necessárias

Para criar um modelo remoto e transcrever ficheiros de áudio, precisa das seguintes funções de gestão de identidade e acesso (IAM) ao nível do projeto:

• Crie um reconhecedor de voz: Cloud Speech Editor (roles/speech.editor)
• Criar e usar conjuntos de dados, tabelas e modelos do BigQuery: Editor de dados do BigQuery (roles/bigquery.dataEditor)

• Criar, delegar e usar ligações do BigQuery: Administrador de ligações do BigQuery (roles/bigquery.connectionsAdmin)

  Se não tiver uma associação predefinida configurada, pode criar e definir uma como parte da execução da declaração CREATE MODEL. Para tal, tem de ter a função de administrador do BigQuery (roles/bigquery.admin) no seu projeto. Para mais informações, consulte o artigo Configure a ligação predefinida.

• Conceda autorizações à conta de serviço da associação: administrador de IAM do projeto (roles/resourcemanager.projectIamAdmin)

• Criar tarefas do BigQuery: utilizador de tarefas do BigQuery (roles/bigquery.jobUser)

Estas funções predefinidas contêm as autorizações necessárias para realizar as tarefas descritas neste documento. Para ver as autorizações exatas necessárias, expanda a secção Autorizações necessárias:

Autorizações necessárias

• Crie um conjunto de dados: bigquery.datasets.create
• Crie, delegue e use uma associação: bigquery.connections.*
• Defina as autorizações da conta de serviço: resourcemanager.projects.getIamPolicy e resourcemanager.projects.setIamPolicy
• Crie um modelo e execute a inferência:
  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData
  • bigquery.models.updateMetadata
• Crie uma tabela de objetos: bigquery.tables.create e bigquery.tables.update
• Crie um reconhecedor de voz:
  • speech.recognizers.create
  • speech.recognizers.get
  • speech.recognizers.recognize
  • speech.recognizers.update

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery, BigQuery Connection API, and Speech-to-Text APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery, BigQuery Connection API, and Speech-to-Text APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Crie um reconhecedor

A conversão de voz em texto suporta recursos denominados reconhecedores. Os reconhecedores representam configurações de reconhecimento armazenadas e reutilizáveis. Pode criar um reconhecedor para agrupar logicamente transcrições ou tráfego para a sua aplicação.

A criação de um sistema de reconhecimento de voz é opcional. Se optar por criar um reconhecedor de voz, tome nota do ID do projeto, da localização e do ID do reconhecedor para utilização na declaração CREATE MODEL, conforme descrito em SPEECH_RECOGNIZER. Se optar por não criar um reconhecedor de voz, tem de especificar um valor para o argumento recognition_config da função ML.TRANSCRIBE.

Só pode usar o chirp modelo de transcrição no reconhecedor de voz ou no valor recognition_config que fornecer.

Crie um conjunto de dados

Crie um conjunto de dados do BigQuery para conter os seus recursos:

Consola

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda à página do BigQuery

2. No painel Explorador, clique no nome do projeto.

3. Clique em Ver ações > Criar conjunto de dados.

4. Na página Criar conjunto de dados, faça o seguinte:

   • Para ID do conjunto de dados, escreva um nome para o conjunto de dados.

   • Para Tipo de localização, selecione uma localização para o conjunto de dados.

   • Clique em Criar conjunto de dados.

bq

1. Para criar um novo conjunto de dados, use o comando bq mk com a flag --location:

   bq --location=LOCATION mk -d DATASET_ID

   Substitua o seguinte:

   • LOCATION: a localização do conjunto de dados.
   • DATASET_ID é o ID do conjunto de dados que está a criar.

2. Confirme que o conjunto de dados foi criado:

   bq ls

Crie uma associação

Pode ignorar este passo se tiver uma associação predefinida configurada ou tiver a função de administrador do BigQuery.

Crie uma ligação de recursos da nuvem para o modelo remoto usar e obtenha a conta de serviço da ligação. Crie a associação na mesma localização que o conjunto de dados que criou no passo anterior.

Selecione uma das seguintes opções:

Consola

1. Aceda à página do BigQuery.

   Aceda ao BigQuery

2. No painel Explorador, clique em Adicionar dados:

   

   É apresentada a caixa de diálogo Adicionar dados.

3. No painel Filtrar por, na secção Tipo de origem de dados, selecione Aplicações empresariais.

   Em alternativa, no campo Pesquisar origens de dados, pode introduzir Vertex AI.

4. Na secção Origens de dados em destaque, clique em Vertex AI.

5. Clique no cartão da solução Modelos da Vertex AI: federação do BigQuery.

6. Na lista Tipo de ligação, selecione Modelos remotos, funções remotas e BigLake (recurso da nuvem) da Vertex AI.

7. No campo ID da associação, introduza um nome para a associação.

8. Clique em Criar associação.

9. Clique em Aceder à associação.

10. No painel Informações de associação, copie o ID da conta de serviço para utilização num passo posterior.

bq

1. Num ambiente de linha de comandos, crie uma associação:

   bq mk --connection --location=REGION --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE CONNECTION_ID

   O parâmetro --project_id substitui o projeto predefinido.

   Substitua o seguinte:

   • REGION: a sua região de ligação
   • PROJECT_ID: o ID do seu Google Cloud projeto
   • CONNECTION_ID: um ID para a sua ligação

   Quando cria um recurso de ligação, o BigQuery cria uma conta de serviço do sistema única e associa-a à ligação.

   Resolução de problemas: se receber o seguinte erro de ligação, atualize o SDK do Google Cloud:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Obtenha e copie o ID da conta de serviço para utilização num passo posterior:

   bq show --connection PROJECT_ID.REGION.CONNECTION_ID

   O resultado é semelhante ao seguinte:

   name                          properties
   1234.REGION.CONNECTION_ID     {"serviceAccountId": "[e-mail]"}
   

Terraform

Use o recurso google_bigquery_connection.

Nota: para criar objetos do BigQuery com o Terraform, tem de ativar a API Cloud Resource Manager.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para bibliotecas de cliente.

O exemplo seguinte cria uma associação de recursos da nuvem com o nome my_cloud_resource_connection na região US:

# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

Para aplicar a configuração do Terraform num Google Cloud projeto, conclua os passos nas secções seguintes.

Prepare o Cloud Shell

1. Inicie o Cloud Shell.

2. Defina o Google Cloud projeto predefinido onde quer aplicar as suas configurações do Terraform.

   Só tem de executar este comando uma vez por projeto e pode executá-lo em qualquer diretório.

   export GOOGLE_CLOUD_PROJECT=PROJECT_ID

   As variáveis de ambiente são substituídas se definir valores explícitos no ficheiro de configuração do Terraform.

Prepare o diretório

Cada ficheiro de configuração do Terraform tem de ter o seu próprio diretório (também denominado módulo raiz).

1. No Cloud Shell, crie um diretório e um novo ficheiro nesse diretório. O nome do ficheiro tem de ter a extensão .tf, por exemplo, main.tf. Neste tutorial, o ficheiro é denominado main.tf.

   mkdir DIRECTORY && cd DIRECTORY && touch main.tf

2. Se estiver a seguir um tutorial, pode copiar o código de exemplo em cada secção ou passo.

   Copie o exemplo de código para o ficheiro main.tf criado recentemente.

   Opcionalmente, copie o código do GitHub. Isto é recomendado quando o fragmento do Terraform faz parte de uma solução completa.

3. Reveja e modifique os parâmetros de exemplo para aplicar ao seu ambiente.
4. Guarde as alterações.
5. Inicialize o Terraform. Só tem de fazer isto uma vez por diretório.

   terraform init

   Opcionalmente, para usar a versão mais recente do fornecedor Google, inclua a opção -upgrade:

   terraform init -upgrade

Aplique as alterações

1. Reveja a configuração e verifique se os recursos que o Terraform vai criar ou atualizar correspondem às suas expetativas:

   terraform plan

   Faça as correções necessárias à configuração.

2. Aplique a configuração do Terraform executando o seguinte comando e introduzindo yes no comando:

   terraform apply

   Aguarde até que o Terraform apresente a mensagem "Apply complete!" (Aplicação concluída!).

3. Abra o seu Google Cloud projeto para ver os resultados. Na Google Cloud consola, navegue para os seus recursos na IU para se certificar de que o Terraform os criou ou atualizou.

Nota: os exemplos do Terraform partem geralmente do princípio de que as APIs necessárias estão ativadas no seu Google Cloud projeto.

Conceda acesso à conta de serviço

Selecione uma das seguintes opções:

Consola

1. Aceda à página IAM e administrador.

   Aceda a IAM e administração

2. Clique em Conceder acesso.

   É apresentada a caixa de diálogo Adicionar responsáveis.

3. No campo Novos membros, introduza o ID da conta de serviço que copiou anteriormente.

4. Clique no campo Selecionar uma função e, de seguida, escreva Cloud Speech Client em Filtrar.

5. Clique em Adicionar outra função.

6. No campo Selecionar uma função, selecione Cloud Storage e, de seguida, selecione Visualizador de objetos de armazenamento.

7. Clique em Guardar.

gcloud

Use o comando gcloud projects add-iam-policy-binding:

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/speech.client' --condition=None
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/storage.objectViewer' --condition=None

Substitua o seguinte:

• PROJECT_NUMBER: o número do seu projeto.
• MEMBER: o ID da conta de serviço que copiou anteriormente.

Se não conceder a autorização, recebe um erro Permission denied.

Nota: se criar o reconhecedor num projeto diferente do contentor do Cloud Storage usado pela tabela de objetos, conceda as funções de gestão de identidade e de acesso (IAM) à conta de serviço da seguinte forma:

• Conceda à conta de serviço a função de cliente do Cloud Speech no projeto que contém o reconhecedor.
• Conceda à conta de serviço a função de leitor de objetos de armazenamento no projeto que contém o contentor do Cloud Storage.
• Conceda ao agente do serviço Speech-to-Text ([e-mail]) a função de leitor de objetos do Storage no projeto que contém o contentor do Cloud Storage.

Crie uma tabela de objetos

Crie uma tabela de objetos sobre um conjunto de ficheiros de áudio no Cloud Storage. Os ficheiros de áudio na tabela de objetos têm de ser de um tipo suportado.

O contentor do Cloud Storage usado pela tabela de objetos deve estar no mesmo projeto onde planeia criar o modelo e chamar a função ML.TRANSCRIBE. Se quiser chamar a função ML.TRANSCRIBE num projeto diferente do que contém o contentor do Cloud Storage usado pela tabela de objetos, tem de conceder a função de administrador de armazenamento ao nível do contentor à conta de serviço [e-mail].

Criar um modelo

Crie um modelo remoto com um REMOTE_SERVICE_TYPE de CLOUD_AI_SPEECH_TO_TEXT_V2:

CREATE OR REPLACE MODEL
`PROJECT_ID.DATASET_ID.MODEL_NAME`
REMOTE WITH CONNECTION {DEFAULT | `PROJECT_ID.REGION.CONNECTION_ID`}
OPTIONS (
  REMOTE_SERVICE_TYPE = 'CLOUD_AI_SPEECH_TO_TEXT_V2',
  SPEECH_RECOGNIZER = 'projects/PROJECT_NUMBER/locations/LOCATION/recognizers/RECOGNIZER_ID'
);

Substitua o seguinte:

• PROJECT_ID: o ID do seu projeto.
• DATASET_ID: o ID do conjunto de dados que vai conter o modelo.
• MODEL_NAME: o nome do modelo.
• REGION: a região usada pela ligação.
• CONNECTION_ID: o ID da associação, por exemplo, myconnection.

  Quando vê os detalhes da associação na Google Cloud consola, o ID da associação é o valor na última secção do ID da associação totalmente qualificado que é apresentado em ID da associação, por exemplo, projects/myproject/locations/connection_location/connections/myconnection.

• PROJECT_NUMBER: o número do projeto que contém o reconhecedor de voz. Pode encontrar este valor no cartão Informações do projeto na página Painel de controlo da Google Cloud consola.
• LOCATION: a localização usada pelo reconhecedor de voz. Pode encontrar este valor no campo Localização na página Listar reconhecedores da Google Cloud consola.
• RECOGNIZER_ID: o ID do reconhecedor de voz. Pode encontrar este valor no campo ID na página List recognizers da Google Cloud consola.

  Esta opção não é obrigatória. Se não especificar um valor para o mesmo, é usado um reconhecedor predefinido. Nesse caso, tem de especificar um valor para o parâmetro recognition_config da função ML.TRANSCRIBE para fornecer uma configuração para o reconhecedor predefinido.

  Só pode usar o chirp modelo de transcrição no valor recognition_config que fornecer.

Importante: tem de especificar o ID do projeto para a associação, mesmo que a associação esteja no projeto predefinido.

Transcreva ficheiros de áudio

Transcreva ficheiros de áudio com a função ML.TRANSCRIBE:

SELECT *
FROM ML.TRANSCRIBE(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  TABLE `PROJECT_ID.DATASET_ID.OBJECT_TABLE_NAME`,
  RECOGNITION_CONFIG => ( JSON 'recognition_config')
);

Substitua o seguinte:

• PROJECT_ID: o ID do seu projeto.
• DATASET_ID: o ID do conjunto de dados que contém o modelo.
• MODEL_NAME: o nome do modelo.
• OBJECT_TABLE_NAME: o nome da tabela de objetos que contém os URIs dos ficheiros de áudio a processar.
• recognition_config: um RecognitionConfig recurso no formato JSON.

  Se tiver sido especificado um reconhecedor para o modelo remoto através da opção SPEECH_RECOGNIZER, não pode especificar um valor recognition_config.

  Se não tiver sido especificado nenhum reconhecedor para o modelo remoto através da opção SPEECH_RECOGNIZER, tem de especificar um valor recognition_config. Este valor é usado para fornecer uma configuração para o reconhecedor predefinido.

  Só pode usar o chirp modelo de transcrição no valor recognition_config que fornecer.

Exemplos

Exemplo 1

O exemplo seguinte transcreve os ficheiros de áudio representados pela tabela audio sem substituir a configuração predefinida do reconhecedor:

SELECT *
FROM ML.TRANSCRIBE(
  MODEL `myproject.mydataset.transcribe_model`,
  TABLE `myproject.mydataset.audio`
);

O exemplo seguinte transcreve os ficheiros de áudio representados pela tabela audio e fornece uma configuração para o reconhecedor predefinido:

SELECT *
FROM ML.TRANSCRIBE(
  MODEL `myproject.mydataset.transcribe_model`,
  TABLE `myproject.mydataset.audio`,
  recognition_config => ( JSON '{"language_codes": ["en-US" ],"model": "chirp","auto_decoding_config": {}}')
);

O que se segue?

• Para mais informações sobre a inferência de modelos no BigQuery ML, consulte a Vista geral da inferência de modelos.
• Para mais informações sobre a utilização das APIs de IA da nuvem para realizar tarefas de IA, consulte a vista geral da aplicação de IA.
• Para mais informações sobre as declarações e as funções SQL suportadas para modelos de IA generativa, consulte o artigo Percursos do utilizador completos para modelos de IA generativa.