Integração com o TikTok

Esta página descreve as configurações necessárias para trazer dados do TikTok como uma fonte de dados da carga de trabalho de marketing do Cortex Framework Data Foundation.

O TikTok é um app de mídia social conhecido por vídeos curtos que o Cortex Framework pode usar para coletar dados e analisar o desempenho geral do marketing. Ao combinar dados do TikTok e de várias outras fontes, você pode entender melhor seu público-alvo e a eficácia das suas campanhas nas redes sociais em diferentes plataformas.

O diagrama a seguir descreve como os dados do TikTok estão disponíveis na carga de trabalho de marketing do Cortex Framework Data Foundation:

Fonte de dados do TikTok

Figura 1. Fonte de dados do TikTok.

Arquivo de configuração

O arquivo config.json configura as configurações necessárias para se conectar a fontes de dados para transferir dados de várias cargas de trabalho. Esse arquivo contém os seguintes parâmetros para o TikTok:

   "marketing": {
        "deployTikTok": true,
        },
        "TikTok": {
            "deployCDC": true,
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_TikTok"
            }
        }

A tabela a seguir descreve o valor de cada parâmetro de marketing:

Parâmetro Significado Valor padrão Descrição
marketing.deployTikTok Implantar o TikTok true Execute a implantação para a origem de dados do TikTok.
marketing.TikTok.deployCDC Implantar scripts de CDC para o TikTok true Gerar scripts de processamento do CDC do TikTok para serem executados como DAGs no Cloud Composer.
marketing.TikTok.datasets.cdc Conjunto de dados do CDC para o TikTok Conjunto de dados do CDC para o TikTok.
marketing.TikTok.datasets.raw Conjunto de dados brutos para o TikTok Conjunto de dados brutos para o TikTok.
marketing.TikTok.datasets.reporting Conjunto de dados de relatórios para o TikTok "REPORTING_TikTok" Conjunto de dados de relatórios para o TikTok.

Modelo de dados

Esta seção descreve o modelo de dados do TikTok usando o diagrama de relacionamento de entidades (ERD, na sigla em inglês).

Diagrama de relacionamento de entidades do TikTok

Figura 2. TikTok: diagrama de relacionamento de entidades.

Visualizações básicas

Esses são os objetos azuis no ERD e são visualizações em tabelas de CDC sem transformações, exceto alguns aliases de nome de coluna. Consulte os scripts em src/marketing/src/TikTok/src/reporting/ddls.

Visualizações de relatórios

Esses são os objetos verdes no ERD e são visualizações de relatórios que contêm métricas agregadas. Consulte os scripts em src/marketing/src/TikTok/src/reporting/ddls.

Conexão de API

O Cortex Framework usa as APIs TikTok Reporting, versão v1.3, como a fonte oficial dos dados do TikTok. O Cortex Framework usa o modo síncrono e chama as APIs Basic Reporting para extrair métricas de performance de anúncios e grupos de anúncios. Isso garante que o Cortex Framework tenha acesso a informações atualizadas e precisas do TikTok, permitindo a análise de dados e a geração de relatórios eficazes.

Para mais informações sobre a conexão da API, consulte APIs de relatórios do TikTok.

Autenticação da conta

Para configurar uma conta e a autenticação dela no TikTok, siga estas etapas:

  1. Configure uma conta de desenvolvedor do TikTok, se ainda não tiver uma.
  2. Crie um app para integração com o Cortex Framework. Consulte a API TikTok for Business para mais informações. Selecione os dois seguintes escopos para o app:
    • Ad Account Management/Ad Account Information
    • Reporting/All
  3. Receba o ID do app, o secret e o token de acesso de longo prazo, conforme descrito no guia do TikTok, e armazene-os respectivamente no Secret Manager com os seguintes nomes:
    • ID do app: cortex_tiktok_app_id
    • Secret: cortex_tiktok_app_secret
    • Token de acesso de longa duração: cortex_tiktok_access_token

Atualização e atraso de dados

Como regra geral, a atualidade dos dados para fontes de dados do Cortex Framework é limitada pelo que a conexão upstream permite, bem como pela frequência da execução da DAG. Ajuste a frequência de execução do DAG para alinhá-la à frequência upstream, às restrições de recursos e às necessidades da sua empresa.

Com a API TikTok Marketing, a maioria dos dados (exceto conversões) fica disponível quase em tempo real.

Conexões do Cloud Composer

Crie as seguintes conexões no Cloud Composer. Para mais detalhes, consulte a documentação sobre como gerenciar conexões do Airflow.

Nome da conexão Purpose
tiktok_raw_dataflow Para a API TikTok > BigQuery Conjunto de dados bruto
tiktok_cdc_bq Para o conjunto de dados brutos > Transferência de conjunto de dados da CDC
tiktok_reporting_bq Para o conjunto de dados do CDC > Transferência de conjunto de dados de relatórios

Permissões da conta de serviço do Cloud Composer

Conceda permissões do Dataflow à conta de serviço usada no Cloud Composer (conforme configurado na conexão tiktok_raw_dataflow). Consulte as instruções na documentação do Dataflow.

Além disso, a mesma conta de serviço precisa ter acesso de Acessador do Secret Manager.

Configurações de transferência

Controle os pipelines de dados Source to Raw e Raw to CDC pelas configurações no arquivo src/TikTok/config/ingestion_settings.yaml. Esta seção descreve os parâmetros de cada pipeline de dados.

Origem para tabelas brutas

Esta seção tem entradas que controlam como os dados do TikTok são buscados e onde eles acabam no conjunto de dados brutos. Cada entrada corresponde a uma tabela bruta com dados buscados da API do TikTok para essa entidade. Com base nesses parâmetros de configuração, o Cortex Framework cria DAGs do Airflow que executam pipelines do Dataflow para processar dados das APIs do TikTok.

Os parâmetros a seguir controlam as configurações de Source to Raw para cada entrada:

Parâmetro Descrição
base_table Tabela no conjunto de dados brutos em que os dados de uma entidade são armazenados(por exemplo, dados de "Anúncio").
load_frequency Com que frequência um DAG é executado para que essa entidade processe dados. Consulte a documentação do Airflow (em inglês) para saber mais sobre os valores possíveis.
schema_file Arquivo de esquema no diretório src/table_schema que mapeia os campos de resposta da API para os nomes das colunas da tabela de destino.
partition_details Opcional:se você quiser que essa tabela seja particionada por motivos de performance. Para mais informações, consulte Particionamento de tabelas.
cluster_details Opcional:se você quiser agrupar essa tabela para considerar a performance. Para mais informações, consulte Configurações do cluster.

De bruto para tabelas de CDC

Esta seção tem entradas que controlam como os dados são movidos de tabelas brutas para tabelas CDC. Cada entrada corresponde a uma tabela CDC, que por sua vez corresponde a uma entidade mencionada para o Source to Raw table.

Os parâmetros a seguir controlam as configurações de Raw to CDC para cada entrada:

Parâmetro Descrição
base_table Tabela no conjunto de dados de CDC em que os dados brutos são armazenados após a transformação de CDC (por exemplo,auction_ad_performance).
load_frequency Com que frequência um DAG para essa entidade é executado para preencher a tabela CDC. Para mais informações, consulte a documentação do Airflow para saber mais sobre os valores possíveis.
row_identifiers Lista de colunas (separadas por vírgulas) que formam um registro exclusivo para essa tabela.
partition_details Opcional:se você quiser que essa tabela seja particionada por motivos de performance. Para mais informações, consulte Particionamento de tabelas.
cluster_details Opcional:se você quiser que essa tabela seja agrupada para fins de performance. Para mais informações, consulte Configurações do cluster.

Configurações de relatórios

Configure e controle como o Cortex Framework gera dados para a camada de relatórios final do TikTok usando o arquivo de configurações de relatóriossrc/TikTok/config/reporting_settings.yaml. Esse arquivo controla como os objetos do BigQuery da camada de relatórios (tabelas, visualizações, funções ou procedimentos armazenados) são gerados.

Para mais informações, consulte Como personalizar o arquivo de configurações de relatórios.

A seguir