O que é o Pub/Sub?

O Pub/Sub é um serviço de mensagens assíncrono e escalonável que separa os serviços que produzem mensagens dos serviços que processam essas mensagens.

Com o Pub/Sub, os serviços se comunicam de maneira assíncrona, com latências normalmente na ordem de 100 milissegundos.

O Pub/Sub é usado para análises de streaming e pipelines de integração de dados para carregar e distribuir dados. Ele é igualmente eficaz como um middleware orientado a mensagens para integração de serviços ou como uma fila para carregar tarefas em paralelo.

O Pub/Sub permite criar sistemas de produtores e consumidores de eventos, chamados de editores e assinantes. Os editores se comunicam com os assinantes de forma assíncrona transmitindo eventos, em vez de realizar chamadas de procedimento remoto (RPCs) síncronas.

Os editores enviam eventos ao serviço do Pub/Sub sem considerar como ou quando eles vão ser processados. Depois, o Pub/Sub entrega eventos para todos os serviços que precisam responder a eles. Nos sistemas que se comunicam por RPCs, os publicadores precisam esperar que os assinantes recebam os dados. No entanto, a integração assíncrona no Pub/Sub aumenta a flexibilidade e a robustez do sistema como um todo.

Para começar a usar o Pub/Sub, confira o Guia de início rápido sobre como usar o console do Google Cloud. Para ver uma introdução mais completa, consulte Como criar um sistema de mensagens do Pub/Sub.

Casos de uso comuns

  • Ingestão de eventos do servidor e interação do usuário. Para usar eventos de interação do usuário provenientes de apps do usuário final ou eventos do servidor do seu sistema, encaminhe-os para o Pub/Sub. Em seguida, use uma ferramenta de processamento de stream, como o Dataflow, que envia os eventos para bancos de dados. Exemplos desses bancos de dados são o BigQuery, o Bigtable e o Cloud Storage. O Pub/Sub permite coletar eventos de muitos clientes simultaneamente.
  • Distribuição de eventos em tempo real. Eventos brutos ou processados podem ser disponibilizados para vários aplicativos em toda a sua equipe e organização para processamento em tempo real. O Pub/Sub oferece suporte a um "barramento de eventos empresarial" e padrões de design de aplicativos orientados a eventos. O Pub/Sub permite a integração com muitos sistemas que exportam eventos para ele.
  • Replicação de dados entre bancos de dados. O Pub/Sub é muito usado para distribuir eventos de alteração de bancos de dados. Esses eventos podem ser usados para criar uma visualização do estado do banco de dados e do histórico de estados no BigQuery e em outros sistemas de armazenamento de dados.
  • Processamento e fluxos de trabalho paralelos. É possível distribuir várias tarefas entre vários workers de maneira eficiente usando mensagens do Pub/Sub para se comunicar com eles. Exemplos dessas tarefas são compactar arquivos de texto, enviar notificações por e-mail, avaliar modelos de IA e reformatar imagens.
  • Barramento de eventos empresariais. Crie um barramento de compartilhamento de dados em tempo real para toda a empresa. Com ele, você distribui eventos empresariais e de análise e atualizações de bancos de dados por toda a organização.
  • Streaming de dados de aplicativos, serviços ou dispositivos IoT. Por exemplo, um aplicativo SaaS pode publicar um feed de eventos em tempo real. Ou um sensor residencial pode transmitir dados para o Pub/Sub para uso em outros produtos do Google Cloud por meio de um pipeline de processamento de dados.
  • Atualizar caches distribuídos. Por exemplo, um aplicativo pode publicar eventos de invalidação para atualizar os IDs dos objetos que foram alterados.
  • Balanceamento de carga para aumentar a confiabilidade. Por exemplo, é possível implantar as instâncias de um serviço no Compute Engine em várias zonas, mas assinar um tópico em comum. Quando o serviço falha em uma zona, as outras assumem a carga automaticamente.

Comparação entre o Pub/Sub e outras tecnologias de mensagens

O Pub/Sub combina a escalonabilidade horizontal do Apache Kafka e do Pulsar com recursos encontrados em middlewares de mensagens, como o Apache ActiveMQ e o RabbitMQ. Exemplos desses recursos são filas de mensagens inativas e filtragem.

Outro recurso de middleware de mensagens incluído no Pub/Sub é o paralelismo por mensagem, em vez de mensagens baseadas em partição. O Pub/Sub "concede" mensagens individuais aos clientes do assinante e acompanha se alguma delas foi processada com sucesso.

Em comparação, outros sistemas de mensagens usam partições na escalonabilidade horizontal. Isso obriga os assinantes a processar mensagens em cada partição na ordem e limita o número de clientes simultâneos à quantidade de partições. O processamento por mensagem maximiza o paralelismo dos aplicativos do assinante e garante a independência do editor e do assinante.

Comparar a comunicação entre serviços e entre serviços e clientes

O Pub/Sub é voltado para a comunicação entre serviços, e não para a comunicação com clientes de IoT ou usuários finais. Outros produtos oferecem um suporte melhor aos demais padrões:

É possível combinar esses serviços para criar padrões "cliente -> serviços -> banco de dados". Por exemplo, consulte o tutorial Como fazer streaming de mensagens do Pub/Sub para WebSockets.

Integrações

O Pub/Sub oferece muitas integrações com outros produtos do Google Cloud para você criar um sistema de mensagens completo:

  • Processamento de stream e integração de dados. Compatível com o Dataflow, incluindo os modelos e o SQL do Dataflow. Eles permitem o processamento e a integração de dados no BigQuery e data lakes no Cloud Storage. Os modelos do Dataflow para mover dados do Pub/Sub para o Cloud Storage, BigQuery e outros produtos estão disponíveis nas IUs do Pub/Sub e do Dataflow no console do Google Cloud. A integração com o Apache Spark, principalmente quando gerenciada com o Dataproc, também está disponível. Com o Data Fusion, você visualiza os pipelines de integração e processamento executados no Spark e Dataproc.
  • Monitoramento, alertas e geração de registros. Compatível com os produtos Monitoring e Logging.
  • Autenticação e IAM. O Pub/Sub usa a autenticação OAuth padrão usada por outros produtos do Google Cloud e oferece suporte ao IAM granular, o que possibilita o controle de acesso de recursos individuais.
  • APIs. O Pub/Sub usa tecnologias padrão da API REST e gRPC com bibliotecas de cliente em várias linguagens.
  • Gatilhos, notificações e webhooks. O Pub/Sub oferece entrega de mensagens por push como solicitações HTTP POST para webhooks. É possível implementar a automação do fluxo de trabalho usando o Cloud Functions ou outros produtos sem servidor.
  • Orquestração. O Pub/Sub pode ser integrado de maneira declarativa a fluxos de trabalho sem servidor de várias etapas. A orquestração analítica e de big data geralmente são feitas com o Cloud Composer, que é compatível com os gatilhos do Pub/Sub. Também é possível integrar o Pub/Sub com a Integração de aplicativos (pré-lançamento), que é uma solução de integração de plataforma como serviço (iPaaS). Application Integration fornece um gatilho do Pub/Sub para acionar ou iniciar integrações.
  • Conectores de integração(pré-lançamento). Esses conectores permitem que você se conecte a várias fontes de dados. Com os conectores, os serviços do Google Cloud e os aplicativos comerciais de terceiros são expostos às integrações por uma interface padrão e transparente. No Pub/Sub, você pode criar uma conexão para usar nas integrações.

Próximas etapas