Lightning Engine para Apache Spark
Acelere a performance dos jobs do Apache Spark em 4,3x*
Tenha um desempenho de consulta mais rápido com o Lightning Engine, um novo mecanismo de processamento do Spark com execução vetorizada, armazenamento em cache inteligente integrado e E/S de armazenamento otimizada. O Lightning Engine está agora em pré-lançamento.
*As consultas são derivadas do padrão TPC-DS e do padrão TPC-H e, portanto, não podem ser comparadas aos resultados publicados do padrão TPC-DS e do padrão TPC-H, porque essas execuções não atendem a todos os requisitos da especificação do padrão TPC-DS e do padrão TPC-H.
Apache Spark é uma marca registrada da Apache Software Foundation.
Recursos
Melhoria no desempenho do Spark
O Lightning Engine usa um novo mecanismo de processamento do Apache Spark com execução vetorial, armazenamento em cache inteligente integrado e E/S otimizada para oferecer um desempenho de consulta muito mais rápido. O Lightning Engine é totalmente compatível com aplicativos Spark de código aberto.
Custo-benefício líder do setor
Oferece desempenho superior e eficiência de custo, permitindo que os usuários processem mais dados por menos. O Lightning Engine oferece um desempenho 4,3x* melhor em comparação com o Apache Spark de código aberto, além de integrações profundas com os serviços do Google Cloud, como o BigQuery e a Vertex AI. A otimização gerenciada reduz o ajuste manual de desempenho.
Interoperabilidade com o open lakehouse
O Lightning Engine está totalmente integrado ao Apache Iceberg e ao Google Cloud BigLake, oferecendo uma plataforma unificada de análise de dados e IA. Ele tem conectores de dados otimizados para o Cloud Storage e o BigQuery, melhorando significativamente a latência e a capacidade de processamento de dados.
Implantação flexível
O Lightning Engine está em versão prévia e vai estar disponível no nível premium do Google Cloud Serverless para Apache Spark, bem como em clusters gerenciados no Dataproc. Os dois serviços já oferecem suporte a GPUs para cargas de trabalho de machine learning aceleradas e as melhores ferramentas de monitoramento de jobs da categoria para eficiência operacional. Com o Spark sem servidor, que oferece suporte robusto a jobs de produção em escala por meio de configurações flexíveis do Spark e tratamento de registros de tamanhos grandes, você também alcança uma utilização de recursos próxima a 100%.
Como funciona
O Lightning Engine aumenta significativamente o desempenho do Spark no Google Cloud ao otimizar o acesso aos dados, implementar o armazenamento em cache inteligente e aproveitar um mecanismo de execução de C++ vetorializado, permitindo tempos de consulta muito mais rápidos e reduzindo o consumo de recursos em vários comparativos de mercado.
O Lightning Engine aumenta significativamente o desempenho do Spark no Google Cloud ao otimizar o acesso aos dados, implementar o armazenamento em cache inteligente e aproveitar um mecanismo de execução de C++ vetorializado, permitindo tempos de consulta muito mais rápidos e reduzindo o consumo de recursos em vários comparativos de mercado.
Usos comuns
Cargas de trabalho de ETL/ELT em grande escala
Aumente o desempenho das cargas de trabalho com transformações complexas de SQL
Aumente o desempenho das cargas de trabalho com transformações complexas de SQL
Cargas de trabalho de ETL/ELT em grande escala com consultas SQL complexas geralmente são limitadas pela CPU e envolvem shuffles e cálculos de dados pesados. O processamento em colunas e a execução vetorializada do Lightning Engine podem ajudar a reduzir drasticamente o tempo de processamento dessas operações complexas de SQL, resultando em pipelines de dados mais rápidos, redução de custos devido a ambientes de execução mais curtos e atualizações de dados mais frequentes.
Tutoriais, guias de início rápido e laboratórios
Aumente o desempenho das cargas de trabalho com transformações complexas de SQL
Aumente o desempenho das cargas de trabalho com transformações complexas de SQL
Cargas de trabalho de ETL/ELT em grande escala com consultas SQL complexas geralmente são limitadas pela CPU e envolvem shuffles e cálculos de dados pesados. O processamento em colunas e a execução vetorializada do Lightning Engine podem ajudar a reduzir drasticamente o tempo de processamento dessas operações complexas de SQL, resultando em pipelines de dados mais rápidos, redução de custos devido a ambientes de execução mais curtos e atualizações de dados mais frequentes.
Cargas de trabalho de IA/ML
Acelere as cargas de trabalho de IA/ML e ETL com suporte nativo a GPU
Acelere as cargas de trabalho de IA/ML e ETL com suporte nativo a GPU
Execute cargas de trabalho de treinamento de ML do Spark e inferência em lote sem configuração ou configuração adicional. A imagem do Spark vem pré-empacotada com drivers da NVIDIA e bibliotecas de ML conhecidas. Use o suporte integrado ao Spark Rapids, que se beneficia de todas as melhorias de desempenho do Lightning Engine, tem configurações padrão ideais para os jobs usarem melhor as GPUs e tem escalonamento automático rápido de nós.
Tutoriais, guias de início rápido e laboratórios
Acelere as cargas de trabalho de IA/ML e ETL com suporte nativo a GPU
Acelere as cargas de trabalho de IA/ML e ETL com suporte nativo a GPU
Execute cargas de trabalho de treinamento de ML do Spark e inferência em lote sem configuração ou configuração adicional. A imagem do Spark vem pré-empacotada com drivers da NVIDIA e bibliotecas de ML conhecidas. Use o suporte integrado ao Spark Rapids, que se beneficia de todas as melhorias de desempenho do Lightning Engine, tem configurações padrão ideais para os jobs usarem melhor as GPUs e tem escalonamento automático rápido de nós.
Preços
| Como funcionam os preços do Lightning Engine | O Lightning Engine para Apache Spark está em pré-lançamento, e os preços serão divulgados em breve | |
|---|---|---|
| Serviços e uso | Descrição | Preço (US$) |
Unidade de computação de dados (DCU) | Os detalhes da taxa do DCU serão disponibilizados em breve | Em breve |
Os preços do Lightning Engine (prévia) serão informados em breve.
Como funcionam os preços do Lightning Engine
O Lightning Engine para Apache Spark está em pré-lançamento, e os preços serão divulgados em breve
Unidade de computação de dados (DCU)
Os detalhes da taxa do DCU serão disponibilizados em breve
Em breve
Os preços do Lightning Engine (prévia) serão informados em breve.
