Cloud Dataflow

Eşit oranda güvenilirlik ve ifade gücü içeren, basitleştirilmiş akış ve toplu veri işleme

Ücretsiz Deneyin

Daha hızlı geliştirme, daha kolay yönetim

Cloud Dataflow, akış durumundaki (gerçek zamanlı) verileri dönüştürmek ve zenginleştirmek için tümüyle yönetilen bir hizmettir. Bu hizmet, toplu (geçmiş) modlarıyla eşit oranda güvenilirlik ve ifade gücü sunar. Artık karmaşık geçici çözümlerle uğraşmanız veya güvenilirlikten ödün vermeniz gerekmiyor. Kaynak sağlama ve yönetme işlemleri için sunduğu sunucusuz yaklaşım sayesinde, sadece kullandığınız kadar ödeme yaparak en büyük veri işleme güçlüklerinin üstesinden gelmek için neredeyse sınırsız kapasiteye sahip olursunuz.

Cloud Dataflow, aşağıdakiler dahil çeşitli sektörlerde dönüşüme dayalı kullanım senaryolarından yararlanmanızı sağlar:

  • Perakende sektöründe tıklama akışı, Satış Noktası ve segmentasyon analizi
  • Mali hizmetlerde sahtekarlık tespiti
  • Oyunlarda kişiselleştirilmiş kullanıcı deneyimi
  • Üretim, sağlık ve lojistik sektörlerinde IoT analizleri
faster-development-easier-management

Toplu işlem ve akış için geliştirmeyi hızlandırın

Cloud Dataflow, Apache Beam SDK'da anlamlı SQL, Java ve Python API'leri üzerinden hızlı, basit ardışık düzen geliştirmeyi destekler. Apache Beam SDK, kaynak ve havuz bağlayıcı ekosisteminin yanı sıra pencere ve oturum analizi temel elemanlarından oluşan zengin bir set sağlar. Ayrıca Beam'in benzersiz, birleştirilmiş geliştirme modeli sayesinde akış ve grup şeklindeki ardışık düzenlerde daha fazla kodu yeniden kullanabilirsiniz.

Dataflow SQL'in yakında duyurulacak alfa sürümü kullanılabilirliği hakkında bildirim almak için lütfen bu formu doldurun. Böylece, ürünün kullanıma sunulduğunu bilgilendirmek için sizinle iletişime geçebiliriz.

accelerate-development-with-no-compromises

Operasyonları ve yönetimi basitleştirme

GCP'nin sunucusuz yaklaşımı, operasyonel yükü ortadan kaldırarak performans, ölçeklendirme, kullanılabilirlik, güvenlik ve uyumluluk işlemlerinin otomatik olarak gerçekleştirilmesini sağlar. Böylece kullanıcılar sunucu kümelerini yönetmek yerine programlamaya odaklanabilir. GCP'nin birleşik günlük kaydı ve izleme çözümü olan Stackdriver entegrasyonu, çalışırken ardışık düzenlerinizi izlemenizi ve sorunlarını gidermenizi sağlar. Zengin görselleştirme, günlük kaydı ve gelişmiş uyarı işlevleri potansiyel sorunları belirlemenize ve bunlara tepki vermenize yardımcı olur.

simplify-operations-and-management

Makine öğrenimi için temel oluşturun

Cloud Dataflow'u, Google Cloud AI Platformu ve TensorFlow Extended (TFX) üzerinden sahtekarlık tespiti, gerçek zamanlı kişiselleştirme ve diğer kullanım örneklerine tahmin analizi olanağı kazandırmanızı sağlayacak entegrasyon noktası olarak kullanın. TFX, ML yaşam döngüsünün birçok işlevini yerine getirecek dağıtımlı bir veri işleme altyapısı olarak Cloud Dataflow ve Apache Beam'i kullanır.

build-on-a-foundation-for-machine-learning

Bildiğiniz ve sevdiğiniz araçları kullanın

Cloud Dataflow, akış olayları kullanımı (Cloud Pub/Sub), veri ambarı depolama (BigQuery), makine öğrenimi (Cloud AI Platformu) ve daha fazlası için GCP hizmetleriyle sorunsuz entegrasyon sunar. Beam tabanlı SDK, geliştiricilerin özel uzantılar oluşturmalarına ve hatta Apache Spark gibi alternatif yürütme motorları seçmelerine olanak tanır. Apache Kafka kullanıcıları, Cloud Dataflow bağlayıcısı ile GCP entegrasyonunu kolayca yapabilir.

use-your-favorite-and-familiar-tools

Cloud Dataflow ile Veri Dönüşümü

diagram-dataflow

CLOUD DATAFLOW ÖZELLİKLERİ

Otomatik Kaynak Yönetimi
Cloud Dataflow, gecikme süresini azaltmak ve kullanımı en üst düzeye çıkarmak için kaynak işleme süreçlerinin sağlanmasını ve yönetimini otomatik hale getirir. Artık örnekleri elle başlatmanıza veya ayırmanıza gerek yok.
Dinamik İş Dengeleme
Otomatik ve optimize edilmiş iş bölümlendirme, geciken sahip işleri dinamik olarak yeniden dengeler. “Kısayol tuşları” aramanıza veya giriş verilerini önceden işlemenize gerek kalmaz.
Güvenilir ve Tutarlı Tam Olarak Bir Kez İşleme
Veri boyutu, küme boyutu, işleme kalıbı veya ardışık düzenin karmaşıklık düzeyine bakılmaksızın tutarlı ve doğru, hatadan etkilenmeyen yürütme işlemleri için dahili destek sunar.
Yatay Otomatik Ölçeklendirme
Optimum işleme hızı için çalışan kaynaklarının yatay olarak otomatik ölçeklendirilmesi, genel fiyat-performans oranını artırır.
Birleştirilmiş Programlama Modeli
Apache Beam SDK, akış ve toplu tabanlı verilerde MapReduce benzeri işlemleri, güçlü veri aralığı ve hassas doğruluk kontrolünü ifade edebilmenizi sağlar.
Topluluk Tarafından Yönlendirilen Yenilikler
Dataflow programlama modelini genişletmek isteyen geliştiriciler, Apache Beam'de çekme istekleri gönderebilir ve/veya katkıda bulunabilir.
Toplu işlem için esnek kaynak planlama fiyatlandırması
Gece devam etmesi gereken işlerde olduğu gibi iş planlama süresinde esneklik ile işlem yapmak için esnek kaynak planlama imkanı, toplu işlem için daha düşük bir fiyat sunar. Bu esnek işler, altı saatlik süre içinde yürütmeye alınacakları garantisi ile bir kuyruğa yerleştirilir.

Cloud Dataflow ile Cloud Dataproc Karşılaştırması: Hangi hizmeti kullanmalısınız?

Hem Cloud Dataproc hem Cloud Dataflow, veri işlemek için kullanılabilir. Bu hizmetlerin toplu işlem ve akış özellikleri çakışmaktadır. Peki ortamınız için hangi ürünün daha uygun olduğuna nasıl karar vereceksiniz?
Dataproc ve Dataflow karşılaştırması

Cloud Dataproc

Cloud Dataproc, Apache büyük veri ekosisteminin belirli bileşenlerine bağlı ortamlar için idealdir.

  • Araçlar/paketler
  • Ardışık düzenler
  • Mevcut kaynaklardaki beceriler

Cloud Dataflow

Gelişmemiş ortamlarda genellikle Cloud Dataflow seçeneği tercih edilir.

  • Daha az operasyon iş yükü
  • Grup şeklindeki veya akış tabanlı ardışık düzenler geliştirmek için birleşik yaklaşım
  • Apache Beam kullanır
  • Çalışma zamanı olarak Cloud Dataflow, Apache Spark ve Apache Flink genelinde ardışık düzen taşınabilirliğini destekler

Önerilen İş Yükleri

İŞ YÜKLERİ CLOUD DATAPROC CLOUD DATAFLOW
Akış işleme (ETL)
Toplu işlem (ETL)
Yinelemeli işleme ve not defterleri
Spark ML ile Makine Öğrenimi
Cloud AI Platformu ve TensorFlow Extended (TFX) ile makine öğrenimi

İş Ortaklıkları ve Entegrasyonlar

Google Cloud Platform iş ortakları ve üçüncü taraf geliştiriciler, Dataflow ile entegrasyonlar geliştirmiştir. Bu sayede herhangi bir boyutta güçlü veri işleme görevlerini hızlı ve kolay bir şekilde etkinleştirebilirsiniz.

ClearStory

Cloudera

DataArtisans

Sales Force

 

SpringML

tamr

"Ardışık düzenlerimizi Cloud Dataflow'da çalıştırarak, kodumuzu çalıştıran örnekleri dağıtma ve yönetme görevleriyle uğraşmak zorunda kalmadan programlamaya odaklanabiliyoruz. Bu, genel olarak GCP'nin diğer ürünlerinde de sunduğu önemli bir özellik."

- Jibran Saithi Baş Mimar, Qubit

Kullanıcı Dostu Fiyatlar

Cloud Dataflow işleri, Cloud Dataflow'un toplu veya akış tabanlı çalışanlarının kullanımına bağlı olarak saniye başına faturalandırılır. Cloud Storage veya Cloud Pub/Sub gibi diğer ek GCP kaynaklarından yararlanan işler, ilgili hizmetin fiyatlandırmasına göre faturalandırılır.

1 Toplu işlem çalışanı için varsayılan değerler: 1 vCPU, 3,75 GB bellek, 250 GB Persistent Disk

2 FlexRS çalışanı için varsayılan değerler: 2 vCPU, 7,50 GB bellek, minimum iki çalışan olacak şekilde çalışan başına 25 GB Persistent Disk

3 Akış çalışanı için varsayılan değerler: 4 vCPU, 15 GB bellek, 420 GB Persistent Disk

4 Dataflow Shuffle şu anda aşağıdaki bölgelerde toplu ardışık düzenler için kullanılabilir:

  • us-central1 (Iowa)
  • us-east1 (Güney Carolina)
  • us-west1 (Oregon)
  • europe-west1 (Belçika)
  • europe-west4 (Hollanda)
  • asia-east1 (Tayvan)
  • asia-northeast1 (Tokyo)

Bu özellik ileride diğer bölgelerde de kullanıma sunulacaktır.

5 Dataflow Streaming Engine, İşlenen Veri Akışı fiyatlandırma birimini kullanır. Streaming Engine şu anda aşağıdaki bölgelerde kullanılabilir:

  • us-central1 (Iowa)
  • us-east1 (Güney Carolina)
  • us-west1 (Oregon)
  • europe-west1 (Belçika)
  • europe-west4 (Hollanda)
  • asia-east1 (Tayvan)
  • asia-northeast1 (Tokyo)
Bu özellik ileride diğer bölgelerde de kullanıma sunulacaktır.

6 İşlenen Veri hakkında daha fazla bilgi için Cloud Dataflow Fiyatlandırması'na bakın.

Cloud AI ürünleri, burada listelenen HDS politikalarına uygundur. Bu ürünlerde, diğer Google Cloud hizmetlerinden farklı gecikme veya kullanılabilirlik garantileri sunulabilir.

Şunun hakkında geri bildirim gönderin...

Dataflow: Stream & Batch Processing
Yardım mı gerekiyor? Destek sayfamızı ziyaret edin.