Cloud Dataflow

Eşit oranda güvenilirlik ve ifade gücü içeren, basitleştirilmiş akış ve toplu veri işleme

Ücretsiz Deneyin

Daha hızlı geliştirme, daha kolay yönetim

Cloud Dataflow, akış durumundaki (gerçek zamanlı) verileri dönüştürmek ve zenginleştirmek için tümüyle yönetilen bir hizmettir. Bu hizmet, toplu (geçmiş) modlarıyla eşit oranda güvenilirlik ve ifade gücü sunar. Artık karmaşık geçici çözümlerle uğraşmanız veya güvenilirlikten ödün vermeniz gerekmiyor. Kaynak sağlama ve yönetme işlemleri için sunduğu sunucusuz yaklaşım sayesinde, sadece kullandığınız kadar ödeme yaparak en büyük veri işleme güçlüklerinin üstesinden gelmek için neredeyse sınırsız kapasiteye sahip olursunuz.

Cloud Dataflow, aşağıdakiler dahil çeşitli sektörlerde dönüşüme dayalı kullanım senaryolarından yararlanmanızı sağlar:

  • Perakende sektöründe tıklama akışı, Satış Noktası ve segmentasyon analizi
  • Finansal hizmetlerde sahtekarlık algılaması
  • Oyunlarda kişiselleştirilmiş kullanıcı deneyimi
  • Üretim, sağlık ve lojistik sektörlerinde IoT analizleri
faster-development-easier-management

Toplu işlem ve akış için geliştirmeyi hızlandırın

Cloud Dataflow, Apache Beam SDK'sında anlamlı SQL, Java ve Python API'leri üzerinden hızlı, basit ardışık düzen geliştirmeyi destekler. Apache Beam SDK, kaynak ve havuz bağlayıcılar ekosisteminin yanı sıra zengin bir pencere ve oturum analizi temel elemanları seti sağlar. Ayrıca Beam'in benzersiz, birleştirilmiş geliştirme modeli sayesinde akış ve toplu tabanlı ardışık düzenlerde daha fazla kodu yeniden kullanabilirsiniz.

Dataflow SQL'in yakında duyurulacak alfa sürümü kullanılabilirliği hakkında bildirim almak için lütfen bu formu doldurun. Böylece, ürünün kullanıma sunulduğunu bilgilendirmek için sizinle iletişime geçebiliriz.

accelerate-development-with-no-compromises

Operasyonları ve yönetimi basitleştirme

GCP'nin sunucusuz yaklaşımı, operasyonel yükü ortadan kaldırarak performans, ölçeklendirme, kullanılabilirlik, güvenlik ve uyumluluk işlemlerinin otomatik olarak gerçekleştirilmesini sağlar. Böylece kullanıcılar sunucu kümelerini yönetmek yerine programlamaya odaklanabilir. GCP'nin birleşik günlük kaydı ve izleme çözümü olan Stackdriver entegrasyonu, çalışırken ardışık düzenlerinizi izlemenizi ve sorunlarını gidermenizi sağlar. Zengin görselleştirme, günlük kaydı ve gelişmiş uyarı işlevleri potansiyel sorunları belirlemenize ve bunlara tepki vermenize yardımcı olur.

simplify-operations-and-management

Makine öğrenimi tabanlı geliştirme

Veri işleme ardışık düzenlerinize TensorFlow tabanlı Cloud Machine Learning modellerini ve API'lerini ekleyerek Cloud Dataflow'u sahtekarlık algılama amacıyla tahmin analizi, gerçek zamanlı kişiselleştirme ve benzeri kullanım örneklerinde entegrasyon noktası olarak kullanın.

build-on-a-foundation-for-machine-learning

Bildiğiniz ve sevdiğiniz araçları kullanın

Cloud Dataflow, akış olayları kullanımı (Cloud Pub/Sub), veri ambarlama (BigQuery), makine öğrenimi (Cloud Machine Learning) ve daha fazlası için GCP hizmetleriyle sorunsuz entegrasyon sunar. Üstelik Beam tabanlı SDK'sı, geliştiricilerin özel uzantılar oluşturmalarına ve hatta Cloud Dataproc veya şirket içi bağlantılarla Apache Spark gibi alternatif yürütme motorları seçmelerine olanak tanır. Apache Kafka kullanıcıları, Cloud Dataflow bağlayıcısı ile GCP entegrasyonunu kolaylaştırabilir.

use-your-favorite-and-familiar-tools

Cloud Dataflow ile Veri Dönüşümü

diagram-dataflow

CLOUD DATAFLOW ÖZELLİKLERİ

Otomatik Kaynak Yönetimi
Cloud Dataflow, gecikme süresini azaltmak ve kullanımı en üst düzeye çıkarmak için kaynak işleme süreçlerinin sağlanmasını ve yönetimini otomatik hale getirir. Artık örnekleri elle başlatmanıza veya ayırmanıza gerek yok.
Dinamik İş Dengeleme
Otomatik ve optimize edilmiş iş bölümlendirme, geciken sahip işleri dinamik olarak yeniden dengeler. “Kısayol tuşları” aramanıza veya giriş verilerini önceden işlemenize gerek kalmaz.
Güvenilir ve Tutarlı Tam Olarak Bir Kez İşleme
Veri boyutu, küme boyutu, işleme kalıbı veya ardışık düzenin karmaşıklık düzeyine bakılmaksızın tutarlı ve doğru olan, hatadan etkilenmeyen yürütme işlemleri için dahili destek sunar.
Yatay Otomatik Ölçeklendirme
Optimum işleme hızı için çalışan kaynaklarının yatay olarak otomatik ölçeklendirilmesi, genel fiyat-performans oranını artırır.
Birleştirilmiş Programlama Modeli
Apache Beam SDK'sı, akış ve toplu tabanlı verilerde MapReduce benzeri işlemleri, güçlü veri aralığı ve hassas doğruluk kontrolünü ifade edebilmenizi sağlar.
Topluluk Tarafından Yönlendirilen Yenilikler
Dataflow programlama modelini genişletmek isteyen geliştiriciler, Apache Beam'de çekme istekleri gönderebilir ve/veya katkıda bulunabilir.
Toplu işlem için esnek kaynak planlama fiyatlandırması
Gece devam etmesi gereken işlerde olduğu gibi iş planlama süresinde esneklik ile işlem yapmak için esnek kaynak planlama imkanı, toplu işlem için daha düşük bir fiyat sunar. Bu esnek işler, altı saatlik süre içinde yürütmeye alınacakları garantisi ile bir kuyruğa yerleştirilir.

Cloud Dataflow ile Cloud Dataproc Karşılaştırması: Hangi hizmeti kullanmalısınız?

Hem Cloud Dataproc hem Cloud Dataflow, veri işlemek için kullanılabilir. Bu hizmetlerin toplu işlem ve akış özellikleri çakışmaktadır. Peki ortamınız için hangi ürünün daha uygun olduğuna nasıl karar vereceksiniz?
Dataproc ve Dataflow karşılaştırması

Cloud Dataproc

Cloud Dataproc, Apache büyük veri ekosisteminin belirli bileşenlerine bağlı ortamlar için idealdir.

  • Araçlar/paketler
  • Ardışık düzenler
  • Mevcut kaynakların özellik kümeleri

Cloud Dataflow

Gelişmemiş ortamlarda genellikle Cloud Dataflow seçeneği tercih edilir.

  • Daha az ek işlem yükü
  • Toplu veya akış tabanlı ardışık düzenler geliştirmek için birleşik yaklaşım
  • Apache Beam kullanımı
  • Çalışma zamanı olarak Cloud Dataflow, Apache Spark ve Apache Flink genelinde ardışık düzen taşınabilirliği için destek

Önerilen İş Yükleri

İŞ YÜKLERİ CLOUD DATAPROC CLOUD DATAFLOW
Akış işleme (ETL)
Toplu işlem (ETL)
Yinelemeli işleme ve not defterleri
Spark ML ile makine öğrenimi
Makine öğrenimi için ön işleme (Cloud ML Engine ile)

İş Ortaklıkları ve Entegrasyonlar

Google Cloud Platform iş ortakları ve üçüncü taraf geliştiriciler, Dataflow ile entegrasyonlar geliştirmiştir. Bu sayede herhangi bir boyutta güçlü veri işleme görevlerini hızlı ve kolay bir şekilde etkinleştirebilirsiniz.

ClearStory

Cloudera

DataArtisans

Sales Force

 

SpringML

tamr

"Ardışık düzenlerimizi Cloud Dataflow'da çalıştırarak, kodumuzu çalıştıran örnekleri dağıtma ve yönetme görevleriyle uğraşmak zorunda kalmadan programlamaya odaklanabiliyoruz. Bu, genel olarak GCP'nin diğer ürünlerinde de sunduğu önemli bir özellik."

- Jibran Saithi Baş Mimar, Qubit

Kullanıcı Dostu Fiyatlar

Cloud Dataflow işleri, Cloud Dataflow'un toplu veya akış tabanlı çalışanlarının kullanımına bağlı olarak saniye başına faturalandırılır. Cloud Storage veya Cloud Pub/Sub gibi diğer ek GCP kaynaklarından yararlanan işler, ilgili hizmetin fiyatlandırmasına göre faturalandırılır.

Iowa (us-central1) Los Angeles (us-west2) Oregon (us-west1) Kuzey Virginia (us-east4) Güney Karolina (us-east1) Montréal (northamerica-northeast1) São Paulo (southamerica-east1) Belçika (europe-west1) Finlandiya (europe-north1) Frankfurt (europe-west3) Londra (europe-west2) Hollanda (europe-west4) Zürih (europe-west6) Mumbai (asia-south1) Singapur (asia-southeast1) Sidney (australia-southeast1) Hong Kong (asia-east2) Tayvan (asia-east1) Tokyo (asia-northeast1) Osaka (asia-northeast2)
Cloud Dataflow Çalışan Türü vCPU
ABD doları/sa
Bellek
GB/sa - ABD doları
Depolama - Standart Kalıcı Disk
GB/sa - ABD doları
Depolama - SSD Kalıcı Disk
GB/sa - ABD doları
İşlenen Veriler4,5
ABD doları GB6
Toplu İşlem 1
FlexRS 2
Akış 3
ABD dolarından farklı bir para biriminde ödeme yaparsanız Cloud Platform SKU'larında para biriminizde listelenen fiyatlar geçerli olur.

1 Toplu işlem çalışanı için varsayılan değerler: 1 vCPU, 3,75 GB bellek, 250 GB Kalıcı Disk

2 FlexRS çalışan varsayılanları: 2 vCPU, 7,50 GB bellek, minimum iki çalışan olacak şekilde çalışan başına 25 GB Kalıcı Disk

3 Akış çalışanı varsayılanları: 4 vCPU, 15 GB bellek, 420 GB Kalıcı Disk

4 Cloud Dataflow Shuffle şu anda aşağıdaki bölgelerde toplu ardışık düzenler için kullanılabilir:

  • us-central1 (Iowa)
  • europe-west1 (Belçika)
  • europe-west4 (Hollanda)
  • asia-northeast1 (Tokyo)

Bu özellik ileride diğer bölgelerde de kullanıma sunulacaktır.

5 Cloud Dataflow Streaming Engine, İşlenen Veri Akışı fiyatlandırma birimini kullanır. Streaming Engine şu anda aşağıdaki bölgelerde kullanılabilir:

  • us-central1 (Iowa)
  • europe-west1 (Belçika)
  • asia-northeast1 (Tokyo)
  • europe-west4 (Hollanda)
Bu özellik ileride diğer bölgelerde de kullanıma sunulacaktır.

6 İşlenen Veriler konusunda daha fazla bilgi için Cloud Dataflow Fiyatlandırması'na bakın.

Şunun hakkında geri bildirim gönderin...