Cloud Dataflow

Eşit oranda güvenilirlik ve ifade gücü içeren, basitleştirilmiş akış ve toplu veri işleme

Ücretsiz Deneyin

Daha hızlı geliştirme, daha kolay yönetim

Cloud Dataflow, akış durumundaki (gerçek zamanlı) verileri dönüştürmek ve zenginleştirmek için tümüyle yönetilen bir hizmettir. Bu hizmet, toplu (geçmiş) modlarıyla eşit oranda güvenilirlik ve ifade gücü sunar. Artık karmaşık geçici çözümlerle uğraşmanız veya güvenilirlikten ödün vermeniz gerekmiyor. Kaynak sağlama ve yönetme işlemleri için sunduğu sunucusuz yaklaşım sayesinde, sadece kullandığınız kadar ödeme yaparak en büyük veri işleme güçlüklerinin üstesinden gelmek için neredeyse sınırsız kapasiteye sahip olursunuz.

Cloud Dataflow, aşağıdakiler dahil çeşitli sektörlerde dönüşüme dayalı kullanım senaryolarından yararlanmanızı sağlar:

  • checkPerakende sektöründe tıklama akışı, Satış Noktası ve segmentasyon analizi
  • check Finansal hizmetlerde sahtekarlık algılaması
  • check Oyunlarda kişiselleştirilmiş kullanıcı deneyimi
  • check Üretim, sağlık ve lojistik sektörlerinde IoT analizleri
faster-development-easier-management

Toplu ve akış tabanlı iş yüklerin geliştirilmesini hızlandırın

Cloud Dataflow; zengin aralık ve oturum temel analizlerinin yanı sıra kaynak ve havuz bağlayıcılarından oluşan bir ekosistem sunan Apache Beam SDK'da ifade temelli Java ve Python API'leri aracılığıyla hızlı ve basit ardışık düzen geliştirmesini destekler. Ayrıca Beam'in benzersiz, birleştirilmiş geliştirme modeli sayesinde akış ve toplu tabanlı ardışık düzenlerde daha fazla kodu yeniden kullanabilirsiniz.

accelerate-development-with-no-compromises

Operasyonları ve yönetimi basitleştirme

GCP'nin sunucusuz yaklaşımı, operasyonel yükü ortadan kaldırarak performans, ölçeklendirme, kullanılabilirlik, güvenlik ve uyumluluk işlemlerinin otomatik olarak gerçekleştirilmesini sağlar. Böylece kullanıcılar sunucu kümelerini yönetmek yerine programlamaya odaklanabilir. GCP'nin birleşik günlük kaydı ve izleme çözümü olan Stackdriver entegrasyonu, çalışırken ardışık düzenlerinizi izlemenizi ve sorunlarını gidermenizi sağlar. Zengin görselleştirme, günlük kaydı ve gelişmiş uyarı işlevleri potansiyel sorunları belirlemenize ve bunlara tepki vermenize yardımcı olur.

simplify-operations-and-management

Makine öğrenimi tabanlı geliştirme

Veri işleme ardışık düzenlerinize TensorFlow tabanlı Cloud Machine Learning modellerini ve API'lerini ekleyerek Cloud Dataflow'u sahtekarlık algılama amacıyla tahmin analizi, gerçek zamanlı kişiselleştirme ve benzeri kullanım örneklerinde entegrasyon noktası olarak kullanın.

build-on-a-foundation-for-machine-learning

Bildiğiniz ve sevdiğiniz araçları kullanın

Cloud Dataflow, akış olayları kullanımı (Cloud Pub/Sub), veri ambarı depolama (BigQuery), makine öğrenimi (Cloud Machine Learning) ve daha fazlası için GCP hizmetleriyle sorunsuz entegrasyon sunar. Üstelik Beam tabanlı SDK'sı, geliştiricilerin özel uzantılar oluşturmalarına ve hatta Cloud Dataproc veya şirket içi bağlantılarla Apache Spark gibi alternatif yürütme motorları seçmelerine olanak tanır. Apache Kafka kullanıcıları, Cloud Dataflow bağlayıcısı ile GCP entegrasyonunu kolaylaştırabilir.

use-your-favorite-and-familiar-tools

Cloud Dataflow ile Veri Dönüşümü

diagram-dataflow

CLOUD DATAFLOW ÖZELLİKLERİ

Otomatik Kaynak Yönetimi
Cloud Dataflow, gecikme süresini azaltmak ve kullanımı en üst düzeye çıkarmak için kaynak işleme süreçlerinin sağlanmasını ve yönetimini otomatik hale getirir. Artık örnekleri elle başlatmanıza veya ayırmanıza gerek yok.
Dinamik İş Dengeleme
Otomatik ve optimize edilmiş iş bölümlendirme, geciken sahip işleri dinamik olarak yeniden dengeler. “Kısayol tuşları” aramanıza veya giriş verilerini önceden işlemenize gerek kalmaz.
Güvenilir ve Tutarlı Tam Olarak Bir Kez İşleme
Veri boyutu, küme boyutu, işleme kalıbı veya ardışık düzenin karmaşıklık düzeyine bakılmaksızın tutarlı ve doğru olan, hatadan etkilenmeyen yürütme işlemleri için dahili destek sunar.
Yatay Otomatik Ölçeklendirme
Optimum işleme hızı için çalışan kaynaklarının yatay olarak otomatik ölçeklendirilmesi, genel fiyat-performans oranını artırır.
Birleştirilmiş Programlama Modeli
Apache Beam SDK'sı, akış ve toplu tabanlı verilerde MapReduce benzeri işlemleri, güçlü veri aralığı ve hassas doğruluk kontrolünü ifade edebilmenizi sağlar.
Topluluk Tarafından Yönlendirilen Yenilikler
Dataflow programlama modelini genişletmek isteyen geliştiriciler, Apache Beam'de çekme istekleri gönderebilir ve/veya katkıda bulunabilir.

İş Ortaklıkları ve Entegrasyonlar

Google Cloud Platform iş ortakları ve üçüncü taraf geliştiriciler, Dataflow ile entegrasyonlar geliştirmiştir. Bu sayede herhangi bir boyutta güçlü veri işleme görevlerini hızlı ve kolay bir şekilde etkinleştirebilirsiniz.

ClearStory

Cloudera

DataArtisans

Sales Force

 

SpringML

tamr

"Ardışık düzenlerimizi Cloud Dataflow'da çalıştırarak, kodumuzu çalıştıran örnekleri dağıtma ve yönetme görevleriyle uğraşmak zorunda kalmadan programlaya odaklanabiliyoruz. Bu, genel olarak GCP'nin diğer ürünlerinde de sunduğu önemli bir özellik."

- Jibran Saithi Baş Mimar, Qubit

Kullanıcı Dostu Fiyatlar

Cloud Dataflow işleri, Cloud Dataflow toplu veya akış tabanlı çalışanlarının kullanımına bağlı olarak dakika başına faturalandırılır. Cloud Storage veya Cloud Pub/Sub gibi diğer ek GCP kaynaklarından yararlanan işler, ilgili hizmetin fiyatlandırmasına göre faturalandırılır.

Iowa Oregon Kuzey Virginia Güney Karolina São Paulo Belçika Londra Frankfurt Singapur Sidney Tayvan Tokyo
Dataflow Çalışan Türü vCPU
ABD doları/sa
Bellek
GB/sa - ABD doları
Yerel depolama - Kalıcı Disk
GB/sa - ABD doları
Yerel depolama - SSD tabanlı
GB/sa - ABD doları
Dataflow Shuffle 3
GB/sa - ABD doları
Toplu 1
Akış 2
ABD dolarından farklı bir para biriminde ödeme yaparsanız Cloud Platform STB'lerinde para biriminizde listelenen fiyatlar geçerli olur.

1 Toplu işlem çalışanı için varsayılanlar: 1 vCPU, 3,75 GB bellek, 250 GB PD.

2 Akış çalışanı için varsayılanlar: 4 vCPU, 15 GB bellek, 420 GB PD.

3 Hizmet tabanlı Dataflow Shuffle şu an için sadece us-central1 (Iowa) bölgesindeki toplu ardışık düzenleri için beta sürümünde kullanılabilir. Bu özellik ileride diğer bölgelerde de kullanıma sunulacaktır.