Yüksek performanslı, ölçeklenebilir sanal makineler
Hızlı, birleşik akış ve toplu veri işleme

Dataflow, otomatik ölçeklendirme ve toplu işlem aracılığıyla gecikme, işleme süresi ve maliyeti en aza indiren bir tümüyle yönetilen akış analizi hizmetidir. Kaynak sağlama ve yönetme işlemleri için sunduğu sunucusuz yaklaşım sayesinde sadece kullandığınız kadar ödeme yaparak en büyük veri işleme güçlüklerinin üstesinden gelmek için neredeyse sınırsız kapasiteye sahip olursunuz.

  • Temel hazırlığı otomatikleştirme ve işleme kaynaklarının yönetimi
  • Kaynak kullanımının en üst düzeye çıkarılması için çalışan kaynaklarının yatay olarak otomatik ölçeklendirilmesi
  • Birleşik akış ve toplu programlama modeli
  • Apache Beam SDK ile OSS topluluğu odaklı yenilik
  • Güvenilir ve tutarlı tam olarak bir kez işleme

Hızlı akışlı veri analizi

Dataflow daha düşük veri gecikmesiyle hızlı, basitleştirilmiş akış veri ardışık düzeni geliştirilebilmesini sağlar.

Operasyonları ve yönetimi basitleştirin

Dataflow'un sunucusuz yaklaşımının veri mühendisliği iş yüklerindeki işlem ek yükünü ortadan kaldırması sayesinde ekiplerin sunucu kümelerini yönetmek yerine programlamaya zaman ayırabilmesini sağlayın.

Toplam sahip olma maliyetini düşürün

Otomatik kaynak ölçeklendirme ile maliyet açısından optimize edilmiş toplu işleme özelliğinin bir arada sunulması, Dataflow'un sezonluk ve ani artışlar gösteren iş yüklerinizi aşırı harcama yapmadan yönetme konusunda neredeyse sınırsız bir kapasite sunduğu anlamına gelir.

Temel özellikler

Otomatik kaynak yönetimi ve dinamik iş dengeleme

Dataflow, gecikme süresini azaltmak ve kullanımı en üst düzeye çıkarmak için kaynak işleme süreçlerinin sağlanmasını ve yönetimini otomatik hale getirir. Böylece örnekleri hızla başlatmanıza veya elle ayırmanıza gerek kalmaz. İş bölümlendirme, geciken işleri dinamik olarak yeniden dengelemek için otomatik hale getirilmiş ve optimize edilmiştir. "Kısayol tuşları" aramanıza veya giriş verilerini önceden işlemenize gerek kalmaz.

Yatay otomatik ölçeklendirme

Optimum işleme hızı için çalışan kaynaklarının yatay olarak otomatik ölçeklendirilmesi, genel fiyat-performans oranını iyileştirir.

Toplu işlem için esnek kaynak planlama fiyatlandırması

Gece devam etmesi gereken işlerde olduğu gibi iş planlama süresinde esneklik ile işlem yapmak için esnek kaynak planlama (FlexRS) imkanı, toplu işlem için daha düşük bir fiyat sunar. Bu esnek işler, altı saatlik süre içinde yürütmeye alınacakları garantisiyle bir kuyruğa yerleştirilir.

Tüm özellikleri göster

Müşteri hikayeleri

Öne çıkanlar

  • Önemli olayların nitel işletme etkisini değerlendirmek için 30 yılı aşkın sürede toplanan yapılandırılmamış haber verilerini sentezledi

  • Gizli ilişki ve analizleri açığa çıkarmak için karmaşık ağ çalışmalarını tanımladı

  • Prototip Bilgi Grafiğini 10 hafta içinde kolaylıkla hazırladı

İş ortağı

Tüm müşterileri göster

Yenilikler

Belgeler

Eğitici
Dataflow hızlı başlangıç kılavuzu (Python ile)

Google Cloud projeniz ve Python geliştirme ortamınızı oluşturun, Apache Beam SDK'yı edinin ve Dataflow hizmetinde WordCount örneğini çalıştırıp değiştirin.

Eğitici
Dataflow SQL kullanımı

SQL sorgusu oluşturun ve SQL sorgunuzu Dataflow SQL kullanıcı arayüzünden çalıştırmak için Dataflow işi dağıtın.

Eğitici
Apache Beam SDK'yı yükleme

Ardışık düzenlerinizi Dataflow hizmetinde çalıştırabilmek için Apache Beam SDK'yı yükleyin.

Eğitici
Apache Beam ve TensorFlow ile makine öğrenimi

Apache Beam, Dataflow ve TensorFlow'u kullanarak bir moleküler enerji makine öğrenimi modelinde ön işlem, eğitim ve tahmin yapın.

Yaygın kullanım alanları

Akış analizi

Google Cloud akış analizi, verilerin oluşturuldukları andan itibaren düzenli, faydalı ve erişilebilir olmasını sağlar. Pub/Sub ve BigQuery'nin yanı sıra Dataflow'un otomatik ölçeklendirme altyapısı üzerine kurulu olan akış çözümümüz, gerçek zamanlı işletme analizleri elde etmek amacıyla hacmi artıp azalan gerçek zamanlı verilerin alınması, işlenmesi ve analiz edilmesi için gereken doğru kaynakları sağlar. Yapılan bu temel hazırlık karmaşıklığı azaltarak akış analizini hem veri analizi uzmanları hem de veri mühendisleri için erişilebilir hâle getirir.

Akış analizini gösteren mimariTriggerAnalyzeActivateData StudioThird-party BlCreation FlowConfigure source to push event message to Pub/Sub Topic Create Pub/Sub Topic and Subscription Deploy streaming or batch Dataflow job using templates, CLI, or notebooksCreate dataset, tables, and models to receive streamBuild real-time dashboards and call external APIs IngestEnrichAnalyzeActivateEdgeMobileWebData StoreIoTPub/SubBigQueryAl PlatformBigtable Cloud FunctionsDataflow StreamingApache Beam (SDK)Dataflow BatchBackfill/ReprocessArchitecture
Sensör ve günlük kaydı verilerini işleme

Akıllı IoT platformuyla global cihaz ağınızdan iş analizleri elde edin.

Gerçek Zamanlı AI

Dataflow; tahmine dayalı analiz, sahtekarlık tespiti, gerçek zamanlı kişiselleştirme ve diğer Gelişmiş Analytics kullanım alanlarını etkinleştirmek için akış etkinliklerini Google Cloud'un sunduğu AI Platform ve TensorFlow Extended (TFX) ile buluşturur. TFX, makine öğrenimi yaşam döngüsünün birçok işlevini çalıştırmak için dağıtılmış veri işleme motoru olarak Dataflow ve Apache Beam'i kullanır. İşlevlerin tümü Kubeflow ardışık düzenleri üzerinden makine öğrenimi için CI/CD ile desteklenir.

Tüm özellikler

Otomatik ölçeklendirme Otomatik ölçeklendirme, Dataflow hizmetinin işinizi çalıştırmak için gereken çalışan örneği sayısını otomatik olarak seçmesine izin verir. Dataflow hizmeti, işinizin özelliklerini hesaba katmak için çalışma zamanı boyunca daha fazla veya daha az çalışanı dinamik olarak yeniden atayabilir.
Streaming Engine Streaming Engine, işlemeyi durum depolama alanından ayırır ve ardışık düzen yürütmesinin bölümlerini, çalışan sanal makinelerden Dataflow hizmeti arka ucuna taşır. Böylece otomatik ölçeklendirme ve veri gecikmesini önemli ölçüde iyileştirir.
Dataflow Shuffle Hizmet Tabanlı Dataflow Shuffle, verileri gruplandırmak ve birleştirmek amacıyla kullanılan karıştırma işlemini toplu ardışık düzenler için çalışan sanal makinelerden Dataflow hizmeti arka ucuna taşır. Toplu ardışık düzenler, herhangi bir ince ayar yapılmasını gerektirmeden yüzlerce terabayta sorunsuz ölçeklenir.
Dataflow SQL Dataflow SQL, akış Dataflow ardışık düzenleri geliştirmek için SQL becerilerinizi doğrudan BigQuery web arayüzünden kullanmanızı sağlar. Akış verilerini Pub/Sub'dan Cloud Storage'daki dosyalarla veya BigQuery'deki tablolarla birleştirebilir, sonuçları BigQuery'ye yazabilir ve Google E-Tablolar'ı ya da diğer BI araçlarını kullanarak gerçek zamanlı gösterge tabloları oluşturabilirsiniz.
Esnek Kaynak Planlama (FlexRS) Dataflow FlexRS; gelişmiş planlama tekniklerini, Dataflow Shuffle hizmetini ve öncelikli sanal makine (VM) örnekleri ile normal sanal makinelerin kombinasyonunu kullanarak toplu işlem maliyetlerini azaltır.
Dataflow şablonları Dataflow şablonları, ardışık düzenlerinizi ekip üyeleriyle ve kuruluşunuz genelinde kolayca paylaşabilmenizi veya basit ama kullanışlı veri işleme görevlerini uygulamak için Google tarafından sağlanan birçok şablondan yararlanabilmenizi sağlar.
Satır içi izleme Dataflow satır içi izleme, işlerinizle etkileşimde bulunmanızı ve metriklere doğrudan erişmenizi sağlar. Eski veriler ve yüksek sistem gecikmesi koşulları için uyarılar da ayarlayabilirsiniz.
Müşteri tarafından yönetilen şifreleme anahtarları Müşteri tarafından yönetilen şifreleme anahtarı (CMEK) ile korunan bir toplu ardışık düzen veya akış ardışık düzeni oluşturabilir ya da CMEK ile korunan verilere kaynaklardan ve havuzlardan erişebilirsiniz.
Dataflow VPC Hizmet Kontrolleri Dataflow'un VPC Hizmet Kontrolleri ile entegrasyonu, veri hırsızlığı riskini azaltma becerinizi güçlendirerek veri işleme ortamınız için ek güvenlik sağlar.
Özel IP'ler Genel IP'leri kapatmak, veri işleme altyapınızı daha iyi koruyabilmenizi sağlar. Dataflow çalışanlarınız için genel IP adresleri kullanmayarak Google Cloud proje kotanız için yararlandığınız genel IP adresi sayısını da azaltabilirsiniz.

Fiyatlandırma

Dataflow işleri, Dataflow'un toplu veya akış tabanlı çalışanlarının kullanımına bağlı olarak saniye başına faturalandırılır. Cloud Storage veya Pub/Sub gibi ek Google Cloud kaynaklarından yararlanan işler, ilgili hizmetin fiyatlandırmasına göre faturalandırılır.

Fiyatlandırma bilgilerini göster

İş Ortakları

Google Cloud iş ortakları ve üçüncü taraf geliştiriciler, Dataflow ile entegrasyonlar geliştirmiştir. Bu sayede herhangi bir boyutta güçlü veri işleme görevlerini hızlı ve kolay bir şekilde etkinleştirebilirsiniz.

Bir sonraki adımı atın

Google Cloud'da yeni bilgiler edinmek ve çözüm oluşturmaya başlamak için 12 aya kadar 300 ABD doları değerinde ücretsiz kredi kazanın.

Başlamak için yardıma mı ihtiyacınız var?
Güvenilir bir iş ortağıyla çalışın
Göz atmaya devam edin