Dataflow
Dataflow, otomatik ölçeklendirme ve toplu işlem aracılığıyla gecikme, işleme süresi ve maliyeti en aza indiren bir tümüyle yönetilen akış analizi hizmetidir. Kaynak sağlama ve yönetme işlemleri için sunduğu sunucusuz yaklaşım sayesinde sadece kullandığınız kadar ödeme yaparak en büyük veri işleme güçlüklerinin üstesinden gelmek için neredeyse sınırsız kapasiteye sahip olursunuz.
- Temel hazırlığı otomatikleştirme ve işleme kaynaklarının yönetimi
- Kaynak kullanımının en üst düzeye çıkarılması için çalışan kaynaklarının yatay olarak otomatik ölçeklendirilmesi
- Birleşik akış ve toplu programlama modeli
- Apache Beam SDK ile OSS topluluğu odaklı yenilik
- Güvenilir ve tutarlı tam olarak bir kez işleme
Hızlı akışlı veri analizi
Dataflow daha düşük veri gecikmesiyle hızlı, basitleştirilmiş akış veri ardışık düzeni geliştirilebilmesini sağlar.
Operasyonları ve yönetimi basitleştirin
Dataflow'un sunucusuz yaklaşımının veri mühendisliği iş yüklerindeki işlem ek yükünü ortadan kaldırması sayesinde ekiplerin sunucu kümelerini yönetmek yerine programlamaya zaman ayırabilmesini sağlayın.
Toplam sahip olma maliyetini düşürün
Otomatik kaynak ölçeklendirme ile maliyet açısından optimize edilmiş toplu işleme özelliğinin bir arada sunulması, Dataflow'un sezonluk ve ani artışlar gösteren iş yüklerinizi aşırı harcama yapmadan yönetme konusunda neredeyse sınırsız bir kapasite sunduğu anlamına gelir.
Temel özellikler
Dataflow, gecikme süresini azaltmak ve kullanımı en üst düzeye çıkarmak için kaynak işleme süreçlerinin sağlanmasını ve yönetimini otomatik hale getirir. Böylece örnekleri hızla başlatmanıza veya elle ayırmanıza gerek kalmaz. İş bölümlendirme, geciken işleri dinamik olarak yeniden dengelemek için otomatik hale getirilmiş ve optimize edilmiştir. "Kısayol tuşları" aramanıza veya giriş verilerini önceden işlemenize gerek kalmaz.
Optimum işleme hızı için çalışan kaynaklarının yatay olarak otomatik ölçeklendirilmesi, genel fiyat-performans oranını iyileştirir.
Gece devam etmesi gereken işlerde olduğu gibi iş planlama süresinde esneklik ile işlem yapmak için esnek kaynak planlama (FlexRS) imkanı, toplu işlem için daha düşük bir fiyat sunar. Bu esnek işler, altı saatlik süre içinde yürütmeye alınacakları garantisiyle bir kuyruğa yerleştirilir.
Öne çıkan kullanım alanları
Müşteri hikayeleri
Dow Jones, Dataflow ile veri kümelerini hayata geçiriyor ve geçmişteki önemli olayların ağ üzerindeki etkilerini açığa çıkarıyor.
Hikayeyi okuyunÖne çıkanlar
-
Önemli olayların nitel işletme etkisini değerlendirmek için 30 yılı aşkın sürede toplanan yapılandırılmamış haber verilerini sentezledi
-
Gizli ilişki ve analizleri açığa çıkarmak için karmaşık ağ çalışmalarını tanımladı
-
Prototip Bilgi Grafiğini 10 hafta içinde kolaylıkla hazırladı
İş ortağı
Yenilikler
Belgeler
Dataflow hızlı başlangıç kılavuzu (Python ile)
Google Cloud projeniz ve Python geliştirme ortamınızı oluşturun, Apache Beam SDK'yı edinin ve Dataflow hizmetinde WordCount örneğini çalıştırıp değiştirin.
Dataflow SQL kullanımı
SQL sorgusu oluşturun ve SQL sorgunuzu Dataflow SQL kullanıcı arayüzünden çalıştırmak için Dataflow işi dağıtın.
Apache Beam SDK'yı yükleme
Ardışık düzenlerinizi Dataflow hizmetinde çalıştırabilmek için Apache Beam SDK'yı yükleyin.
Apache Beam ve TensorFlow ile makine öğrenimi
Apache Beam, Dataflow ve TensorFlow'u kullanarak bir moleküler enerji makine öğrenimi modelinde ön işlem, eğitim ve tahmin yapın.
Yaygın kullanım alanları
Akış analizi
Google Cloud akış analizi, verilerin oluşturuldukları andan itibaren düzenli, faydalı ve erişilebilir olmasını sağlar. Pub/Sub ve BigQuery'nin yanı sıra Dataflow'un otomatik ölçeklendirme altyapısı üzerine kurulu olan akış çözümümüz, gerçek zamanlı işletme analizleri elde etmek amacıyla hacmi artıp azalan gerçek zamanlı verilerin alınması, işlenmesi ve analiz edilmesi için gereken doğru kaynakları sağlar. Yapılan bu temel hazırlık karmaşıklığı azaltarak akış analizini hem veri analizi uzmanları hem de veri mühendisleri için erişilebilir hâle getirir.
Sensör ve günlük kaydı verilerini işleme
Akıllı IoT platformuyla global cihaz ağınızdan iş analizleri elde edin.
Gerçek Zamanlı AI
Dataflow; tahmine dayalı analiz, sahtekarlık tespiti, gerçek zamanlı kişiselleştirme ve diğer Gelişmiş Analytics kullanım alanlarını etkinleştirmek için akış etkinliklerini Google Cloud'un sunduğu AI Platform ve TensorFlow Extended (TFX) ile buluşturur. TFX, makine öğrenimi yaşam döngüsünün birçok işlevini çalıştırmak için dağıtılmış veri işleme motoru olarak Dataflow ve Apache Beam'i kullanır. İşlevlerin tümü Kubeflow ardışık düzenleri üzerinden makine öğrenimi için CI/CD ile desteklenir.
Tüm özellikler
| Otomatik ölçeklendirme | Otomatik ölçeklendirme, Dataflow hizmetinin işinizi çalıştırmak için gereken çalışan örneği sayısını otomatik olarak seçmesine izin verir. Dataflow hizmeti, işinizin özelliklerini hesaba katmak için çalışma zamanı boyunca daha fazla veya daha az çalışanı dinamik olarak yeniden atayabilir. |
|---|---|
| Streaming Engine | Streaming Engine, işlemeyi durum depolama alanından ayırır ve ardışık düzen yürütmesinin bölümlerini, çalışan sanal makinelerden Dataflow hizmeti arka ucuna taşır. Böylece otomatik ölçeklendirme ve veri gecikmesini önemli ölçüde iyileştirir. |
| Dataflow Shuffle | Hizmet Tabanlı Dataflow Shuffle, verileri gruplandırmak ve birleştirmek amacıyla kullanılan karıştırma işlemini toplu ardışık düzenler için çalışan sanal makinelerden Dataflow hizmeti arka ucuna taşır. Toplu ardışık düzenler, herhangi bir ince ayar yapılmasını gerektirmeden yüzlerce terabayta sorunsuz ölçeklenir. |
| Dataflow SQL | Dataflow SQL, akış Dataflow ardışık düzenleri geliştirmek için SQL becerilerinizi doğrudan BigQuery web arayüzünden kullanmanızı sağlar. Akış verilerini Pub/Sub'dan Cloud Storage'daki dosyalarla veya BigQuery'deki tablolarla birleştirebilir, sonuçları BigQuery'ye yazabilir ve Google E-Tablolar'ı ya da diğer BI araçlarını kullanarak gerçek zamanlı gösterge tabloları oluşturabilirsiniz. |
| Esnek Kaynak Planlama (FlexRS) | Dataflow FlexRS; gelişmiş planlama tekniklerini, Dataflow Shuffle hizmetini ve öncelikli sanal makine (VM) örnekleri ile normal sanal makinelerin kombinasyonunu kullanarak toplu işlem maliyetlerini azaltır. |
| Dataflow şablonları | Dataflow şablonları, ardışık düzenlerinizi ekip üyeleriyle ve kuruluşunuz genelinde kolayca paylaşabilmenizi veya basit ama kullanışlı veri işleme görevlerini uygulamak için Google tarafından sağlanan birçok şablondan yararlanabilmenizi sağlar. |
| Satır içi izleme | Dataflow satır içi izleme, işlerinizle etkileşimde bulunmanızı ve metriklere doğrudan erişmenizi sağlar. Eski veriler ve yüksek sistem gecikmesi koşulları için uyarılar da ayarlayabilirsiniz. |
| Müşteri tarafından yönetilen şifreleme anahtarları | Müşteri tarafından yönetilen şifreleme anahtarı (CMEK) ile korunan bir toplu ardışık düzen veya akış ardışık düzeni oluşturabilir ya da CMEK ile korunan verilere kaynaklardan ve havuzlardan erişebilirsiniz. |
| Dataflow VPC Hizmet Kontrolleri | Dataflow'un VPC Hizmet Kontrolleri ile entegrasyonu, veri hırsızlığı riskini azaltma becerinizi güçlendirerek veri işleme ortamınız için ek güvenlik sağlar. |
| Özel IP'ler | Genel IP'leri kapatmak, veri işleme altyapınızı daha iyi koruyabilmenizi sağlar. Dataflow çalışanlarınız için genel IP adresleri kullanmayarak Google Cloud proje kotanız için yararlandığınız genel IP adresi sayısını da azaltabilirsiniz. |
Fiyatlandırma
Dataflow işleri, Dataflow'un toplu veya akış tabanlı çalışanlarının kullanımına bağlı olarak saniye başına faturalandırılır. Cloud Storage veya Pub/Sub gibi ek Google Cloud kaynaklarından yararlanan işler, ilgili hizmetin fiyatlandırmasına göre faturalandırılır.
Fiyatlandırma bilgilerini gösterİş Ortakları
Google Cloud iş ortakları ve üçüncü taraf geliştiriciler, Dataflow ile entegrasyonlar geliştirmiştir. Bu sayede herhangi bir boyutta güçlü veri işleme görevlerini hızlı ve kolay bir şekilde etkinleştirebilirsiniz.
Bir sonraki adımı atın
Google Cloud'da yeni bilgiler edinmek ve çözüm oluşturmaya başlamak için 12 aya kadar 300 ABD doları değerinde ücretsiz kredi kazanın.