Cloud Composer Kaynak Kotaları

Cloud Composer'da aşağıdaki API kota sınırları uygulanır.

Kota adı Sınır
Proje başına yazma isteği sayısı 1.500/dakika, 25.000/gün
Proje başına okuma isteği sayısı 1.000/dakika

Çoğu API çağrısının gerçekleştirme maliyeti 1 birimdir ama bazıları daha pahalıdır. Şu API'lerin gerçekleştirme maliyeti 100 birimdir: environments.create, environments.update ve environments.delete.

Aşağıdaki araçlar Cloud Composer API temel alınarak tasarlanmıştır ve Cloud Composer API kotanızı kullanır:

Cloud Composer, diğer Google Cloud ürünlerinden yararlanır. Bu ürünlerin kotası proje düzeyinde belirlenir. Söz konusu düzey, Cloud Composer kullanımı için geçerli olan kotaları kapsar. Google Compute Engine ve Google Cloud Storage gibi bazı hizmetlerin Cloud Composer'ı kullanması zorunludur. Airflow'da bağlayıcılar ayarlanırken diğer hizmetler isteğe bağlı olarak Cloud Composer ile birlikte kullanılabilir.

Zorunlu hizmetler

Kota sınırlarının uygulandığı aşağıdaki hizmetler, Cloud Composer ortamı oluşturma işlemi için otomatik olarak kullanılır (Bu işlem zorunludur).

  • Deployment Manager
  • Kubernetes Engine (Compute Engine'e dayanır)
  • Cloud Storage
  • Cloud Pub/Sub
  • Stackdriver Logging
  • Cloud Build (PyPi bağımlılıkları kullanılıyorsa)

Deployment Manager

Deployment Manager, Cloud Composer'ın ihtiyaç duyduğu diğer Google Cloud kaynaklarını yönetir. Her bir gcloud composer, create, update veya delete çağrısı, Deployment Manager kotasının uygulandığı yerlerde bir Deployment Manager yazma sorgusuna ve birden çok okuma sorgusuna çevrilir.

Kubernetes Engine

Airflow planlayıcı ve çalışanları, Kubernetes Engine kümesinde çalışır. Her Cloud Composer ortamı, bir küme oluşturur. Bir ortamın varsayılan olarak üç Compute Engine sanal makinesi vardır. Ancak bu sayı oluşturma işlemi sırasında veya sonrasında yapılandırılabilir. Küme Kubernetes Engine kotasını etkilerken düğüm sayısı da Compute Engine kotasını etkiler.

Cloud Pub/Sub

Cloud Pub/Sub, Composer Hizmeti ile oluşturduğumuz Airflow dağıtımı arasındaki iletişim için kullanılır. Her bir gcloud composer environments, create veya update çağrısı iki Cloud Pub/Sub konusu ve iki Cloud Pub/Sub aboneliği oluşturur. Cloud Pub/Sub kotası uygulanır.

Stackdriver

Cloud Logging, Airflow günlüklerinin akışı ve Cloud Composer günlükleri için kullanılır. Logging kotası uygulanır.

Cloud Monitoring, özel bir kontrol panelinde Airflow metriklerinizi toplayıp görselleştirmenize olanak tanır. Monitoring kotası uygulanır.

Cloud Build

Cloud Build, PyPi paketleri yüklerken özel docker görüntüleri derlemenizi sağlar. Cloud Build kotaları uygulanır.

İsteğe bağlı hizmetler

Google Cloud hizmetleriyle Airflow operatörlerini kullanabilirsiniz. Cloud Composer ortamlarında kullanılan hizmetler, ilgili hizmetin kotasına tabidir.