ייצוא נתוני החיוב ב-Cloud ל-BigQuery

אתם יכולים לייצא כל יום באופן אוטומטי נתוני חיוב מפורטים של Google Cloud‏ T-Systems Sovereign Cloud‏ מהחשבון לחיוב ב-Cloud ל-BigQuery (למשל נתוני שימוש, תמחור ואומדן עלויות) ולבחור את מערך הנתונים ב-BigQuery שבו הנתונים יישמרו. אחרי שתייצאו את נתוני החיוב מ-Cloud, תוכלו לנתח אותם באמצעות BigQuery או להשתמש בכלים אחרים כמו Looker Studio כדי להמחיש ויזואלית את הנתונים. אפשר להשתמש בשיטת הייצוא הזאת גם כדי לייצא נתונים לקובץ JSON.

התזמון חשוב. כדי שתוכלו לנתח מערך רחב יותר של נתוני חיוב מ-Google Cloud , מומלץ להפעיל את הייצוא של נתוני החיוב מ-Cloud ל-BigQuery במקביל ליצירת חשבון לחיוב ב-Cloud.

חשוב להכיר את המגבלות שעשויות להשפיע על ייצוא נתוני החיוב ל-BigQuery.

השלבים הבאים

ניהול ודיווח יעילים של העלויות הם חלק קריטי מניהול פיננסי, לא משנה אם אתם מנהלים עסק במיליארדי דולרים או בתקציב מצומצם. כדי שתוכלו לקבל החלטות שמבוססות על נתונים בקשר לשימוש ולעלויות ב-Google Cloud , צריך לאסוף את הנתונים עצמם.

ריכזנו בקטע הזה הדרכות לביצוע המשימות הבאות:

הגדרת הייצוא של נתוני החיוב ב-Cloud ל-BigQuery

כדי להתחיל את איסוף נתוני החיוב ב-Cloud, צריך להפעיל את ייצוא נתוני החיוב ב-Cloud ל-BigQuery.

במדריך ההגדרה מוצגות שיטות מומלצות והוראות מפורטות להפעלה של ייצוא נתוני החיוב ב-Cloud ל-BigQuery. אלה הסוגים של נתוני החיוב ב-Cloud שאפשר להפעיל כדי לייצא אותם:

  • נתוני עלות סטנדרטיים של שימוש – כוללים פרטים על נתוני עלות של שימוש רגיל בחשבון לחיוב ב-Cloud, כמו מספר חשבון, תאריך חשבונית, שירותים, מק"טים, פרויקטים, תוויות, מיקומים, עלות, שימוש, זיכויים, התאמות ומטבע.

    בחרו באפשרות Standard usage export כדי לנתח מגמות רחבות בנתוני העלות.

  • נתוני עלות מפורטים של שימוש – כוללים פרטים על נתוני עלות של שימוש מפורט בחשבון לחיוב ב-Cloud. האפשרות הזו כוללת את כל נתוני העלות הסטנדרטיים של שימוש יחד עם נתוני עלות ברמת המשאב, כמו מכונה וירטואלית או כונן SSD, שיוצרים שימוש בשירות.

    בחרו באפשרות Detailed usage export כדי לנתח עלויות ברמת המשאב ולזהות משאבים מסוימים שמייקרים את העלויות. הייצוא המפורט כולל מידע ברמת המשאב למוצרים הבאים:

    • Compute Engine
    • Google Kubernetes Engine (GKE)
    • פונקציות Cloud Run
    • Cloud Run

    כדי להציג מידע על GKE, צריך להפעיל את הקצאת העלויות בפעולות ייצוא מפורטות.

    מומלץ לקרוא את ההמלצות והמגבלות הנוספות שמפורטות בסכימת הנתונים המפורטים של עלויות השימוש.

  • ‫(למפיצים בלבד) ייצוא נתונים לחיוב חוזר – סוג הייצוא הזה כולל נתונים מפורטים על עלויות השימוש בחשבון לחיוב ב-Cloud לכל החשבונות לחיוב של המפיץ, עם הערות לגבי מאפיינים ספציפיים לשותפים.

    מומלץ להשתמש בייצוא הנתונים לחיוב חוזר כדי לנהל את פעולות החיוב של הלקוחות ב-Google Cloud . כאן תוכלו לקרוא מידע נוסף על הגדרות תמחור מחדש שמאפשרות ליצור את נתוני העלויות של לקוחות הקצה.

  • נתוני תמחור – פרטים על התמחור בחשבון לחיוב ב-Cloud, כמו מספר חשבון, שירותים, מק"טים, מוצרים, מטא-נתונים גיאוגרפיים, יחידות תמחור, מטבע, צבירה ושכבות.

    אפשר לקבל את נתוני התמחור של החשבון לחיוב ב-Cloud גם בדרכים האלה:

השימוש ב-BigQuery לאחסון נתוני חיוב ב-Cloud ולביצוע שאילתות לגבי הנתונים כרוך בעמלות מינימליות. מידע נוסף מפורט בקטע עלות השימוש.

חשוב להכיר את המגבלות שעשויות להשפיע על ייצוא נתוני החיוב ל-BigQuery.

הסבר על טבלאות נתוני החיוב ב-Cloud

אחרי הפעלת הייצוא של החיוב ב-Cloud ל-BigQuery, הטבלאות של נתוני החיוב ב-Cloud נוצרות באופן אוטומטי במערך הנתונים ב-BigQuery.

כדי להבין את סכימת הנתונים של התוכן שייצאתם, תוכלו לראות את פירוט נתוני החיוב ב-Cloud שמיוצאים לכל טבלה במערך הנתונים ב-BigQuery.

חיפוש שאילתות לדוגמה בנושא נתוני חיוב ב-Cloud

לקבלת טיפים והנחיות בנושא שימוש ב-SQL כדי להריץ שאילתות על נתוני החיוב ב-Cloud, ראו שאילתות לדוגמה.

בדף השאילתות לדוגמה מופיעות דוגמאות שונות ל-SQL, כולל:

עלות השימוש

השימוש ב-BigQuery לאחסון ולניתוח של נתוני השימוש שמחויב ונתוני העלויות בדרך כלל כרוך בעמלות מינימליות.

  • טעינת הנתונים למערך הנתונים הייעודי לא כרוכה בתשלום, כך שתוכלו להשתמש במאגר המשאבים המשותפים של BigQuery כדי לטעון נתונים באצוות.
  • כשמייצאים ומנתחים ב-BigQuery את נתוני החיוב ב-Cloud, העלות המשויכת תלויה בכמות הנתונים שמעבירים, מאחסנים ומבצעים לגביהם שאילתות.
  • פעולות רבות בטבלה המחולקת למחיצות (Partitions) הן בחינם, כולל טעינת נתונים למחיצות, העתקת מחיצות וייצוא נתונים ממחיצות. על אף שהן בחינם, הפעולות האלו כפופות למכסות ולמגבלות של BigQuery.

באופן כללי, שאילתה לגבי Detailed cost export עשויה לעלות יותר משאילתה לגבי Standard export. אם רוצים לייעל את העלויות, מומלץ להשתמש באפשרות Standard export כדי לנתח מגמות בעלויות, ובאפשרות Detailed export כדי לעקוב אחרי העלויות ברמת המשאב ולזהות משאבים ספציפיים שעשויים לייקר את העלויות.

כדי לקבל מושג לגבי החיובים הצפויים, כדאי לעיין במאמר הערכת עלויות של אחסון ושאילתות.

מידע נוסף על שיטות מומלצות לייעול העלויות ב-BigQuery זמין במאמר ניהול העלויות ב-BigQuery.

למחירים מפורטים, ראו תמחור ב-BigQuery

מגבלות

הייצוא של נתוני חיוב ב-Cloud ל-BigQuery כפוף למגבלות הבאות:

  • באילו מיקומים של מערכי נתונים ב-BigQuery אפשר להשתמש לנתוני החיוב ב-Cloud

    צריך להגדיר את מערכי הנתונים ב-BigQuery למיקום. המיקום יכול להיות במספר אזורים (באיחוד האירופי או בארה"ב) או באזור אחד. המיקום של מערך הנתונים נקבע כשיוצרים אותו, ואי אפשר לשנות אותו אחר כך.

    כשמייצאים את נתוני החיוב ב-Cloud, אפשר להשתמש בכל המיקומים במספר אזורים (באיחוד האירופי או בארה"ב), אבל רק בחלק מהמיקומים באזור אחד. כשאתם מגדירים את הייצוא של נתוני החיוב ב-Cloud, אם תיצרו או תבחרו מערך נתונים שמוגדר למיקום באזור שלא נתמך, כשתנסו לשמור את הגדרות הייצוא תופיע הודעת שגיאה לגבי האזור של מערך הנתונים.

    בטבלה הבאה מופיעים המיקומים במספר אזורים והמיקומים באזור אחד שנתמכים, לצורך שימוש במערכי נתונים ב-BigQuery שמכילים נתוני חיוב ב-Cloud.

    אמריקה אסיה ואזור האוקיינוס השקט אירופה

    במספר אזורים: ארה"ב

    אזורים:

    • ‫northamerica-northeast1 (מונטריאול)
    • ‫southamerica-east1 (סאו פאולו)
    • ‫us-central1 (איווה)
    • ‫us-east1 (קרוליינה הדרומית)
    • ‫us-east4 (וירג'יניה הצפונית)
    • ‫us-west1 (אורגון)
    • ‫us-west2 (לוס אנג'לס)
    • ‫us-west3 (סולט לייק סיטי)
    • ‫us-west4 (לאס וגאס)

    אזורים:

    • ‫asia-east1 (טייוואן)
    • ‫asia-east2 (הונג קונג)
    • ‫asia-northeast1 (טוקיו)
    • ‫asia-northeast2 (אוסקה)
    • ‫asia-northeast3 (סיאול)
    • ‫asia-south1 (מומבאי)
    • ‫asia-southeast1 (סינגפור)
    • ‫asia-southeast2 (ג'קרטה)
    • ‫australia-southeast1 (סידני)

    במספר אזורים: האיחוד האירופי

    אזורים:

    • ‫europe-central2 (ורשה)
    • ‫europe-north1 (פינלנד)
    • ‫europe-west1 (בלגיה)
    • ‫europe-west2 (לונדון)
    • ‫europe-west3 (פרנקפורט)
    • ‫europe-west4 (הולנד)
    • ‫europe-west6 (ציריך)

  • במערכי נתונים ב-BigQuery שמכילים נתונים סטנדרטיים או נתונים מפורטים של עלויות השימוש, סוג המיקום שמגדירים במערך הנתונים משפיע על מועד הייצוא של נתוני החיוב מ- Google Cloud למערך הנתונים:

    • אם תגדירו שמערך הנתונים יתבסס על מיקום במספר אזורים (באיחוד האירופי או בארה"ב), נתוני החיוב ב- Google Cloud שיופיעו יהיו מתחילת החודש שלפני הפעם שבה הפעלתם לראשונה את הייצוא, אלא אם הפעלתם את הייצוא מחדש. כלומר, נתוני החיוב מ-Google Cloud יתווספו רטרואקטיבית לחודש הנוכחי ולחודש הקודם. במילוי החוסרים הראשוני, הייצוא של נתוני החיוב הרטרואקטיביים ב-Cloud יסתיים תוך חמישה ימים ורק אז תתחילו לראות את נתוני השימוש הנוכחיים.

    • אם תגדירו שמערך הנתונים יתבסס על מיקום באזור אחד, הנתונים הסטנדרטיים והנתונים המפורטים של עלויות השימוש ב- Google Cloud יכללו רק את העלויות שצברתם החל מהתאריך שבו הפעלתם את הייצוא של נתוני החיוב ב-Cloud. כלומר, נתוני החיוב ב-Google Cloud לא נוספים רטרואקטיבית במערכי נתונים שהם לא במספר אזורים, כך שלא תראו את עלויות החיוב ב-Cloud שצברתם לפני שהפעלתם את הייצוא.

    • מידע נוסף מופיע בקטע זמינות הנתונים.

  • מערכי הנתונים ב-BigQuery שמכילים נתוני תמחור אוספים רק את נתוני החיוב ב- Google Cloud שנצברו החל מהתאריך שבו הגדרתם את הייצוא של נתוני החיוב מ-Cloud. כלומר, נתוני התמחור ב-Google Cloud לא מתווספים רטרואקטיבית, ולא תראו את נתוני החיוב ב-Cloud של העלויות שצברתם לפני שהפעלתם את הייצוא. מידע נוסף מופיע בקטע זמינות הנתונים.

  • כשמייצאים נתונים מפורטים של עלויות השימוש, הייצוא כולל אוטומטית פרטים ברמת המשאב לגבי Compute Engine. כדי לראות את פירוט העלויות של אשכולות Google Kubernetes Engine ‏(GKE) כשמייצאים נתונים מפורטים, צריך גם להפעיל הקצאת עלויות ב-GKE.

  • הצפנת מערך הנתונים: כשמייצאים את נתוני החיוב ל-BigQuery, אי אפשר להשתמש במפתחות הצפנה בניהול הלקוח (CMEK). אם תפעילו הצפנת CMEK למערך הנתונים של נתוני החיוב, שימו לב שסוג ההצפנה הזה מונע כתיבה של הנתונים מהחיוב ב-Cloud בטבלאות המתאימות במערך הנתונים. כדי להצפין את מערך הנתונים צריך להשתמש במפתח הצפנה שבבעלות ובניהול של Google .

  • אם רוצים להשתמש באבטחה ברמת השורה ב-BigQuery בטבלה שמכילה את הנתונים שייצאתם, חשבון השירות של ייצוא נתוני החיוב ב-Cloud, billing-export-bigquery@system.gserviceaccount.com, צריך הרשאת גישה מלאה לטבלה. כדי לעשות את זה, משתמשים במסנן BigQuery‏ TRUE. הפקודה שכאן מאפשרת גישה לחשבון השירות של החיוב ב-Cloud:

    CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

  • תגים ברמת המשאב יתעדכנו תוך שעה בייצוא ל-BigQuery. אם הוספתם או הסרתם תג במהלך אותה שעה, או אם המשאב היה קיים במשך פחות משעה, יכול להיות שהוא לא יופיע בנתונים שתייצאו.

    אפשר להשתמש בתגים ברמת המשאב למשאבים הבאים:

    • מכונות Compute Engine
    • מכונות Spanner
    • שירותי Cloud Run
    • מאגרי Artifact Registry

  • אם תשתמשו ב-VPC Service Controls, יכול להיות שהייצוא ל-BigQuery ייחסם. כדי לפתור את הבעיה תצטרכו לאפשר פטור מחסימה ל-VPC באופן ידני.

הבא
הגדרת הייצוא של נתוני חיוב ל-BigQuery