הסבר על טבלאות נתוני החיוב ב-Cloud ב-BigQuery

במאמר הזה מפורטת הסכימה של נתוני החיוב ב-Cloud, שמיוצאת לכל טבלה ב-BigQuery.

טבלאות של נתוני חיוב

זמן קצר אחרי הפעלת הייצוא של חיוב ב-Cloud ל-BigQuery, טבלאות נתוני החיוב נוצרות באופן אוטומטי במערך הנתונים ב-BigQuery.

• טבלת נתוני עלות סטנדרטיים של שימוש – במערך הנתונים ב-BigQuery הטבלה נקראת gcp_billing_export_v1_<BILLING_ACCOUNT_ID>.
• טבלת נתוני עלות מפורטים של שימוש – כוללת את כל שדות הנתונים מטבלת נתוני העלות הסטנדרטיים של שימוש, יחד עם שדות נוספים שמספקים נתוני עלות ברמת המשאב, כמו מכונה וירטואלית או כונן SSD, שיוצרים שימוש בשירות. במערך הנתונים ב-BigQuery הטבלה נקראת gcp_billing_export_resource_v1_<BILLING_ACCOUNT_ID>.
• טבלת נתוני תמחור – במערך הנתונים ב-BigQuery הטבלה נקראת cloud_pricing_export.

שימו לב: אל תשנו את הטבלאות האלה, למשל על ידי הוספת עמודה או יצירה מחדש של הטבלאות באופן ידני. אם תעשו את זה, יכול להיות שייצוא הנתונים ייפסק או שהנתונים שצורפו באופן ידני לטבלאות ייעלמו, עד שהשינויים יבוטלו או שהטבלאות יימחקו.

אם תרצו לאחד נתוני חיוב מהגדרות קודמות או מגרסאות ישנות של ייצוא לחיוב ב-Cloud ל-BigQuery, מומלץ לשמור את הנתונים בטבלאות נפרדות ולהשתמש במקום זאת בשאילתה UNION.

תדירות טעינת הנתונים

ייצוא של נתוני עלות סטנדרטיים ומפורטים של שימוש

• בפעם הראשונה שתפעילו את הייצוא ל-BigQuery של הנתונים הסטנדרטיים או המפורטים של עלויות השימוש, יכול להיות שרק תוך כמה שעות תתחילו לראות את נתוני העלויות של ‎Google Cloud ‎ במערך הנתונים ב-BigQuery. הנתונים מיוצאים בסדר כרונולוגי. אם הייצוא מוגדר לכלול נתונים רטרואקטיביים של החודש שעבר והחודש הנוכחי, הייצוא של נתוני השימוש הנוכחיים יסתיים תוך עד חמישה ימים.
• שירותיGoogle Cloud מדווחים על נתוני השימוש והעלות לתהליכי חיוב ב-Cloud במרווחי זמן שונים.
• החיוב ב-Cloud מייצא את נתוני השימוש והעלות למערך הנתונים ב-BigQuery במרווחי זמן קבועים (בלי התחייבות למסירה או לזמן אחזור בנוגע לייצוא ל-BigQuery).
• מכיוון שתדירות הדיווח על השימוש משתנה בהתאם לשירות של Google Cloud , יכול להיות שנתוני השימוש והעלות של החיוב ב-Cloud לא יופיעו מייד לכל שירותי Google Cloud שהשתמשתם בהם לאחרונה.

ייצוא התמחור

• בפעם הראשונה שמפעילים את ייצוא התמחור ל-BigQuery, יכול להיות שיעברו עד 48 שעות לפני שנתוני התמחור של Google Cloud יתחילו להופיע.
• אחרי שמפעילים את ייצוא התמחור, נתוני התמחור שרלוונטיים לחשבון לחיוב ב-Cloud מיוצאים ל-BigQuery פעם ביום.

זמינות הנתונים

• כשמפעילים בפעם הראשונה את הייצוא של נתוני העלות הסטנדרטיים או המפורטים של שימוש:

  • אם מגדירים שמערך הנתונים ב-BigQuery יתבסס על מיקום במספר אזורים (באיחוד האירופי או בארה"ב), הייצוא יכלול נתוני חיוב רטרואקטיביים ב-Cloud, מתחילת החודש שעבר. לדוגמה, אם תפעילו את הייצוא של נתונים סטנדרטיים או מפורטים של עלויות השימוש ב-23 בספטמבר, הייצוא יכלול נתונים החל מ-1 באוגוסט.

    אנחנו מייצאים את הנתונים בסדר כרונולוגי, יום אחרי יום, כך שהנתונים מהיום הראשון בחודש שעבר מופיעים קודם. במילוי החוסרים הראשוני, הייצוא של נתוני החיוב הרטרואקטיביים ב-Cloud יסתיים בתוך עד 5 ימים ורק אז תתחילו לראות את נתוני השימוש האחרונים.

  • אם מגדירים שמערך הנתונים ב-BigQuery יתבסס על מיקום באזור נתמך, נתוני העלות הסטנדרטיים או המפורטים של השימוש יהיו זמינים החל מהתאריך שבו הפעלתם את הייצוא של נתוני החיוב ב-Cloud. כלומר, נתוני החיוב ב-Google Cloud לא נוספים רטרואקטיבית במערכי נתונים שהם לא במספר אזורים, כך שלא תראו את עלויות החיוב ב-Cloud שצברתם לפני שהפעלתם את הייצוא.

  • אם תפעילו, תשביתו ואז תפעילו מחדש את הייצוא של הנתונים הסטנדרטיים או המפורטים של עלויות השימוש, יכול להיות שלא יהיו נתוני חיוב ב-Cloud לתקופה שבה הייצוא היה מושבת.

• אם תפעילו את הייצוא של נתוני התמחור, במערך הנתונים ב-BigQuery יופיעו נתוני חיוב ב-Cloud רק החל מהתאריך שבו הפעלתם את הייצוא בפעם הראשונה. נתוני התמחור של החיוב ב-Cloud לא יתווספו רטרואקטיבית, כך שלא תראו נתוני תמחור שקודמים לתאריך שבו שהפעלתם את הייצוא.

• מערך הנתונים ב-BigQuery משקף את מצב השימוש במשאבים שלכם כמו שהוא תועד. כלומר אם משנים את המשאבים, למשל מוסיפים תוויות חדשות לפרויקטים או משנים את היררכיית הפרויקט (ואז project.ancestors ישתנה), השינויים יתעדכנו בנתונים רק בפעם הבאה שתייצאו את נתוני השימוש. הנתונים שכבר יוצאו לא ישתנו.

• אם מוחקים נתונים שיוצאו (כמו רשומות ייצוא של BigQuery), לא נוכל למלא את החוסרים (backfill) של הרשומות שנמחקו.

• טעינות הנתונים ב-BigQuery תואמות ל-ACID, לכן אם תבצעו שאילתה במערך הנתונים ב-BigQuery לייצוא חיוב ב-Cloud בזמן שהנתונים נטענים, לא יופיעו נתונים שנטענו חלקית.

• חשוב להכיר מגבלות אחרות שעשויות להשפיע על ייצוא נתוני החיוב ל-BigQuery, כמו מערכי נתונים שבהם הופעלו מפתחות הצפנה בניהול הלקוח (CMEK).

מגבלות

הייצוא של נתוני חיוב ב-Cloud ל-BigQuery כפוף למגבלות הבאות:

• באילו מיקומים של מערכי נתונים ב-BigQuery אפשר להשתמש לנתוני החיוב ב-Cloud

  צריך להגדיר את מערכי הנתונים ב-BigQuery למיקום. המיקום יכול להיות במספר אזורים (באיחוד האירופי או בארה"ב) או באזור אחד. המיקום של מערך הנתונים נקבע כשיוצרים אותו, ואי אפשר לשנות אותו אחר כך.

  כשמייצאים את נתוני החיוב ב-Cloud, אפשר להשתמש בכל המיקומים במספר אזורים (באיחוד האירופי או בארה"ב), אבל רק בחלק מהמיקומים באזור אחד. כשאתם מגדירים את הייצוא של נתוני החיוב ב-Cloud, אם תיצרו או תבחרו מערך נתונים שמוגדר למיקום באזור שלא נתמך, כשתנסו לשמור את הגדרות הייצוא תופיע הודעת שגיאה לגבי האזור של מערך הנתונים.

  בטבלה הבאה מופיעים המיקומים במספר אזורים והמיקומים באזור אחד שנתמכים, לצורך שימוש במערכי נתונים ב-BigQuery שמכילים נתוני חיוב ב-Cloud.

  אמריקה	אסיה ואזור האוקיינוס השקט	אירופה
  במספר אזורים: ארה"ב אזורים: ‫northamerica-northeast1 (מונטריאול) ‫southamerica-east1 (סאו פאולו) ‫us-central1 (איווה) ‫us-east1 (קרוליינה הדרומית) ‫us-east4 (וירג'יניה הצפונית) ‫us-west1 (אורגון) ‫us-west2 (לוס אנג'לס) ‫us-west3 (סולט לייק סיטי) ‫us-west4 (לאס וגאס)	אזורים: ‫asia-east1 (טייוואן) ‫asia-east2 (הונג קונג) ‫asia-northeast1 (טוקיו) ‫asia-northeast2 (אוסקה) ‫asia-northeast3 (סיאול) ‫asia-south1 (מומבאי) ‫asia-southeast1 (סינגפור) ‫asia-southeast2 (ג'קרטה) ‫australia-southeast1 (סידני)	במספר אזורים: האיחוד האירופי אזורים: ‫europe-central2 (ורשה) ‫europe-north1 (פינלנד) ‫europe-west1 (בלגיה) ‫europe-west2 (לונדון) ‫europe-west3 (פרנקפורט) ‫europe-west4 (הולנד) ‫europe-west6 (ציריך)

• במערכי נתונים ב-BigQuery שמכילים נתונים סטנדרטיים או נתונים מפורטים של עלויות השימוש, סוג המיקום שמגדירים במערך הנתונים משפיע על מועד הייצוא של נתוני החיוב מ- Google Cloud למערך הנתונים:

  • אם תגדירו שמערך הנתונים יתבסס על מיקום במספר אזורים (באיחוד האירופי או בארה"ב), נתוני החיוב ב- Google Cloud שיופיעו יהיו מתחילת החודש שלפני הפעם שבה הפעלתם לראשונה את הייצוא, אלא אם הפעלתם את הייצוא מחדש. כלומר, נתוני החיוב מ-Google Cloud יתווספו רטרואקטיבית לחודש הנוכחי ולחודש הקודם. במילוי החוסרים הראשוני, הייצוא של נתוני החיוב הרטרואקטיביים ב-Cloud יסתיים תוך חמישה ימים ורק אז תתחילו לראות את נתוני השימוש הנוכחיים.

  • אם תגדירו שמערך הנתונים יתבסס על מיקום באזור אחד, הנתונים הסטנדרטיים והנתונים המפורטים של עלויות השימוש ב- Google Cloud יכללו רק את העלויות שצברתם החל מהתאריך שבו הפעלתם את הייצוא של נתוני החיוב ב-Cloud. כלומר, נתוני החיוב ב-Google Cloud לא נוספים רטרואקטיבית במערכי נתונים שהם לא במספר אזורים, כך שלא תראו את עלויות החיוב ב-Cloud שצברתם לפני שהפעלתם את הייצוא.

    שימו לב: כשמייצאים את נתוני החיוב ב-Cloud, אפשר להשתמש בכל המיקומים במספר אזורים (באיחוד האירופי או בארה"ב), אבל רק בחלק מהמיקומים באזור אחד. כשאתם מגדירים את הייצוא של נתוני החיוב ב-Cloud, אם תיצרו או תבחרו מערך נתונים שמוגדר למיקום באזור שלא נתמך, כשתנסו לשמור את הגדרות הייצוא תופיע הודעת שגיאה לגבי האזור של מערך הנתונים.

  • מידע נוסף מופיע בקטע זמינות הנתונים.

• מערכי הנתונים ב-BigQuery שמכילים נתוני תמחור אוספים רק את נתוני החיוב ב- Google Cloud שנצברו החל מהתאריך שבו הגדרתם את הייצוא של נתוני החיוב מ-Cloud. כלומר, נתוני התמחור ב-Google Cloud לא מתווספים רטרואקטיבית, ולא תראו את נתוני החיוב ב-Cloud של העלויות שצברתם לפני שהפעלתם את הייצוא. מידע נוסף מופיע בקטע זמינות הנתונים.

• כשמייצאים נתונים מפורטים של עלויות השימוש, הייצוא כולל אוטומטית פרטים ברמת המשאב לגבי Compute Engine. כדי לראות את פירוט העלויות של אשכולות Google Kubernetes Engine ‏(GKE) כשמייצאים נתונים מפורטים, צריך גם להפעיל הקצאת עלויות ב-GKE.

• הצפנת מערך הנתונים: כשמייצאים את נתוני החיוב ל-BigQuery, אי אפשר להשתמש במפתחות הצפנה בניהול הלקוח (CMEK). אם תפעילו הצפנת CMEK למערך הנתונים של נתוני החיוב, שימו לב שסוג ההצפנה הזה מונע כתיבה של הנתונים מהחיוב ב-Cloud בטבלאות המתאימות במערך הנתונים. כדי להצפין את מערך הנתונים צריך להשתמש במפתח הצפנה שבבעלות ובניהול של Google .

• אם רוצים להשתמש באבטחה ברמת השורה ב-BigQuery בטבלה שמכילה את הנתונים שייצאתם, חשבון השירות של ייצוא נתוני החיוב ב-Cloud, [e-mail], צריך הרשאת גישה מלאה לטבלה. כדי לעשות את זה, משתמשים במסנן BigQuery‏ TRUE. הפקודה שכאן מאפשרת גישה לחשבון השירות של החיוב ב-Cloud:

  CREATE ROW ACCESS POLICY cloud_billing_export_policy
  ON `__project_id__.__dataset_id__.__table_id__`
  GRANT TO ('serviceAccount:[e-mail]')
  FILTER USING (TRUE);
  

• תגים ברמת המשאב יתעדכנו תוך שעה בייצוא ל-BigQuery. אם הוספתם או הסרתם תג במהלך אותה שעה, או אם המשאב היה קיים במשך פחות משעה, יכול להיות שהוא לא יופיע בנתונים שתייצאו.

  אפשר להשתמש בתגים ברמת המשאב למשאבים הבאים:

  • מכונות Compute Engine
  • מכונות Spanner
  • שירותי Cloud Run
  • מאגרי Artifact Registry

• אם תשתמשו ב-VPC Service Controls, יכול להיות שהייצוא ל-BigQuery ייחסם. כדי לפתור את הבעיה, תצטרכו לפטור את ה-VPC באופן ידני.

נושאים קשורים

נושאים שקשורים לנתוני חיוב ב-Cloud שיוצאו

• הגדרת הייצוא של נתוני החיוב ב-Cloud ל-BigQuery
• טבלת נתוני עלות סטנדרטיים של שימוש
• טבלת נתוני עלות מפורטים של שימוש
• טבלת נתוני תמחור
• המחשה חזותית של ההוצאות לאורך זמן באמצעות Looker Studio

דוחות של עלויות ותמחור שזמינים במסוף Google Cloud‏

• הצגת דוחות החיוב ב-Cloud ומגמות של עלויות
• צפייה בפרטי העלויות של החשבוניות ודפי החשבון והורדה שלהם
• צפייה במחירים בשירותי הענן של Google והורדה שלהם
• בדיקת החיסכון בחשבון בעזרת דוחות עם פירוט העלויות
• ניתוח היעילות של ההנחות תמורת התחייבות לשימוש
• צפייה בהיסטוריית התשלומים והעלויות