Gérer la charge de travail à l'aide de réservations

Cette page explique comment gérer vos charges de travail BigQuery à l'aide de BigQuery Reservations.

Choisir un modèle de facturation

Vous pouvez à tout moment basculer entre les modèles de facturation à la demande et ceux basés sur la capacité. Vous pouvez également choisir de combiner les deux modèles. Les deux modèles de tarification se complètent. La facturation à la demande vous permet de ne payer des emplacements que lorsque vous en avez besoin, tandis que la tarification basée sur la capacité vous permet de réserver des allocations d'emplacements pour des charges de travail prévisibles, généralement avec une remise sur la tarification à la demande.

Si vous optez pour la facturation basée sur la capacité, tenez compte des facteurs suivants :

• Coût Google recommande de définir vos dépenses d'analyses mensuelles autour de l'engagement minimal basé sur la capacité BigQuery.
• Efficience. Si vous exécutez des charges de travail peu fréquentes ou incohérentes, la tarification à la demande peut être plus efficace. Grâce aux tarifs à la demande, vous ne payez les emplacements que lorsque vous en avez besoin.
• Prévisibilité. Vous pouvez préférer le modèle de facturation basé sur la capacité si la prévisibilité de frais mensuels figés présente un intérêt pour vous.
• Ressources. La capacité accessible est différente selon le modèle de facturation choisi, à savoir une facturation basée sur la capacité ou à la demande. Pour plus d'informations, consultez la section Estimer le nombre d'emplacements à acheter.

En tant que nouveau client, vous pouvez choisir de commencer par une facturation basée sur la capacité. Vous pouvez à tout moment connaître le montant de vos dépenses si vous aviez choisi la facturation à la demande, et opter pour le modèle qui vous convient.

Vous pouvez également tester les emplacements avec autoscaling. Les emplacements avec autoscaling permettent de gérer une augmentation soudaine des charges de travail ainsi que les variations des besoins en capacité.

Vous pouvez également combiner des modèles de facturation à la demande et basée sur la capacité, au niveau de la charge de travail ou de l'unité commerciale, en organisant les charges de travail ou les unités commerciales dans différents projets ou dossiers que vous attribuez ensuite à une réservation ou à la facturation à la demande.

Remarque : La tarification à la demande vous permet d'accéder à 2 000 emplacements ou plus par projet Google Cloud. Avec la tarification basée sur la capacité, vous pouvez vous engager sur moins de 2 000 emplacements, mais vos requêtes peuvent être moins performantes, en fonction de vos besoins en charge de travail.

Vous pouvez utiliser la facturation basée sur la capacité dans une région et la facturation à la demande dans une autre région. Par défaut, la facturation à la demande est appliquée à tous les projets. Si vous choisissez la facturation basée sur la capacité pour un projet, un dossier ou une organisation dans une région, vous devez l'attribuer à une réservation. Par exemple, vous achetez un engagement d'emplacement dans la zone multirégionale US et attribuez votre organisation à la réservation par défaut. Votre facturation sera basée sur la capacité dans la zone multirégionale US, mais à la demande dans les autres régions.

Vous pouvez combiner la facturation basée sur la capacité et à la demande au sein d'une même région en attribuant explicitement des projets à une réservation. Tout projet non attribué à une réservation est facturé à la demande. Vous pouvez également attribuer explicitement un projet pour utiliser la facturation à la demande en attribuant l'ID de réservation none. Cette opération est utile si vous attribuez un dossier ou une organisation à une réservation, mais souhaitez que certains projets de ce dossier ou de cette organisation utilisent la facturation à la demande. Pour en savoir plus, consultez la section Définir l'attribution "None" pour un projet.

Les projets facturés à la demande utilisent une capacité distincte de la capacité engagée. Ces projets n'affectent pas la disponibilité de la capacité allouée par l'engagement.

Créer un projet d'administration

Lorsque vous créez des engagements et des réservations, ils sont associés à un projet Google Cloud. Ce projet gère les ressources BigQuery Reservations et constitue la principale source de facturation pour ces ressources. Il ne doit pas nécessairement être identique à celui qui contient vos tâches BigQuery.

Google recommande de créer un projet dédié aux ressources Reservations. Ce projet est appelé projet d'administration, car il centralise la facturation et la gestion de vos engagements. Attribuez un nom descriptif à ce projet, tel que bq-COMPANY_NAME-admin. Créez ensuite un ou plusieurs projets distincts pour stocker vos tâches BigQuery.

Seuls les projets appartenant à la même ressource Organisation que le projet d'administration peuvent être attribués à une réservation. Si le projet d'administration ne fait pas partie d'une organisation, seul ce projet peut utiliser les emplacements.

Les emplacements sur engagement sont facturés au projet d'administration. Les projets qui utilisent les emplacements sont facturés pour le stockage, mais pas pour les emplacements eux-mêmes. Vous pouvez acheter plusieurs types de forfaits (par exemple, annuel et sur trois ans) et placer les emplacements dans le même projet d'administration.

Remarque : Après avoir créé une réservation ou un engagement, vous ne pouvez pas le déplacer dans un autre projet d'administration.

Il est recommandé de limiter le nombre de projets d'administration. Cela aide à simplifier la gestion de la facturation et l'allocation des emplacements. Un projet d'administration pour l'ensemble des réservations de votre organisation est recommandé lorsque cela est possible. Les organisations complexes peuvent avoir besoin de projets d'administration supplémentaires pour répondre aux exigences de gestion ou de facturation.

Créer plusieurs projets d'administration

Dans certains cas, vous pouvez créer plusieurs projets d'administration :

• Pour séparer les coûts de plusieurs réservations et engagements en différentes unités organisationnelles.
• Pour mapper un ou plusieurs engagements d'emplacements sur des ensembles de réservations spécifiques.

La capacité d'emplacements inactifs n'est pas partagée entre les réservations dans différents projets d'administration.

Sur la page BigQuery de la console Google Cloud, vous ne pouvez afficher les réservations et les engagements que pour le projet d'administration sélectionné.

Estimer le nombre d'emplacements à acheter

BigQuery est conçu pour évoluer linéairement avec des ressources accrues. En fonction de la charge de travail, la capacité incrémentielle peut vous apporter des avantages supplémentaires. Par conséquent, le choix du nombre optimal d'emplacements à acheter dépend de vos exigences en termes de performances, de débit et d'utilisation.

Vous pouvez tester les emplacements de référence et d'autoscaling pour déterminer la meilleure configuration d'emplacements. Par exemple, vous pouvez tester votre charge de travail avec 500 emplacements de référence, puis 1 000, puis 1 500 et 2 000, et observer l'impact sur les performances.

Cela vous permet également d'examiner les emplacements qu'utilisent actuellement vos projets, ainsi que le prix mensuel que vous souhaitez payer. Les charges de travail à la demande ont actuellement une limite approximative de 2 000 emplacements. Cependant, nous vous conseillons de vérifier le nombre d'emplacements réellement utilisés par vos projets à l'aide de vues INFORMATION_SCHEMA.JOBS*, de Cloud Logging, de l'API Jobs ou des journaux d'audit BigQuery. Pour en savoir plus, consultez la section Visualiser les emplacements disponibles et alloués.

Après avoir acheté des emplacements et exécuté vos charges de travail pendant au moins sept jours, vous pouvez utiliser l'estimateur d'emplacement (version bêta) pour analyser les performances, et modéliser l'effet de l'ajout ou de la réduction d'emplacements. Pour en savoir plus, consultez la section Estimer les exigences relatives à la capacité d'emplacements.

Gérer vos charges de travail et services à l'aide des réservations

Pour isoler votre capacité engagée répartie entre les charges de travail, les équipes ou les services, vous pouvez créer des réservations supplémentaires et attribuer des projets à ces réservations à l'aide de BigQuery Reservations. Chaque réservation correspond à un pool isolé de ressources, qui présente l'avantage supplémentaire de pouvoir profiter de la capacité inutilisée sur l'ensemble de votre organisation.

Par exemple, imaginons que vous ayez une capacité totale engagée de 1 000 emplacements et trois types de charges de travail : data science, ELT et informatique décisionnelle.

• Vous pouvez créer une réservation ds avec 500 emplacements et attribuer tous les projets Google Cloud pertinents à la réservation ds.
• Vous pouvez créer une réservation elt avec 300 emplacements et attribuer les projets que vous utilisez pour les charges de travail ELT à la réservation elt.
• Vous pouvez créer une réservation bi avec 200 emplacements et attribuer les projets associés à vos outils de veille stratégique à la réservation bi.

Au lieu de répartir votre capacité entre les charges de travail, vous pouvez choisir de créer des réservations dédiées à des équipes ou des services spécifiques.

Gérer des réservations dans différentes régions

Les réservations sont une ressource régionale. Les emplacements achetés et les réservations créées dans une région ne peuvent pas être utilisés dans une autre région. Les projets, dossiers et organisations peuvent tous être attribués à des réservations dans une région et s'exécuter à la demande dans une autre. Pour gérer les réservations dans une autre région, vous devez modifier la région sur la page Gestion de la capacité de BigQuery :

1. Dans la console BigQuery, cliquez sur Réservations.
2. Cliquez sur l'outil de sélection Location (Emplacement), puis sélectionnez la région dans laquelle vous souhaitez gérer les réservations.
3. Une fois la région sélectionnée, vous pouvez acheter des emplacements, créer des réservations et attribuer un projet à une réservation.

BigQuery Reservations pour les organisations complexes

BigQuery Reservations est une ressource appliquée au niveau de l'organisation. Vous achetez des réservations de manière centralisée afin de les utiliser dans l'ensemble de votre organisation. Vous pouvez demander à certains services ou divisions de gérer leurs réservations BigQuery en achetant dese engagements de capacité et en répartissant cette capacité entre les services ou les divisions. Le projet d'administration est associé à un compte Cloud Billing, facturé pour la capacité.

Vous pouvez utiliser une organisation Google Cloud distincte pour chacun de vos services ou divisions. Dans ce scénario, vous définissez un projet d'administration pour chaque organisation et gérez BigQuery Reservations pour cette organisation à partir du projet d'administration. Les capacités engagées ou inactives ne sont donc pas partagées entre les organisations.

Les emplacements inactifs et non alloués ne sont partagés qu'entre les réservations créées dans le même projet d'administration et dans la même édition. Si vous utilisez plusieurs projets d'administration, les emplacements ne sont pas partagés entre les réservations dans les différents projets d'administration.