Service de récupération d'URL pour les anciens services groupés

Cette page décrit comment les applications App Engine utilisent le service de récupération d'URL pour envoyer des requêtes HTTP et HTTPS et recevoir des réponses. Pour voir des exemples de code montrant comment envoyer des requêtes HTTP et HTTPS à partir de l'application App Engine, consultez la page Émettre des requêtes HTTP(S). Pour afficher le contenu du package urlfetch, consultez la documentation de référence sur le package urlfetch.

Cette API est compatible avec les environnements d'exécution de première génération et peut être utilisée lors de la mise à niveau vers des environnements d'exécution de deuxième génération correspondants. Si vous effectuez une mise à jour vers l'environnement d'exécution Go 1.12+ d'App Engine, consultez le guide de migration pour en savoir plus sur les options de migration des anciens services groupés.

Requêtes

App Engine utilise le service URL Fetch pour envoyer des requêtes sortantes. En Go, le package urlfetch fournit l'élément urlfetch.Transport, une mise en œuvre de l'interface http.RoundTripper qui exécute des requêtes à l'aide de l'infrastructure App Engine.

Protocoles de requête

Une application peut récupérer une URL à l'aide du protocole HTTP ou HTTPS. Le protocole à utiliser est déduit de celui de l'URL cible.

L'URL à récupérer peut utiliser n'importe quel numéro de port compris dans les plages suivantes :

• 80 à 90
• 440 à 450
• 1024 à 65535

Si le port n'est pas mentionné dans l'URL, il est défini de manière implicite par le protocole. Les requêtes HTTP s'exécutent sur le port 80 et les requêtes HTTPS sur le port 443.

Méthodes de requête

Si vous envoyez des requêtes via le service de récupération d'URL, vous pouvez utiliser l'une des méthodes HTTP suivantes :

• GET
• POST
• PUT
• HEAD
• DELETE
• PATCH

Une requête peut inclure des en-têtes HTTP et, pour les requêtes POST, PUT et PATCH, une charge utile.

Transmettre des requêtes par proxy

Notez que le service de récupération d'URL utilise un proxy compatible HTTP/1.1 afin de récupérer le résultat.

Pour empêcher une application de provoquer une imbrication infinie des requêtes, les gestionnaires de requêtes ne sont pas autorisés à récupérer leur propre URL. Toutefois, une imbrication infinie peut encore être déclenchée par d'autres moyens. Soyez donc prudent si votre application est susceptible d'extraire des requêtes pour des URL fournies par l'utilisateur.

En-têtes de requête

Votre application peut définir des en-têtes HTTP pour les requêtes sortantes.

Lors de l'envoi d'une requête POST HTTP, si un en-tête Content-Type n'est pas explicitement défini, l'en-tête est défini sur x-www-form-urlencoded. Il s'agit ici du type de contenu utilisé par les formulaires Web.

Pour des raisons de sécurité, les en-têtes suivants ne peuvent pas être modifiés par l'application :

• Content-Length
• Host
• Vary
• Via
• X-Appengine-Inbound-Appid
• X-Forwarded-For
• X-ProxyUser-IP

Ces en-têtes sont définis sur des valeurs précises par App Engine de manière appropriée. Par exemple, App Engine calcule l'en-tête Content-Length à partir des données de requête et l'ajoute à la requête avant de l'envoyer.

Les en-têtes suivants indiquent l'ID de l'application à l'origine de la requête :

• User-Agent. Cet en-tête peut être modifié, mais App Engine ajoute une chaîne d'identifiant pour permettre aux serveurs d'identifier les requêtes App Engine. La chaîne ajoutée se présente au format "AppEngine-Google; (+http://code.google.com/appengine; appid: APPID)", où APPID correspond à l'identifiant de votre application.
• X-Appengine-Inbound-Appid. Cet en-tête ne peut pas être modifié et est ajouté automatiquement si la requête est envoyée via le service de récupération d'URL.

Délais avant expiration des requêtes

Vous pouvez définir la durée maximale, ou délai avant expiration, d'une requête. Par défaut, le délai avant expiration d'une requête est défini sur 60 secondes. La durée maximale est de 60 secondes pour les requêtes HTTP(S) ainsi que pour les requêtes de file d'attente de tâches et de tâches Cron.

Connexions sécurisées et protocole HTTPS

Votre application peut récupérer une URL en toute sécurité en se connectant à des serveurs sécurisés via le protocole HTTPS. Les données de requête et de réponse sont transmises sur le réseau sous forme chiffrée.

Dans l'API Go, le proxy de récupération d'URL valide l'hôte qu'il contacte par défaut. Ce comportement permet à l'API de détecter les attaques dites de "l'homme du milieu" entre App Engine et l'hôte distant lors de l'utilisation du protocole HTTPS.

Réponses

Si vous utilisez l'API URL Fetch, notez que le service de récupération d'URL renvoie toutes les données de réponse, y compris la réponse en elle-même, son code, ses en-têtes et son corps.

Par défaut, si le service de récupération d'URL reçoit une réponse contenant un code de redirection, il suit la redirection. Le service suit jusqu'à cinq réponses de redirection, puis renvoie la ressource finale.

Remarque : L'API URL Fetch impose des limites de taille de réponse. Si la réponse entrante dépasse la taille maximale, le service de récupération d'URL déclenche une exception. Pour en savoir plus, consultez la section Quotas et limites.

Vous pouvez indiquer à l'API URL Fetch de tronquer la réponse plutôt que de déclencher une exception.

Utiliser le service de récupération d'URL sur le serveur de développement

Lorsque votre application s'exécute sur le serveur de développement App Engine de votre ordinateur, les appels du service de récupération d'URL sont gérés localement. Le serveur de développement récupère les URL en contactant les hôtes distants directement à partir de votre ordinateur. Pour ce faire, il se sert de la configuration réseau que votre ordinateur utilise pour accéder à Internet, quelle qu'elle soit.

Lors du test des fonctionnalités de récupération d'URL de votre application, assurez-vous que votre ordinateur peut accéder aux hôtes distants.

Quotas et limites pour la récupération d'URL

Pour en savoir plus sur les quotas du service de récupération d'URL, consultez la section Quotas. Pour connaître l'utilisation actuelle du quota de votre application, accédez à la page "Détails des quotas" dans Google Cloud Console.

Accéder à la page des détails des quotas

De plus, les limites suivantes s'appliquent à l'utilisation du service de récupération d'URL :

Limite	Volume
Taille d'une requête	10 Mo
Taille d'un en-tête de requête	16 Ko (notez que cela limite la longueur maximale de l'URL pouvant être spécifiée dans l'en-tête)
Taille d'une réponse	32 Mo
Délai maximal pour le gestionnaire de requêtes	60 secondes
Délai maximal pour la file d'attente de tâches et le gestionnaire de tâches Cron	60 secondes

Étape suivante

Exécutez des exemples de code et obtenez des instructions sur la procédure à suivre pour envoyer des requêtes à partir de l'application sur la page Émettre des requêtes HTTP(S).