Migrazione delle richieste in uscita

Per impostazione predefinita, il runtime Python 2.7 utilizza il servizio di recupero URL per gestire le richieste HTTP(S) in uscita, anche se utilizzi le librerie Python urllib, urllib2 o httplib per inviarle. Il recupero URL non gestisce le richieste dalla libreria requests a meno che tu non le abiliti esplicitamente.

Il runtime Python 3 non richiede un servizio intermediario per gestire le richieste in uscita. Se vuoi eseguire la migrazione dall'utilizzo delle API URL Fetch ma hai comunque bisogno di funzionalità simili, devi eseguire la migrazione di tali richieste per utilizzare una libreria Python standard come la libreria requests.

Differenze principali tra il recupero di URL e le librerie Python standard

  • Il limite di dimensioni e le quote per le richieste gestite tramite il recupero degli URL sono diversi dalle quote e dalle quote per le richieste che non sono gestite dall'URL Fetch.

  • Con URL Fetch, quando la tua app invia una richiesta a un'altra app di App Engine, URL Fetch aggiunge l'intestazione della richiesta X-Appengine-Inbound-Appid per asserire l'identità dell'app. L'app che riceve la richiesta può utilizzare l'identità per determinare se è in grado di elaborarla.

    Questa intestazione è disponibile solo nelle richieste inviate dalla tua app se utilizza il recupero URL. App Engine rimuove l'intestazione se tu o una terza parte la aggiungete a una richiesta.

    Per informazioni su asserzione e verifica dell'identità senza recupero di URL, consulta la sezione Migrazione dell'identità delle app ai token ID OIDC.

    Per un esempio di come utilizzare l'intestazione della richiesta per verificare l'identità dell'app chiamante quando vengono inviate richieste tra le app di App Engine, consulta la sezione Esempio di richiesta da App Engine a App Engine.

  • Puoi utilizzare lo strumento Recupero URL per impostare un timeout predefinito per tutte le richieste. La maggior parte delle librerie Python 3 come requests e urllib imposta il timeout predefinito su None, quindi è necessario aggiornare ogni richiesta effettuata dal codice per specificare un timeout.

Panoramica del processo di migrazione

  1. Se la tua app utilizza API URL Fetch per effettuare richieste, aggiorna il tuo codice per utilizzare una libreria Python standard. Ti consigliamo di specificare un timeout per ogni richiesta.

  2. Verifica le richieste in uscita nel server di sviluppo locale.

  3. Configura la tua app in modo da ignorare il recupero dell'URL durante l'esecuzione in App Engine.

  4. Esegui il deployment dell'app.

Sostituzione delle API URL Fetch con una libreria Python

  1. Se non utilizzi già una libreria Python standard per inviare richieste in uscita, scegli una libreria e aggiungila alle dipendenze dell'app.

    Ad esempio, per utilizzare la libreria Richieste crea un file requirements.txt nella stessa cartella del tuo file app.yaml e aggiungi la seguente riga:

    requests==2.24.0

    Per la compatibilità con Python 2, è consigliabile bloccare la libreria requests nella versione 2.24.0. Quando esegui il deployment dell'app, App Engine scarica tutte le dipendenze definite nel file requirements.txt.

    Per lo sviluppo locale, consigliamo di installare dipendenze in un ambiente virtuale come venv.

  2. Cerca il tuo codice per qualsiasi utilizzo del modulo google.appengine.api.urlfetch e aggiorna il codice per utilizzare la tua libreria Python.

Fare richieste HTTPS semplici

L'esempio seguente mostra come inviare una richiesta HTTPS standard utilizzando la libreria requests:

appengine/standard/migration/urlfetch/requests/main.py 
# Copyright 2020 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

import logging

from flask import Flask

import requests

app = Flask(__name__)

@app.route('/')
def index():
    url = 'http://www.google.com/humans.txt'
    response = requests.get(url)
    response.raise_for_status()
    return response.text

@app.errorhandler(500)
def server_error(e):
    logging.exception('An error occurred during a request.')
    return """
    An internal error occurred: <pre>{}</pre>
    See logs for full stacktrace.
    """.format(e), 500

if __name__ == '__main__':
    # This is used when running locally.
    app.run(host='127.0.0.1', port=8080, debug=True)

Esecuzione di richieste HTTPS asincrone

L'esempio seguente mostra come inviare una richiesta HTTPS asincrona utilizzando la libreria requests:

appengine/standard/migration/urlfetch/async/main.py 
# Copyright 2020 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

import logging

from flask import Flask, make_response

from requests_futures.sessions import FuturesSession
from time import sleep

TIMEOUT = 10    # Wait this many seconds for background calls to finish
app = Flask(__name__)

@app.route('/')     # Fetch and return remote page asynchronously
def get_async():
    session = FuturesSession()
    url = 'http://www.google.com/humans.txt'

    rpc = session.get(url)

    # ... do other things ...

    resp = make_response(rpc.result().text)
    resp.headers['Content-type'] = 'text/plain'
    return resp

@app.route('/callback')     # Fetch and return remote pages using callback
def get_callback():
    global response_text
    global counter

    response_text = ''
    counter = 0

    def cb(resp, *args, **kwargs):
        global response_text
        global counter

        if 300 <= resp.status_code < 400:
            return  # ignore intermediate redirection responses

        counter += 1
        response_text += 'Response number {} is {} bytes from {}\n'.format(
            counter, len(resp.text), resp.url)

    session = FuturesSession()
    urls = [
        'https://google.com/',
        'https://www.google.com/humans.txt',
        'https://www.github.com',
        'https://www.travis-ci.org'
    ]

    futures = [session.get(url, hooks={'response': cb}) for url in urls]

    # No wait functionality in requests_futures, so check every second to
    # see if all callbacks are done, up to TIMEOUT seconds
    for elapsed_time in range(TIMEOUT+1):
        all_done = True
        for future in futures:
            if not future.done():
                all_done = False
                break
        if all_done:
            break
        sleep(1)

    resp = make_response(response_text)
    resp.headers['Content-type'] = 'text/plain'
    return resp

@app.errorhandler(500)
def server_error(e):
    logging.exception('An error occurred during a request.')
    return """
    An internal error occurred: <pre>{}</pre>
    See logs for full stacktrace.
    """.format(e), 500

Test in locale

Se hai aggiornato le richieste in uscita, esegui l'app nel server di sviluppo locale e verifica che le richieste abbiano esito positivo.

Ignorare il recupero dell'URL

Per impedire a Recupero URL di gestire le richieste quando esegui il deployment della tua app in App Engine:

  1. Nel file app.yaml, imposta la variabile di ambiente GAE_USE_SOCKETS_HTTPLIB su qualsiasi valore. Il valore può essere qualsiasi valore, inclusa una stringa vuota. Ad esempio:

    env_variables:
  GAE_USE_SOCKETS_HTTPLIB : ''

  2. Se hai attivato il recupero URL per gestire le richieste inviate dalla libreria requests, puoi rimuovere le richieste AppEngineAdapter dalla tua app.

    Ad esempio, rimuovi requests_toolbelt.adapters.appengine dal file appengine_config.py e requests_toolbelt.adapters.appengine.monkeypatch() dai file Python.

Tieni presente che, anche se esegui l'override del metodo di recupero URL come descritto nei passaggi precedenti, la tua app può comunque utilizzare direttamente l'API URL Fetch.

Deployment dell'applicazione

Quando tutto è pronto per il deployment dell'app, devi:

  1. Testa l'app su App Engine.

    Visualizza la pagina Quote di App Engine in Google Cloud Console per verificare che l'app non effettui chiamate all'API Url Fetch.

    Visualizza chiamate API URL Fetch

  2. Se l'app viene eseguita senza errori, utilizza la suddivisione del traffico per aumentare lentamente il traffico per l'app aggiornata. Monitora attentamente l'app per individuare eventuali problemi prima di instradare più traffico all'app aggiornata.