Améliorer le classement des sites Web grâce à l'analyse SEO basée sur les données

En s'appuyant sur l'évolutivité et la puissance de traitement de Google Cloud, OnCrawl aide ses clients à améliorer leur classement SEO sur les moteurs de recherche. Pour cela, l'entreprise analyse les sites à la demande, même les plus volumineux.

Les bénéfices en utilisant Google Cloud : 

• Solutions centrées sur les clients fournissant à la demande des résultats SEO exploitables pour des sites ou projets de toute taille grâce à l'autoscaling de GKE

• Mise en production plus rapide de nouvelles fonctionnalités et d'intégrations tierces en accélérant le déploiement de plus de 200 %

• Libère les équipes IT des tâches de maintenance, permettant un développement plus rapide et plus d'innovation

• Augmentation de 70 % du trafic pour les clients grâce à l'analyse basée sur les données

Pour qu'une entreprise s'implante sur un marché, il faut que ses clients potentiels la remarquent. Mais pour cela, elle doit avant tout être visible. À commencer sur le Web. Il faut pour cela qu'elle se fasse d'abord remarquer par les robots d'exploration (Web Crawlers). Ces derniers aident les moteurs de recherche à compiler rapidement des informations sur les sites, à les classer dans un index et à les afficher sur la page de résultats. Bien sûr, toute entreprise qui possède un site Web souhaite que son URL apparaisse la mieux placée possible sur cette page afin d’être aisément repérée par les clients. C'est là qu'entre en jeu la plateforme cloud d’optimisation du référencement naturel (Search Engine Optimization, SEO) d'OnCrawl.

Petites et grandes entreprises utilisent OnCrawl pour comprendre comment les robots d'exploration analysent les pages Web afin d’optimiser au mieux celles de leur site. Le service les aide à identifier les erreurs au niveau de l'optimisation « on-page » (architecture du contenu), du code HTML ou des structures de liens, autant d’éléments qui mal implémentés peuvent compromettre leur classement dans les moteurs de recherche et entraîner une baisse du trafic. Par exemple, un magasin de meubles utilisera OnCrawl pour évaluer quelles catégories de produits (comme "chambre" ou "armoires") conduisent les internautes vers son site Web. En étudiant les corrélations, l’entreprise pourra comprendre quelles caractéristiques rendent ces catégories plus performantes dans les moteurs de recherche. Autre exemple, les magazines en ligne peuvent augmenter la portée de leurs articles en surveillant le temps qu'il leur faut pour être listés dans les moteurs de recherche et en optimisant leur contenu avec les bons mots-clés et leurs structures de site pour générer des aperçus plus parlants dans les résultats de recherche.

« Notre plateforme doit pouvoir répondre à tous les besoins de nos clients, à tout moment. Pour cela, il nous fallait une technologie à la fois automatisée, disponible en permanence et capable de gérer des tâches gourmandes en ressources. Notre choix s'est rapidement porté sur Google Cloud, et c'est ce qui nous a permis d'en arriver où nous en sommes aujourd'hui, en partant de zéro. »

– Philippe David, Chief Technology Officer, OnCrawl

Grâce à des connecteurs compatibles avec les principales plateformes d'analyse et autres sources de données, les clients peuvent ajouter les informations collectées par OnClawl à leurs propres tableaux de bord. Ils bénéficient ainsi d'insights SEO exploitables à la volée. Aujourd'hui, l'entreprise traite 7 000 explorations par mois, ce qui représente plus de 250 millions d'URL explorées.

Offrir aux clients des explorations plus rapides et à la demande

Les robots d'exploration sont confrontés à des difficultés différentes selon le type de site Web. Typiquement, les sites JavaScript sont plus dynamiques et nécessitent des ressources importantes, ce qui les rend plus complexes à explorer que les sites Web standards. Mais même l'exploration de ces derniers requiert toute une séquence automatisée de tâches. À commencer par l’extraction de toutes les données et leur traitement sous Apache Spark. Pour améliorer la fiabilité et l'efficacité de ses explorations, OnCrawl a adopté en 2017 une approche orientée microservices s’appuyant sur Google Kubernetes Engine (GKE).

Grâce à GKE, les développeurs d'OnCrawl peuvent déployer de nouvelles fonctionnalités plus souvent et automatiser des tâches qui nécessitaient autrefois une intervention manuelle. Au lieu de provisionner un cluster pour chaque tâche Spark et le conserver, OnCrawl génère automatiquement des clusters éphémères avec Dataproc, qui sont supprimés une fois la tâche terminée. Cela permet d'automatiser davantage les explorations mais rend surtout les clusters moins coûteux et plus simples à maintenir.

« Grâce à Google Kubernetes Engine, nous pouvons lancer immédiatement des projets gigantesques. Nos clients peuvent donc explorer des centaines de millions de pages JavaScript du jour au lendemain s'ils le souhaitent. Il est déjà arrivé que notre robot d'exploration JavaScript passe de 10 pods Kubernetes à 750 en quelques minutes, sans le moindre problème. »

 – Philippe David, Chief Technology Officer, OnCrawl

Déploiements plus fréquents et scaling automatique améliorent l'expérience utilisateur des clients avec des explorations plus rapides et disponibles à la demande. Comme l'évolutivité est illimitée, les clients de petite envergure ne sont pas lésés si d'autres clients plus importants ont besoin des ressources. 

« Le Machine Learning est l'avenir du SEO. Grâce à ses puissantes capacités de traitement et ses fonctionnalités de scaling automatique, Google Cloud nous a permis de transformer OnCrawl en plateforme de Machine Learning. Et nous sommes ainsi bien partis pour devenir le leader mondial de l'analyse SEO basée sur les données dans les environnements de Machine Learning. »

– Vincent Terrasi, Head of Data and Product, OnCrawl

Mettre en place des traitements de données simplifiés et mieux intégrés

Grands ou petits, tous les clients d’OnCrawl expriment un besoin croissant d’accès aux données. En créant un lac de données de 500 To avec Cloud Storage, OnCrawl a instauré dans toute l'entreprise une véritable culture de la donnée. Des données qui sont traitées à grande échelle avec BigQuery. Avec ses bibliothèques prêtes à l'emploi, BigQuery s'intègre facilement aux outils d'analyse et de visualisation du marché, ce qui permet à OnCrawl de fournir à ses clients les données dont ils ont besoin, dans les outils qu'ils utilisent. D’autant que la connectivité des solutions de données de Google Cloud facilite l'intégration de nouveaux outils à mesure que la plateforme évolue.

En 2020, séduit par la popularité croissante de Google Data Studio, OnCrawl a lancé un connecteur dédié à ce service. L’infrastructure étant déjà en place, ses développeurs se sont simplement contentés d'interconnecter les API entre les services Google Cloud. Dans la configuration actuelle, BigQuery récupère automatiquement les données stockées dans Cloud Storage au format Apache Parquet et les exporte vers Data Studio.

Grâce à ce connecteur Data Studio, les clients peuvent automatiquement et en temps réel envoyer les données d’OnCrawl vers leur tableau de bord. Ainsi, de grandes quantités d’informations sont immédiatement accessibles aux services marketing, responsables et clients, qui peuvent en dégager des insights exploitables pour améliorer les pages et leur référencement.

« Mettre les données à la disposition de nos clients dans les formats dont ils ont besoin, c'est devenu une composante essentielle de nos activités SEO », indique Rebecca Berbel, Content Manager chez OnCrawl.

« Quand nous avons pris conscience de l'utilisation croissante de Data Studio en tant qu'outil de visualisation, il nous a été très facile de répondre à cette demande grâce à notre infrastructure Google Cloud et d'offrir aux clients les fonctionnalités qu'ils nous demandaient. »

Préparer, analyser et exporter les données rapidement

Plus les clients d'OnCrawl collectent de données, plus les efforts à déployer pour les interpréter sont importants. Pour simplifier l’analyse des données, le service propose une segmentation avancée et personnalisée divisant un ensemble de pages en groupes thématiques. Une telle segmentation permet des analyses plus systématiques des sites et aide à mieux identifier des tendances ou des anomalies en fonction des types de pages ou de métriques spécifiques. Grâce à cette segmentation personnalisée, les utilisateurs peuvent par exemple réaliser des analyses croisées plus pertinentes pour leur secteur d'activité et repérer des optimisations qui pourraient échapper à d'autres plateformes SEO.

« La puissance de traitement et l'évolutivité à la demande de Google Cloud nous permettent de préparer, d'analyser et d'exporter rapidement les données, même au sein des segmentations personnalisées créées par nos utilisateurs », indique Vincent Terrasi, Head of Data and Product chez OnCrawl. « C'est pourquoi notre solution est la seule sur le marché à pouvoir analyser les données de segmentations en temps réel. »

OnCrawl n'a de cesse de rendre les données SEO plus exploitables, ce qui lui a valu de recevoir de nombreux prix, y compris celui du meilleur logiciel SEO au monde en 2020. Mais sa vraie récompense, c'est la réussite de ses clients. « Certains ont enregistré une augmentation du trafic généré par les résultats naturels pouvant atteindre 70 % et même plus en améliorant la structure de leur site sur la base d'insights SEO exploitables », déclare Rebecca Berbel.

Dans le même temps, les Web crawlers actuels explorent également de nouveaux territoires. L’usage du Machine Learning rend les algorithmes des moteurs de recherche de plus en plus sophistiqués et donc de plus en plus difficiles à analyser. Pour continuer à obtenir les meilleurs classements dans les résultats des moteurs de recherche, les clients d'OnCrawl vont avoir besoin à l’avenir de données SEO encore plus pertinentes. C'est pourquoi OnCrawl a commencé à revoir ses composants afin de traiter toutes les données collectées à l'aide d'algorithmes ML (Machine Learning). Disposer d’une infrastructure Google Cloud déjà opérationnelle donne à l’éditeur les moyens d'adopter rapidement des technologies ML nécessitant d'importantes ressources de calcul.

« Le Machine Learning est l'avenir du SEO », ajoute Vincent Terrasi. « Grâce à ses puissantes capacités de traitement et ses fonctionnalités de scaling automatique, Google Cloud nous a permis de transformer OnCrawl en plateforme de Machine Learning. Nous sommes ainsi bien partis pour devenir le leader mondial de l'analyse SEO basée sur les données dans les environnements de Machine Learning ».