Construire un grattoir Web avec Python – Real Python

La quantité incroyable de données sur Internet constitue une ressource précieuse pour tous les domaines de recherche ou d’intérêt personnel. Pour exploiter efficacement ces données, vous devez acquérir les compétences nécessaires Web scraping. Les librairies Python demandes et Beautiful Soup sont des outils puissants pour le travail. Si vous aimez apprendre à l'aide d'exemples pratiques et que vous maîtrisez les langages Python et HTML, ce didacticiel est pour vous.

Dans ce tutoriel, vous allez apprendre à:

• Utilisation demandes et belle soupe pour grattage et analyse des données du web
• Traverser un pipeline de raclage Web du début à la fin
• Construire un script qui récupère les offres d'emploi sur le Web et affiche les informations pertinentes dans votre console

Il s’agit d’un projet puissant, car vous pourrez appliquer le même processus et les mêmes outils à n’importe quel site Web statique existant sur le World Wide Web. Vous pouvez télécharger le code source du projet et tous les exemples de ce tutoriel en cliquant sur le lien ci-dessous:

Commençons!

Qu'est-ce que le Web Scraping?

Web raclage est le processus de collecte d'informations à partir d'Internet. Même copier-coller les paroles de votre chanson préférée est une forme de raclage Web! Cependant, les mots «Web scraping» font généralement référence à un processus impliquant une automatisation. Certains sites Web n’aiment pas que les racleurs automatiques collectent leurs données, alors que d’autres ne le font pas.

Si vous grattez une page avec respect à des fins éducatives, vous ne rencontrerez probablement aucun problème. Néanmoins, c’est une bonne idée de faire des recherches par vous-même et de vous assurer que vous ne violez pas les Conditions de service avant de commencer un projet à grande échelle. Pour en savoir plus sur les aspects juridiques du raclage Web, consultez Perspectives juridiques sur le raclage des données du Web moderne.

Pourquoi gratter le Web?

Dites que vous êtes un surfeur (à la fois en ligne et dans la vie réelle) et que vous recherchez un emploi. Cependant, vous ne cherchez pas seulement tout emploi. Dans l’esprit des internautes, vous attendez l’occasion idéale de rouler votre chemin!

Vous aimez un site d'emploi qui offre exactement le type d'emploi que vous recherchez. Malheureusement, une nouvelle position n'apparaît qu'une fois dans une lune bleue. Vous pensez vérifier chaque jour, mais cela ne semble pas être la façon la plus amusante et la plus productive de passer votre temps.

Heureusement, le monde offre d’autres manières d’appliquer l’esprit de ce surfeur! Au lieu de regarder le site tous les jours, vous pouvez utiliser Python pour aider à automatiser les parties répétitives de votre recherche d’emploi. Raclage Web automatisé peut être une solution pour accélérer le processus de collecte de données. Vous écrivez votre code une fois et il obtiendra les informations que vous souhaitez plusieurs fois et à partir de plusieurs pages.

En revanche, lorsque vous essayez d’obtenir manuellement les informations souhaitées, vous pouvez passer beaucoup de temps à cliquer, faire défiler et rechercher. Cela est particulièrement vrai si vous avez besoin de grandes quantités de données de sites Web régulièrement mis à jour avec du nouveau contenu. Le râpage manuel peut prendre beaucoup de temps et se répéter.

Il y a tellement d’informations sur le Web et de nouvelles informations sont constamment ajoutées. Quelque chose parmi toutes ces données est susceptible de vous intéresser, et une grande partie est simplement destinée à la prise. Que vous recherchiez un emploi, que vous rassembliez des données pour soutenir votre organisation locale ou que vous vouliez enfin télécharger toutes les paroles de votre artiste préféré sur votre ordinateur, la récupération automatique du Web peut vous aider à atteindre vos objectifs.

Défis de la Web Scraping

Le Web s'est développé de manière organique à partir de nombreuses sources. Il combine une tonne de technologies, de styles et de personnalités différents et continue de croître à ce jour. En d'autres termes, le Web est une sorte de désordre chaud! Cela peut entraîner quelques difficultés que vous verrez lorsque vous essayez de gratter Web.

Un défi est variété. Chaque site est différent. Bien que vous rencontriez des structures générales qui ont tendance à se répéter, chaque site Web est unique et nécessitera un traitement personnel si vous souhaitez extraire les informations qui vous intéressent.

Un autre défi est durabilité. Les sites Web changent constamment. Supposons que vous ayez créé un nouveau grattoir Web brillant qui sélectionne automatiquement ce que vous voulez parmi vos ressources d’intérêt. La première fois que vous exécutez votre script, cela fonctionne parfaitement. Mais lorsque vous exécutez le même script peu de temps après, vous vous retrouvez face à une pile de traces très décourageante et décourageante!

Ceci est un scénario réaliste, car de nombreux sites Web sont en développement actif. Une fois la structure du site modifiée, il se peut que votre scraper ne puisse plus naviguer correctement dans le plan du site ni trouver les informations pertinentes. La bonne nouvelle est que de nombreux changements sur les sites Web sont minimes et progressifs. Vous pourrez donc probablement mettre à jour votre scraper avec des ajustements minimes.

Cependant, gardez à l'esprit que, comme Internet est dynamique, les scrapeurs que vous construirez nécessiteront probablement une maintenance constante. Vous pouvez configurer une intégration continue pour exécuter des tests de grattage régulièrement afin de s’assurer que votre script principal ne se brise pas à votre insu.

API: une alternative à la Web Scraping

Certains fournisseurs de sites Web offrent Interfaces de programmation d'application (API) qui vous permettent d'accéder à leurs données d'une manière prédéfinie. Avec les API, vous pouvez éviter d'analyser le code HTML et accéder directement aux données à l'aide de formats tels que JSON et XML. Le HTML est avant tout un moyen de présenter visuellement du contenu aux utilisateurs.

Lorsque vous utilisez une API, le processus est généralement plus stable que la collecte des données via le scraping Web. C’est parce que les API sont conçues pour être consommées par des programmes plutôt que par des yeux humains. Si la conception d’un site Web change, cela ne signifie pas pour autant que la structure de l’API a changé.

Cependant, les API pouvez changer aussi bien. Les défis de la variété et de la durabilité s’appliquent aux API comme aux sites Web. De plus, il est beaucoup plus difficile de vérifier vous-même la structure d’une API si la documentation fournie manque de qualité.

L'approche et les outils dont vous avez besoin pour collecter des informations à l'aide d'API n'entrent pas dans le cadre de ce didacticiel. Pour en savoir plus à ce sujet, consultez API Integration in Python.

Gratter le site de monstre

Dans ce didacticiel, vous allez créer un scraper Web qui récupère les offres d’emploi de développeur logiciel sur le site de regroupement d’emplois Monster. Votre scraper Web analysera le code HTML pour sélectionner les informations pertinentes et filtrer ce contenu pour des mots spécifiques.

Vous pouvez consulter n'importe quel site sur Internet que vous pouvez consulter, mais la difficulté de le faire dépend du site. Ce tutoriel vous propose une introduction à la suppression de contenu Web pour vous aider à comprendre le processus global. Ensuite, vous pouvez appliquer ce même processus à tous les sites Web que vous souhaitez gratter.

Partie 1: Inspectez votre source de données

La première étape consiste à accéder au site que vous souhaitez gratter à l'aide de votre navigateur préféré. Vous devez comprendre la structure du site pour extraire les informations qui vous intéressent.

Explorez le site Web

Cliquez sur le site et interagissez-le comme n'importe quel utilisateur normal. Par exemple, vous pouvez rechercher des emplois Software Developer en Australie à l’aide de l’interface de recherche native du site:

Vous pouvez voir qu’une liste des tâches renvoyées se trouve à gauche et que des descriptions plus détaillées sur la tâche sélectionnée se trouvent à droite. Lorsque vous cliquez sur l'une des tâches de gauche, le contenu de droite change. Vous pouvez également constater que lorsque vous interagissez avec le site Web, l’URL de la barre d’adresse de votre navigateur change également.

Déchiffrer les informations dans les URL

De nombreuses informations peuvent être encodées dans une URL. Votre parcours de nettoyage Web sera beaucoup plus facile si vous vous familiarisez d’abord avec le fonctionnement des URL et en quoi elles sont faites. Essayez de choisir l’URL du site sur lequel vous êtes actuellement:

https://www.monster.com/jobs/search/?q=Software-Developer&where=Australia

Vous pouvez décomposer l'URL ci-dessus en deux parties principales:

1. L'URL de base représente le chemin d'accès à la fonctionnalité de recherche du site Web. Dans l'exemple ci-dessus, l'URL de base est https://www.monster.com/jobs/search/.
2. Les paramètres de la requête représentent des valeurs supplémentaires pouvant être déclarées sur la page. Dans l'exemple ci-dessus, les paramètres de requête sont ? q = développeur de logiciels et où = Australie.

Toute tâche que vous recherchez sur ce site Web utilisera la même URL de base. Toutefois, les paramètres de la requête changeront en fonction de ce que vous recherchez. Vous pouvez les considérer comme des chaînes de requête envoyées à la base de données pour récupérer des enregistrements spécifiques.

Les paramètres de requête se composent généralement de trois choses:

1. Début: Le début des paramètres de la requête est signalé par un point d'interrogation (?).
2. Information: Les informations constituant un paramètre de requête sont codées dans des paires clé-valeur, les clés et les valeurs associées étant reliées par un signe égal (clé = valeur).
3. Séparateur: Chaque URL peut avoir plusieurs paramètres de requête, qui sont séparés les uns des autres par un et commercial (Et).

Avec ces informations, vous pouvez séparer les paramètres de requête de l’URL en deux paires clé-valeur:

1. q = développeur de logiciels sélectionne le type d’emploi que vous recherchez.
2. où = Australie sélectionne l’emplacement que vous recherchez.

Essayez de modifier les paramètres de recherche et observez les conséquences sur votre URL. Allez-y et entrez de nouvelles valeurs dans la barre de recherche en haut:

Ensuite, essayez de modifier les valeurs directement dans votre URL. Voyez ce qui se passe lorsque vous collez l'URL suivante dans la barre d'adresse de votre navigateur:

https://www.monster.com/jobs/search/?q=Programmer&where=New-York

Vous remarquerez que les modifications apportées dans la zone de recherche du site sont directement reflétées dans les paramètres de requête de l'URL, et inversement. Si vous changez l’un d’eux, vous verrez des résultats différents sur le site Web. Lorsque vous explorez des URL, vous pouvez obtenir des informations sur la manière de récupérer des données à partir du serveur du site Web.

Inspecter le site à l'aide des outils de développement

Ensuite, vous voudrez en savoir plus sur la structure des données pour affichage. Vous devez comprendre la structure de la page pour choisir ce que vous voulez dans la réponse HTML que vous collecterez au cours de l’une des étapes à venir.

Outils de développement peut vous aider à comprendre la structure d'un site Web. Tous les navigateurs modernes sont livrés avec des outils de développement installés. Dans ce didacticiel, vous apprendrez à utiliser les outils de développement de Chrome. Le processus sera très similaire à celui des autres navigateurs modernes.

Dans Chrome, vous pouvez ouvrir les outils de développement via le menu. Affichage → Développeur → Outils de développement. Vous pouvez également y accéder en cliquant avec le bouton droit sur la page et en sélectionnant Inspecter option, ou en utilisant un raccourci clavier.

Les outils de développement vous permettent d’explorer de manière interactive le domaine DOM du site afin de mieux comprendre la source avec laquelle vous travaillez. Pour creuser dans le DOM de votre page, sélectionnez le Éléments onglet dans les outils de développement. Vous verrez une structure avec des éléments HTML cliquables. Vous pouvez développer, réduire et même modifier des éléments directement dans votre navigateur:

Vous pouvez considérer le texte affiché dans votre navigateur comme la structure HTML de cette page. Si vous êtes intéressé, vous pouvez en savoir plus sur la différence entre DOM et HTML sur CSS-TRICKS.

Lorsque vous cliquez avec le bouton droit sur des éléments de la page, vous pouvez sélectionner Inspecter pour zoomer sur leur emplacement dans le DOM. Vous pouvez également survoler le texte HTML à droite et voir les éléments correspondants s'allumer sur la page.

Jouez et explorez! Plus vous connaîtrez la page sur laquelle vous travaillez, plus il sera facile de la supprimer. Cependant, ne vous laissez pas submerger par tout ce texte HTML. Vous utiliserez le pouvoir de la programmation pour parcourir ce labyrinthe et ne sélectionner que les parties les plus intéressantes de Beautiful Soup.

Partie 2: supprimer du contenu HTML d'une page

Maintenant que vous avez une idée de ce avec quoi vous travaillez, il est temps de commencer à utiliser Python. Tout d’abord, vous souhaiterez obtenir le code HTML du site dans votre script Python afin de pouvoir interagir avec celui-ci. Pour cette tâche, vous utiliserez Python. demandes bibliothèque. Tapez ce qui suit dans votre terminal pour l'installer:

Ouvrez ensuite un nouveau fichier dans votre éditeur de texte préféré. Il suffit de quelques lignes de code pour récupérer le code HTML:

importation demandes

URL = "https://www.monster.com/jobs/search/?q=Software-Developer&where=Australia"
page = demandes.obtenir(URL)

Ce code effectue une requête HTTP sur l'URL donnée. Il récupère les données HTML renvoyées par le serveur et les stocke dans un objet Python.

Si vous examinez le contenu téléchargé, vous remarquerez qu'il ressemble beaucoup au code HTML que vous avez précédemment inspecté avec les outils de développement. Pour améliorer la manière dont le code HTML est affiché dans la sortie de votre console, vous pouvez imprimer le .contenu attribuer avec pprint ().

Sites statiques

Le site Web que vous grattez dans ce didacticiel sert contenu HTML statique. Dans ce scénario, le serveur qui héberge le site renvoie des documents HTML contenant déjà toutes les données que vous pourrez voir en tant qu’utilisateur.

Lorsque vous avez précédemment inspecté la page à l'aide d'outils de développement, vous avez découvert qu'une offre d'emploi se composait du code HTML long et désordonné suivant:

<section classe="contenu de la carte" data-jobid="4755ec59-d0db-4ce9-8385-b4df7c1e9f7c" sur clic="MKImpressionTrackingMouseDownHijack (this, event)">
<div classe="flex-row">
<div classe="mux-company-logo thumbnail"> </div>
<div classe="sommaire">
<entête classe="en-tête de carte">
<h2 classe="Titre"> <une contournement des données="vrai" data-m_impr_a_placement_id="JSR2CW" data-m_impr_j_cid="4" data-m_impr_j_coc="" data-m_impr_j_jawsid="371676273" data-m_impr_j_jobid="0" data-m_impr_j_jpm="2" data-m_impr_j_jpt="3" data-m_impr_j_lat="30.1882" data-m_impr_j_lid="619" data-m_impr_j_long="-95.6732" data-m_impr_j_occid="11838" data-m_impr_j_p="3" data-m_impr_j_postingid="4755ec59-d0db-4ce9-8385-b4df7c1e9f7c" data-m_impr_j_pvc="4496dab8-a60c-4f02-a2d1-6213320e7213" data-m_impr_s_t="t" data-m_impr_uuid="0b620778-73c7-4550-9db5-df4efad23538" href="https://job-openings.monster.com/python-developer-woodlands-wa-us-lancesoft-inc/4755ec59-d0db-4ce9-8385-b4df7c1e9f7c" sur clic="clickJobTitle ('plid = 619 & pcid = 4 & poccid = 11838', 'Développeur logiciel', ''); clickJobTitleSiteCat ('" events.event48 ":" true "," eVar25 ":" Python Developer "," eVar66 ":" Monster "," eVar67 ":" JSR2CW "," eVar26 ":" _ LanceSoft Inc "," eVar31 ":" Woodlands_WA _ "," prop24 ":" 2019-07-02T12: 00 "," eVar53 ":" 1500127001001 ", "eVar50": "agrégé", "eVar74": "normal" ') ">Développeur Python
</une> </h2>
</entête>
<div classe="entreprise">
<envergure classe="prénom">LanceSoft Inc</envergure>
<ul classe="list-inline">
</ul>
</div>
<div classe="emplacement">
<envergure classe="prénom">
Woodlands, WA
</envergure>
</div>
</div>
<div classe="méta flex-col">
<temps date / heure="2017-05-26T12: 00">il y a 2 jours</temps>
<envergure classe="mux-tooltip appliqué seulement" data-mux="infobulle" Titre="Appliqué">
<je aria-caché="vrai" classe="icône icône appliquée"> </je>
<envergure classe="sr-only">Appliqué</envergure>
</envergure>
<envergure classe="mux-tooltip enregistré seulement" data-mux="infobulle" Titre="Enregistré">
<je aria-caché="vrai" classe="icône icône enregistrée"> </je>
<envergure classe="sr-only">Enregistré</envergure>
</envergure>
</div>
</div>
</section>

Il peut être difficile d’envisager un aussi long bloc de code HTML. Pour faciliter la lecture, vous pouvez utiliser un formateur HTML pour le nettoyer automatiquement un peu plus. Une bonne lisibilité vous aide à mieux comprendre la structure de tout bloc de code. Même si cela peut aider ou non à améliorer le formatage du HTML, cela vaut toujours la peine d’essayer.

Le code HTML ci-dessus comporte certainement quelques parties confuses. Par exemple, vous pouvez faire défiler vers la droite pour voir le grand nombre d’attributs que le élément a. Heureusement la noms de classe sur les éléments qui vous intéressent sont relativement simples:

$ pip3 installer beautifulsoup4

importation demandes
de bs4 importation BeautifulSoup

URL = "https://www.monster.com/jobs/search/?q=Software-Developer&where=Australia"
page = demandes.obtenir(URL)

soupe = BeautifulSoup(page.contenu, 'html.parser')

<div identifiant="RésultatsConteneur">
    
</div>

résultats = soupe.trouver(identifiant='ResultsContainer')

impression(résultats.enjoliver())

job_elems = résultats.Trouver tout('section', classe_='contenu de la carte')

pour job_elem dans job_elems:
    impression(job_elem, fin=' n'*2)

pour job_elem dans job_elems:
    # Chaque job_elem est un nouvel objet BeautifulSoup.
    # Vous pouvez utiliser les mêmes méthodes que précédemment.
    title_elem = job_elem.trouver('h2', classe_='Titre')
    company_elem = job_elem.trouver('div', classe_='entreprise')
    location_elem = job_elem.trouver('div', classe_='emplacement')
    impression(title_elem)
    impression(company_elem)
    impression(location_elem)
    impression()

<h2 classe="Titre"> <une contournement des données="vrai" data-m_impr_a_placement_id="JSR2CW" data-m_impr_j_cid="4" data-m_impr_j_coc="" data-m_impr_j_jawsid="371676273" data-m_impr_j_jobid="0" data-m_impr_j_jpm="2" data-m_impr_j_jpt="3" data-m_impr_j_lat="30.1882" data-m_impr_j_lid="619" data-m_impr_j_long="-95.6732" data-m_impr_j_occid="11838" data-m_impr_j_p="3" data-m_impr_j_postingid="4755ec59-d0db-4ce9-8385-b4df7c1e9f7c" data-m_impr_j_pvc="4496dab8-a60c-4f02-a2d1-6213320e7213" data-m_impr_s_t="t" data-m_impr_uuid="0b620778-73c7-4550-9db5-df4efad23538" href="https://job-openings.monster.com/python-developer-woodlands-wa-us-lancesoft-inc/4755ec59-d0db-4ce9-8385-b4df7c1e9f7c" sur clic="clickJobTitle ('plid = 619 & pcid = 4 & poccid = 11838', 'Développeur logiciel', ''); clickJobTitleSiteCat ('" events.event48 ":" true "," eVar25 ":" Python Developer "," eVar66 ":" Monster "," eVar67 ":" JSR2CW "," eVar26 ":" _ LanceSoft Inc "," eVar31 ":" Woodlands_WA _ "," prop24 ":" 2019-07-02T12: 00 "," eVar53 ":" 1500127001001 ", "eVar50": "agrégé", "eVar74": "normal" ') ">Développeur Python
</une> </h2>
<div classe="entreprise">
<envergure classe="prénom">LanceSoft Inc</envergure>
<ul classe="list-inline">
</ul>
</div>
<div classe="emplacement">
<envergure classe="prénom">
Woodlands, WA
</envergure>
</div>

pour job_elem dans job_elems:
    title_elem = job_elem.trouver('h2', classe_='Titre')
    company_elem = job_elem.trouver('div', classe_='entreprise')
    location_elem = job_elem.trouver('div', classe_='emplacement')
    impression(title_elem.texte)
    impression(company_elem.texte)
    impression(location_elem.texte)
    impression()

AttributeError: l'objet 'NoneType' n'a pas d'attribut 'text'

pour job_elem dans job_elems:
    title_elem = job_elem.trouver('h2', classe_='Titre')
    company_elem = job_elem.trouver('div', classe_='entreprise')
    location_elem = job_elem.trouver('div', classe_='emplacement')
    si Aucun dans (title_elem, company_elem, location_elem):
        continuer
    impression(title_elem.texte.bande())
    impression(company_elem.texte.bande())
    impression(location_elem.texte.bande())
    impression()

Développeur Python
LanceSoft Inc
Woodlands, WA

Senior Engagement Manager
Zuora
Sydney, NSW