JavaScript est un langage de programmation populaire pour créer des pages Web dynamiques. En 2022, 98,7 % des sites Web mondiaux s'appuient sur JavaScript comme langage de programmation côté client préféré.
Récupérer des données à partir de pages rendues en JavaScript n'est pas une tâche facile. Contrairement aux pages statiques, les éléments dynamiques changent constamment en temps réel. Cet attribut rend difficile le scraping automatisé du Web, car les outils classiques ne peuvent pas détecter ces modifications.
Malgré les défis, il existe encore des moyens d'extraire des données à partir de pages rendues en JavaScript. Continuez à lire pour découvrir les étapes permettant de récupérer les données même des pages dynamiques les plus complexes.
|
???? Points clés à retenir
|
Supprimer les pages générées par JavaScript
Lors de la récupération des données d'une page générée par JavaScript, seule une partie du contenu du site Web est chargée correctement. Certaines fonctions JavaScript doivent être exécutées pour charger un contenu spécifique.
Scraper un site Web avec JavaScript peut être difficile pour deux raisons principales. Ceux-ci sont:
La limitation du débit, le blocage IP et les CAPTCHA sont des mesures anti-grattage mises en place afin que les propriétaires de sites Web puissent protéger leurs données. Ces fonctionnalités réduisent la charge du serveur et économisent les performances du site Web.
- Différents temps de chargement pour le contenu
Le contenu se charge à différents moments sur les pages Web rendues en JavaScript. Par conséquent, le contenu que vous recherchez n’est pas encore chargé lorsque vous essayez de le récupérer.
Ce dont vous avez besoin pour supprimer des pages Web JavaScript
La récupération de contenu à partir de pages Web basées sur JavaScript nécessite des outils spécialisés pour interpréter le code. Le traitement JavaScript a lieu dans les navigateurs Web après le chargement de la page.
Ces outils spécialisés sont appelés Navigateurs sans tête. Ils agissent comme de vrais navigateurs mais sont contrôlés par programme.
Voici d'autres outils dont vous aurez besoin pour supprimer les pages générées par JavaScript :
- Marionnettiste – un outil populaire fourni avec les navigateurs Chrome et Chromium sans tête d'API de haut niveau qui peuvent imiter l'interaction humaine avec les pages Web.
- Pilote Web Sélénium – un outil polyvalent pour automatiser les navigateurs. C'est votre meilleur choix car il prend en charge différents langages de programmation, ce qui le rend pratique pour automatiser de nombreux cas de test.
- Cauchemar.js – une bibliothèque d'automatisation de navigateur de haut niveau utile pour les tâches de tests automatisés telles que les tests de bout en bout et le contrôle du navigateur.
|
???? Fait amusant Cela semble ironique, mais Cauchemar.js est un rêve outil pour automatiser les tâches du navigateur. Nightmare.js dispose d'une API simple pour interagir avec les sites Web et d'un cadre de test intégré pour vérifier si les choses fonctionnent comme elles le devraient. |
- Dramaturge – un outil d'automatisation web avec une API puissante pour les navigateurs. Il possède une syntaxe simple et expressive qui facilite l'écriture et la maintenance de scripts.
6 étapes pour supprimer les pages rendues en JavaScript
Dans cette section, vous apprendrez à utiliser Puppeteer pour scraper un site Web et enregistrer le fichier extrait.
Étape 1 : Installer les dépendances
Installez Node.js sur votre ordinateur. Ouvrez le terminal et accédez au dossier dans lequel vous souhaitez travailler pour votre projet de scraping.
Utilisez cette commande pour installer Puppeteer et ses composants nécessaires :
Étape 2 : Créer un nouveau fichier
Créez un nouveau fichier JavaScript à l'aide de votre éditeur de code dans le même dossier que celui que vous avez utilisé lors de la première étape.
Étape 3 : Écrivez le code de scraping
Dans le nouveau fichier JavaScript, commencez à écrire votre code de scraping. Le code ci-dessous est un exemple de scraping d'un site Web et d'enregistrement de son contenu :
|
const marionnettiste =required('marionnettiste'); const fs = require('fs'); (asynchrone () => { const navigateur = wait puppeteer.launch(); const page = attendre navigateur.newPage(); attendre page.goto('https://www.insert-url.com'); const content = attendre page.content(); fs.writeFileSync('extrait.html', contenu); attendre le navigateur.close(); })(); |
Changement “insérer-url» à l'URL du site Web que vous souhaitez supprimer.
Étape 4 : Enregistrez le fichier
Enregistrez votre fichier JavaScript avec un «.js” extension.
Étape 5 : Exécutez le code
Ouvrez à nouveau votre terminal et accédez au dossier où se trouve votre fichier JavaScript. Exécutez cette commande pour exécuter votre code :
Étape 6 : Afficher le fichier extrait
Ouvrez le fichier extrait à l'aide de votre navigateur pour voir le contenu récupéré.
Meilleures pratiques lors du scraping de sites JavaScript
Voici quelques trucs et astuces généraux pour le scraping Pages Web JavaScript:
 |
Choisissez un navigateur sans tête. Utilisez des outils comme Puppeteer ou Selenium pour charger et interagir avec JavaScript sur la page. |
 |
Inspectez la source de la page. Examinez le code source du site Web pour trouver les éléments que vous souhaitez récupérer. |
 |
Explorez les points de terminaison de l'API. Vérifiez si les sites Web utilisent des points de terminaison d'API externes pour récupérer des données. Vous pouvez demander des données directement à partir de ces points de terminaison. |
 |
Utilisez des outils spécialisés. Les bibliothèques ou les outils comme BeautifulSoup sont conçus pour gérer les sites Web contenant beaucoup de JavaScript. Pensez à les utiliser. |
 |
Vérifiez les politiques du site Web. Lisez toujours les conditions d’utilisation du site. Certains sites Web peuvent interdire le scraping, alors assurez-vous de vous y conformer avant de le scraper. |
Conclusion
Récupérer des données à partir de pages rendues par JavaScript signifie faire face à des structures changeantes et à des mesures anti-grattage. Cependant, avec les bons outils et techniques, l’extraction de données devient possible.
Des outils tels que Puppeteer, Selenium, Nightmare.js et Playwright sont essentiels pour automatiser le web scraping basé sur JavaScript. L'utilisation de navigateurs sans tête, l'inspection des sources des pages et l'exploration des points de terminaison de l'API permettent une collecte de données efficace.