Pages de résultats des moteurs de recherche (SERP) le grattage fait référence à la collecte données à partir des résultats des moteurs de recherche.
En ce qui concerne les moteurs de recherche, Google est en tête, avec 85,53% de parts de marché mondial. Il montre comment données de Google est objectivement le plus précieux parmi tous ses concurrents.
Cependant, Google n’aime pas grattoirs Web collecter en permanence des données. Ton IP peut être banni de Google si vous envoyez plus de demandes qu’un utilisateur régulier.
C’est ici que procurations peut aider. Continuez à lire pour savoir comment rayer recherche Google résultats pages utilisant des proxys.
Gratter les SERP De Google à l’aide de serveurs proxy
Chaque fois que vous tapez un mot-clé, Google renverra plusieurs résultats qui correspondent à votre requête de recherche. Les résultats incluent des images, des vidéos, et une liste de les pages Web classés en fonction de leur pertinence et de leur utilité.
Données SERP de Google a changé au fil des ans. Il comprend désormais extraits en vedetterecherches connexes, questions connexes, recommandations de produits, etc. Gratter les SERP est devenu plus facile que jamais en raison de la grande quantité d’informations.
Il existe de nombreuses façons de gratter les SERP de Googlemais il n’y a aucun moyen de mettre à l’échelle un grattage Web projet sans utiliser de proxy.
Voici trois façons d’utiliser un solution proxy dans Google SERP scraping :
1. Modification manuelle des proxys
Vous pouvez collecter un ensemble de proxys pour le grattage et en appliquer un à votre appareil. Après cela, changez-le simplement en un autre après quelques demandes ou s’il est bloqué.
Cependant, cette méthode est fastidieuse et fonctionne mieux pour les petites projets de scraping web. Vous pouvez utiliser cette méthode si votre recherche se limite à quelques résultats basés sur la localisation.
Vous ne pouvez aller aussi loin qu’en grattant manuellement données de Google SERP. Les demandes que vous pouvez envoyer sont limitées. Vous finirez par rencontrer les mécanismes anti-bot de Google, en faisant CAPTCHA ou être ajouté à sa liste de blocage IP.
Il existe des moyens de semi-automatiser cette tâche en utilisant des scripts Python. Cependant, cela soulève la possibilité d’être détecté puisque les demandes sont plus “programmatique” ou semblable à un bot.
2. Utiliser un proxy rotateur
Cette technique peut être réalisée avec un script Python. Voici un exemple de script de rotation de proxy qui utilise une liste de proxys pour plusieurs requêtes de recherche Google :
|
demandes d’importation classe ProxyRotator : def __init__(self, proxy_file, user_agent): self.proxy_list = self.load_proxy_list(proxy_file) self.current_proxy=Aucun self.user_agent = user_agent def load_proxy_list(self, proxy_file): avec open(proxy_file, ‘r’) comme fichier : proxys = file.read().splitlines() proxys de retour def get_next_proxy(self): sinon self.current_proxy : self.current_proxy = self.proxy_list[0] autre: index_actuel = self.liste_proxy.index(self.proxy_actuel) next_index = (current_index + 1) % len(self.proxy_list) self.current_proxy = self.proxy_list[next_index] retourner self.current_proxy def make_request(self, url, query): proxy = self.get_next_proxy() en-têtes = { ‘User-Agent’ : self.user_agent } mandataires = { ‘http’ : f’http://{proxy}’, ‘https’ : f’http://{proxy}’ } essayer: paramètres = { ‘q’ : requête } réponse = demandes.get(url, params=params, headers=headers, proxys=proxies) réponse.raise_for_status() retourner réponse.texte sauf requests.exceptions.RequestException comme e : print(f”Une erreur s’est produite : {e}”) # Exemple d’utilisation proxy_file=”liste_proxy.txt“ agent utilisateur = ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, comme Gecko) Chrome/80.0.3987.132 Safari/537.36’ rotateur = ProxyRotator(fichier_proxy, agent utilisateur) requêtes = [‘Python Proxy Rotator’, ‘Web Scraping’, ‘Data Mining’] url=”https://www.google.com/search” pour la requête dans les requêtes : réponse = rotateur.make_request(url, requête) print(f”Résultats de la requête ‘{query}’ :”) imprimer (réponse) imprimer(“——————“) |
Vous devez collecter un ensemble de proxys auprès d’un fournisseur de proxy ou de sources gratuites. Copiez-les et collez-les dans un nouveau .SMS déposer.
Exécutez le script comme d’habitude. Il devrait retourner les résultats en HTML.
Ce n’est pas l’option la plus conviviale pour les débutants. Cependant, il existe des méthodes plus simples sur cette liste.
3. Employant API SERP
C’est la méthode la plus rentable pour gratter les SERP de Google.
De nombreux fournisseurs de proxy, comme SmartProxyoffre API SERP qui vous permettent de gratter avec presque aucune restriction.
Les abonnements sont généralement basés sur le nombre de demandes, pas les procurations. Vous n’aurez pas à penser à rotation des procurations puisque ces fournisseurs s’en chargeront.
Pour plus de commodité, vous obtiendrez les résultats dans un fichier JSON organisé.
Suivez ces étapes pour commencer à utiliser SmartProxy API SERP:
- Allez sur le site Web de SmartProxy et créez un compte.
- Sur le API SERP section de tarification, choisissez un plan en fonction de vos besoins de grattage.
- Vous pouvez aller sur SmartProxy Aire de jeux API pour commencer à gratter.
- Configurez vos paramètres de recherche, puis cliquez sur Envoyer une demande.
- Copiez ou téléchargez les résultats au format JSON.
Vous pouvez également configurer des paramètres de recherche avancés et effectuer le processus via le code Python.
Des instructions détaillées sur la façon de procéder peuvent être trouvées dans les documents d’aide de SmartProxy.
Types de proxy pour le scraping SERP
Différents types de proxy se chevauchent. Vous devez connaître leurs différences pour déterminer quel type de proxy est le meilleur pour le scraping SERP.
Voici les principaux types :
Proxies de centre de données
Ces proxys sont hébergés dans des centres de données. Ce sont généralement les proxys les plus rapides en raison de l’infrastructure avancée des centres de données. Les proxys de centre de données sont également les moins chers et les plus faciles à acquérir.
Le seul inconvénient des proxys de centre de données est qu’ils ont généralement le même sous-réseau car ils proviennent de la même source. Pour cette raison, le trafic provenant des proxys des centres de données se distingue facilement des utilisateurs domestiques réguliers.
Proxy résidentiels
Ces procurations proviennent de adresses IP résidentielles distribués localement par les fournisseurs d’accès Internet (FAI). Ils sont associés à des appareils réels et sont acquis via un accord avec leurs utilisateurs à domicile.
Ce type de proxy est le meilleur à utiliser avec outils de grattage Web. Le trafic réseau ressemblera à une utilisation régulière d’Internet à domicile, et il peut également être obtenu à partir de divers endroits.
Cependant, rappelez-vous que les procurations résidentielles sont plus difficiles à obtenir et plus chères.
Proxy partagés
Ce type de proxy signifie qu’il y a plusieurs utilisateurs sur une seule IP. Les proxys partagés peuvent également provenir de centres de données ou adresses IP résidentielles. Il vous permet de partager des pools d’adresses IP pour la rotation de proxy.
Procurations privées
Procurations privées sont exclusifs à un seul utilisateur. Ceux-ci sont plus chers mais ont un taux de blocage inférieur. Ils peuvent également provenir de centres de données ou de proxys résidentiels.
Avantages et inconvénients de l’utilisation de serveurs proxy pour le scraping SERP
Les serveurs proxy peuvent être avantageux lorsque gratter les SERP. Cependant, ils présentent également des inconvénients dans le processus.
Pour vous donner un aperçu de ce que l’utilisation de proxys implique pour le scraping SERP, voici quelques-uns de ses avantages et inconvénients :
|
Avantages |
Les inconvénients |
|
Maintient l’anonymat pendant le grattage |
Peut solliciter les moteurs de recherche avec trop de trafic en raison d’un grattage effréné |
|
Évite d’être bloqué IP ou d’être ralenti par des mécanismes anti-bot |
|
|
Des résultats plus rapides et évolutifs |
Bien que vous ayez tous les avantages d’utiliser des proxys pour le scraping SERP, il est également important de respecter vos sites cibles.
La meilleure façon d’y parvenir est de limiter nombre de demandes et travailler uniquement en dehors des heures de pointe.
La légalité du scraping SERP
Le grattage des données des SERP est complètement juridique car les données collectées sont accessibles au public et ne sont pas protégées par un mot de passe.
Cependant, le grattage des données des moteurs de recherche enfreint les conditions d’utilisation du site hôte. Google lui-même utilise des méthodes de grattage pour indexer le contenu sur le Web.
En ce qui concerne les lois comme la Loi sur la fraude et les abus informatiques (CFAA) et le Loi sur le droit d’auteur du millénaire numérique (DMCA), les données des SERP sont des faits, qui ne peuvent pas être protégés par le droit d’auteur.
De plus, les pages de résultats de recherche de données sont accessibles au public, de sorte que la CFAA ne s’appliquera pas.
Toutefois, cela ne signifie pas que Google accueille favorablement Grattoirs SERP à bras ouverts ou que les grattoirs abusent des moteurs de recherche.
Conclusion
L’utilisation de serveurs proxy pour le scraping SERP est une solution très puissante. Il vous garde anonyme tout en vous permettant d’augmenter votre projets de scraping web.
Cependant, il est également important de ne pas abuser de ces capacités concernant les sites cibles et les utilisateurs réguliers.