UN Procuration est un outil utile pour une navigation plus accessible, sécurisée et privée. Cela fonctionne en masquant votre IP adresse et en utilisant une autre pour envoyer des requêtes à votre cible.
Un proxy statique fonctionne bien pour des tâches simples. Cependant, un site peut vous empêcher de grattage Web ou l’analyse des données à l’aide d’une seule adresse IP. Vous aurez besoin d’un proxy rotatif pour ces tâches.
Procurations tournantes vous permet d’utiliser un pool de adresses IP proxy. Ce faisant, vous pouvez envoyer plusieurs demandes, chacune avec une adresse IP unique.
Dans ce guide, vous apprendrez à faire pivoter les proxys en Python. Découvrez comment le faire en lisant plus loin.
Comment faire pivoter les proxys en Python ?
Il peut s’agir d’une tâche technique pour faire pivoter les adresses IP. Pourtant, c’est faisable en quelques étapes. Voici comment vous pouvez faire pivoter les proxys en Python:
Choses dont vous avez besoin pour faire pivoter les proxys en Python
Il y a quelques choses que vous auriez besoin de faire pivoter les proxys en Python. Ceux-ci sont:
- Python 3: Vous devez installer Python 3 pour que le script s’exécute. Cette version est généralement préinstallée sur la plupart des systèmes. Néanmoins, il est préférable de télécharger et d’installer le dernière version de Python.
- Installation de pip: Pip Install est une commande en Python. Il recherche la dernière version et l’installe. Il vérifie également les métadonnées du package pour les dépendances et les installe pour s’assurer que le package contient tout ce dont il a besoin.
- Liste des adresses proxy: Centre de données et procurations résidentielles sont utilisés pour Rotation IP. Chaque demande se voit attribuer une adresse IP résidentielle pour procurations résidentielles. Pendant ce temps, les demandes sont traitées séparément par les proxys du centre de données.
Étapes pour faire pivoter les proxys en Python
Voici un guide sur la façon de faire pivoter les proxys en Python:
Étape 1 : avoir un ensemble d’adresses proxy
Un ensemble d’adresses proxy est nécessaire pour faire pivoter les proxys en Python. Il y a beaucoup de procurations gratuites en ligne si vous n’en avez pas.
Pour obtenir une liste, enregistrez les URL sous “.SMS“. Par exemple, enregistrez-le sous proxys_for_rotation_list.txt.
|
Note: Gratuit procurations ne sont pas les procurations les plus sûres et les plus fiables. La plupart d’entre eux sont de courte durée. Il est préférable d’utiliser des proxys résidentiels ou de centre de données pour le scraping ou d’autres projets. |
Une fois que vous avez la liste, lisez le fichier et faites une liste avec tous les proxys. Pour ce faire, supprimez les espaces vides et divisez chaque ligne.
Voici un exemple :
Soyez prudent lorsque vous enregistrez le fichier car il n’y aura pas de test pour les chaînes valides.
Étape 2 : Commencer à tester les proxys
Une fois que vous avez la liste, testez pour voir si les procurations fonctionnent. Vous pouvez écrire une fonction en utilisant ident.moi. Cette page renvoie une réponse avec l’IP.
Vous devrez également télécharger le Requête Python bibliothèque. C’est un outil HTTP efficace pour ce test. Cela fonctionne en prenant un proxy dans la liste et en appelant l’URL fournie.
Le script est souvent répétitif, mais il sera bientôt utile. Les résultats pourraient être soit :
- Si ça marche: vous recevrez un code d’état imprimé et un texte de réponse. Celui-ci est généralement le serveur proxy IP.
- Si ça ne marche pas: vous recevrez une erreur imprimée pour des raisons comme un délai d’attente. Si cela se produit, le Serveur proxy n’est pas utilisable ou ne peut pas fonctionner sur la demande. C’est généralement le cas lorsque vous travaillez avec procurations gratuites.
Voici un exemple :
|
Conseil de pro: Lors de ce test, utilisez HTTP au lieu de HTTPS car la plupart des procurations gratuites sur la liste ne prendra pas en charge SSL. |
Ensuite, enregistrez le script dans un document. Par exemple, vous pouvez l’enregistrer sous proxys-rotation-pour-python.py.
Ensuite, vous pouvez le lancer depuis la ligne de commande de votre ordinateur :
Une fois fait, le résultat devrait ressembler à ceci :
Vous devez faire plus de tests pour vérifier si les proxys fonctionnent.
S’il y a une exception, cela montrera que la commande n’a pas fonctionné. Outre les exceptions, vous devez également vérifier d’autres éléments, tels que les codes d’état.
Vous pouvez vérifier en reconnaissant des codes spécifiques comme valides. Pour le reste, marquez-les comme des erreurs. Il est également préférable d’essayer d’autres codes s’ils ne fonctionnent pas.
Un autre test que vous pouvez faire est de confirmer si la réponse inclut une adresse IP spécifique. Voici un exemple :
Étape 4 : Effectuez le même processus sur chaque proxy
Après le test, effectuez le même processus pour chaque proxy de la liste. Vous devrez répéter les procurations en utilisant ‘obtenir‘ pour faire cette étape.
Il est préférable de rester simple grâce à une séquence. Vous pouvez utiliser asyncio.gather et aihttp faire les demandes. En utilisant asynchrone rendra le code compliqué. Cependant, il vaut mieux pour grattage Web Tâches.
Il est configuré pour recevoir jusqu’à 10 paquets à des fins de protection. De cette façon, vous pouvez réduire le nombre de commandes indésirables.
Étape 5 : Séparez les proxys fonctionnels de ceux qui ne fonctionnent pas
Une fois que vous avez les proxys fonctionnels, vous devez les distinguer de ceux qui ne fonctionnent pas. Il est préférable de regrouper ces adresses en trois catégories :
- proxy_unchecked: lorsque son état est inconnu ou doit encore être testé
- proxys_de_travail: lorsque le proxy a réussi lors du dernier test
- not_working_proxys: lorsque le dernier test du proxy a échoué
Avec ces classifications, vous pouvez facilement ajouter et supprimer des éléments. Cela vous aidera également à éviter d’avoir des proxys en double.
Déplacez les proxys d’une liste à l’autre en évitant toute duplication. Pour ce faire, vous pouvez apporter de petites modifications à la manière dont les données proxy sont stockées.
Inclure le liste de proxy de votre dossier pour les proxys non cochés. Voici comment vous pouvez le configurer :
Ensuite, utilisez les commandes pour transférer les proxys d’un groupe à un autre. Utilisez-en un seul pour chaque groupe. Il inclura le proxy de travail et l’exclura du reste.
Utilisez la commande jeter pour supprimer le proxy, qu’il soit présent ou non.
Par exemple, si une requête aboutit, vous pouvez la nommer ‘ensemble_de_travail‘. Cette commande séparera le proxy qui fonctionne de la liste qui ne fonctionne pas ou qui n’est pas cochée. Ensuite, il ajoutera le proxy à la liste active.
Ensuite, vous devez changer “obtenir” pour définir ces commandes après chaque requête. Voici un exemple :
Vous pouvez inclure des pistes à la fin du script pour vérifier si cela fonctionne. Après avoir exécuté tous les proxys, la liste non cochée doit être vide.
|
Note: Si vous utilisez procurations gratuites, vous ne trouverez que quelques proxys fonctionnels dans la liste. Comme celui-ci:
Le pire des cas est que vous ne trouverez rien sur la liste de travail. |
Étape 6 : Commencez Rotation des procurations
Une fois que vous avez placé chaque proxy dans des groupes, vous pouvez utiliser ceux qui fonctionnent. Cependant, vous devez créer une fonction pour choisir un proxy.
Vous pouvez utiliser les proxys de travail seuls ou avec ceux qui ne sont pas cochés.
Avec les ensembles, la fonction “aléatoire” ne convient pas. Pour cette raison, vous devez les modifier à l’aide de la fonction “tuple.”
À partir de là, vous pouvez créer un simple rotateur de proxy Python. Voici un exemple qui sélectionne des proxys aléatoires parmi un ensemble de proxys fonctionnels :
Vous pouvez ensuite modifier le “obtenir” pour sélectionner un proxy lorsque vous n’en trouvez aucun.
Avec cette étape, le “Procuration” devient inutile. Utilisez-le pour tester les premiers proxys comme avant.
Ensuite, vous pouvez quitter la liste et utiliser “obtenir” sans l’ajouter. Vous utiliserez un proxy aléatoire. Il ira au Ca ne fonctionne pas liste si cela ne fonctionne pas.
Si vous êtes grattage Web, vous devez récupérer le contenu réel. Pour ce faire, vous devez renvoyer la réponse. Vous pouvez également demander une dérogation.
Voici la dernière version :.
Vous pouvez inclure les données que vous devez collecter sous ce script. Vous pouvez également appeler l’URL de test pour un essai.
Une autre chose à faire est de créer un analyseur personnalisé en utilisant Belle soupe. Ci-dessous le code final sur rotation des proxys en Python:
Étape 7 : re-tester les proxys défaillants
Il est nécessaire de tester à nouveau les proxys défaillants car cela vous permet de découvrir plus de proxys fonctionnels pour plusieurs raisons.
Python vous permet d’utiliser la fonction “Minuteries” pour cette étape. Cette action s’exécute à un moment précis. Elle a différentes méthodes, mais le résultat est le même. Vous pouvez effectuer cette étape avec seulement trois lignes.
Avec le réinitialiser_proxy commande, vous pouvez configurer une minuterie et l’exécuter sur chaque proxy qui ne fonctionne pas.
Réglez-le à environ 20 secondes. Cela peut sembler trop rapide, mais c’est en fait suffisant pour ce test. Ensuite, vous pouvez supprimer un proxy qui ne fonctionne pas en le décochant ensuite.
Voici un exemple :
Statique vs. Rotation des procurations
Un proxy statique (également connu sous le nom de proxy collant) signifie que vous n’utilisez qu’une seule adresse IP. Dans la plupart des cas, vous utiliserez une adresse IP de centre de données. Vous pouvez utiliser cette IP aussi longtemps que nécessaire.
Pendant ce temps, un proxy rotatif vous permet d’utiliser un ensemble liste de proxy ou un pool d’adresses IP. Ces adresses changent à des intervalles aléatoires ou fixes, selon la façon dont vous les définissez.
Examinez de plus près les similitudes et les différences entre ces deux :
Similitudes de statique et Rotation des procurations
A la fois statique et rotation des procurations servir le même but.
Ils masquent votre adresse IP réelle. Ces proxys améliorent votre anonymat en ligne pour une meilleure expérience de navigation.
Les proxys rotatifs et statiques peuvent également vous permettre d’utiliser des adresses IP partagées, en fonction de l’exclusivité que vous choisissez pour ces dernières.
Différences entre les proxys statiques et rotatifs
Avec un proxy statique, vous pouvez utiliser une seule adresse IP à des fins spécifiques. C’est généralement moins cher puisque vous ne payez pas pour un pool de proxy.
Cependant, les proxys statiques sont plus sensibles aux interdictions IP. Ce problème se produit généralement lorsque vous faites trop de demandes à un serveur particulier.
Avec les proxys rotatifs, vous pouvez bénéficier d’une sécurité et d’un anonymat accrus. Les chances d’être banni sont moindres puisque vous utiliserez une IP différente pour chaque minute ou chaque requête.
Le seul inconvénient des proxys rotatifs est qu’il est possible que vous puissiez utiliser des adresses IP à partir de géolocalisations non liées.
Avantages des proxys rotatifs
Alors que rotation des proxys en Python Cela semble être beaucoup de travail, cela comporte de nombreux avantages. Vous trouverez ci-dessous quelques avantages dont vous profiterez en utilisant des proxys rotatifs :
La plupart des sites Web suivent une adresse IP, ce qui peut conduire à vol d’identité.
Avec un proxy rotatif, ces trackers resteront fermés puisque vous utilisez une adresse IP différente à chaque requête. Cela vous permet de profiter d’une meilleure sécurité et de l’anonymat lors de la navigation.
Puisque vous utiliserez un pool de proxy d’adresses IP, vous pouvez envoyer des demandes uniques à chaque fois.
Lorsque vous effectuez plusieurs requêtes sur des sites Web modernes, vous êtes plus susceptible de rencontrer des anti-bots tels que CAPTCHA. Cependant, un proxy rotatif peut vous aider à éviter d’être banni car il reflète différentes adresses IP pour chaque demande.
- Connexions multiples avec divers emplacements
Vous pouvez diviser vos connexions avec un proxy rotatif. Cela vous permet de vous connecter avec différents géo-restreint sites Web en même temps.
Procurations tournantes aider à gratter les grands sites Web. L’utilisation d’une adresse IP différente pour chaque demande vous permet de rester sous le radar et d’éviter les restrictions.
Procurations tournantes peut vous aider à augmenter les taux de conversion puisque chaque requête que vous faites provient d’une adresse IP différente.
Conclusion
Un proxy rotatif vous permet de faire plusieurs requêtes à une cible sans être banni puisque vous utilisez une adresse IP unique par requête.
En suivant les étapes ci-dessus, rotation des proxys en Python est maintenant faisable. Cela semble technique au départ, mais gardez à l’esprit que la rotation de vos proxys vous aidera dans toutes les tâches complexes