Wanneer je een proxy gebruikt, maak je niet direct verbinding met de doelserver, maar stuur je je verzoek naar de proxy server die het evalueert en een antwoord terugstuurt. Proxies heeft veel voordelen, zoals het verbergen van je echte IP-adressen, het omzeilen van filters, censuur, enz.
Met een proxy rotator kun je de meeste anti-scrapmaatregelen omzeilen. Je kunt het ook gebruiken om eventuele snelheidsbeperkingen op de doelwebsite te omzeilen en met succes gegevens te extraheren. Maar wat is een roterende proxy? Het is een proxy die een nieuw IP-adres toewijst voor elke verbinding uit de proxy pool. Dit betekent dat je 1000 verzoeken naar een willekeurig aantal websites kunt sturen door een script te starten en 1000 verschillende IP-adressen te krijgen.
Dit artikel helpt je te begrijpen hoe je proxies kunt gebruiken om IP-adressen te roteren in python.
Je moet de requests module van Python importeren met het onderstaande commando.
importverzoekenAls de module niet is geïnstalleerd in uw omgeving, kunt u deze installeren met het onderstaande commando.
pip installeert aanvragendef send_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
passHier komt het belangrijkste deel van de code. Je moet je list_proxy.txt bestand inlezen en opslaan in de variabele met de naam proxies zoals hieronder getoond.
Als __name__ == "__main__":
with open('list_proxy.txt', 'r') as file:
proxies = bestand.readlines()Je moet de requests module gebruiken om een sessie aan te maken in Python. In de onderstaande code hebben we een for-lus gebruikt om door de proxy te lussen. Vervolgens hebben we de sessie en de proxy doorgegeven aan de functie send_request.
met requests.Session() als sessie:
for proxy in proxies:
send_request(session, proxy)Je kunt het script uitvoeren en de uitvoer zien zoals hieronder. Je krijgt een lange lijst met proxies , maar onthoud dat ze niet zullen werken.
python rotateproxy.pyJe hele code wordt als:
import requests
def send_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
pass
if __name__ == "__main__":
with open('list_proxy.txt', 'r') as file:
proxies = file.readlines()
with requests.Session() as session:
for proxy in proxies:
send_request(session, proxy)Hieronder staan enkele tips om proxies te roteren in Python wanneer je een roterende proxy gebruikt.
De meeste beschikbare gratis proxy diensten zijn overbelast, wat leidt tot onverwachte crashes en frustrerende vertragingen. Daarom moet je, als je van plan bent om voor gratis proxies te gaan, controleren of ze voldoen aan je scraping-behoeften zonder noemenswaardige drawdowns te veroorzaken.
De meeste gratis proxies zijn geldig voor een beperkte tijd, dus je kunt je eigen logica in Python bouwen die de gratis proxy lijstrotator kan roteren met werkende IP-adressen. Op deze manier krijg je geen onderbrekingen tijdens het webscrapen.
Je moet voorkomen dat je IP-adressen gebruikt die een bepaalde volgorde of een voorspelbare indeling hebben, zoals behorend tot dezelfde groep. Dit komt omdat de meeste anti-scraping tools gemakkelijk de verzoeken kunnen detecteren die vanaf dergelijke IP-adressen worden verzonden. Je moet bijvoorbeeld afzien van het gebruik van de volgende reeks roterende IP-adressen omdat dit snel een rode vlag zal opwerpen.
103.243.132.11
103.243.132.12
103.243.132.13
103.243.132.14
De gratis proxy IP-rotators zijn onveilig en traag. Ze zijn dus niet geschikt voor geavanceerde en grootschalige web scraping-projecten. Met behulp van goede premium proxies kunt u een service van hoge kwaliteit krijgen en duizenden webpagina's scrapen zonder blokkades of onderbrekingen te ervaren.
Om een eersteklas proxy service te gebruiken, moet je een paar dollar betalen en een provider nemen die aan je gegevensextractiebehoeften voldoet en je privacy garandeert.
Hieronder staan drie hoofdcategorieën van proxies op het internet.
Je kunt IP-rotatie gebruiken om meerdere IP-adressen te roteren en detectie te vermijden. Sommige anti-scrapingmaatregelen kunnen dergelijke activiteiten echter identificeren en je blokkeren voor het verzamelen van gegevens. Daarom moet je naast het roteren van IP-adressen ook user agents roteren om je kansen op succes te vergroten.