Proxy Met Python-aanvragen - 5 eenvoudige stappen

Spring gerust naar een willekeurige sectie om meer te leren over proxy met python requests!

Om proxy te integreren met de python aanvragenbibliotheek moet je met Python kunnen werken.

pip installatieverzoeken

Er zijn 5 eenvoudige stappen om proxies toe te voegen met python-verzoeken. Deze stappen omvatten de belangrijkste punten van het installeren van de benodigde pakketten, het toevoegen van proxy adressen en het verzenden van verzoeken via de Requests methodes van de Python modules.

Deze 5 stappen worden in detail besproken aan de hand van een stapsgewijze handleiding. Het toevoegen van proxy met Python-verzoeken en de beschikbare parameters en hun functionaliteiten worden hieronder besproken.

De primaire noodzaak van het werken met python requests is het importeren van de requests module. 

Deze requests-module is verantwoordelijk voor het verzenden van HTTP-verzoeken met behulp van python-codering. Om proxies op te nemen in deze python-verzoeken, moeten gebruikers een woordenboek definiëren met de naam 'proxies'. Dit woordenboek bevat de 'HTTP-protocollen' als namen en de 'proxy URL's' als de waarde van de namen. Dit woordenboek proxy helpt bij het opzetten van een HTTP-verbinding. 

De volgende stap is het maken van een variabele met de naam 'URL' om de website te definiëren die de bron is van het scrapingproces.

De volgende stap is het definiëren van een 'response'-variabele om het verzoek af te handelen door de variabelen 'URL' en proxy door te geven. 

Gebruikers kunnen ook de 'statuscode' afdrukken om te zien of de aanvraag succesvol is of niet.

import requests
proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.get(url)
print(f'Status Code: {response.status_code}')

Gebruikers kunnen proxy authenticatie toevoegen door 'gebruikersnaam' en 'wachtwoord' parameters toe te voegen. 

import requests
proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.get(url, auth=('user','pass'))

Dit sessieobject is vergelijkbaar met cookies. Het bewaart de gebruikersspecifieke gegevens van meerdere verzoeken. Gebruikers kunnen sessieobjecten opnemen door de sessie-functie van de aanvraagbibliotheek aan te roepen.

import requests
session = requests.Session()
session.proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.get(url)
print(f’Status Code: {response.status_code}') 

Met de "timeout" parameter van HTTP-verzoeken kunnen gebruikers een maximale tijdslimiet opgeven voor het verwerken van verzoeken. Deze tijd vertelt de server hoe lang hij moet wachten op een antwoord. Mensen kunnen deze parameter doorgeven aan de HTTP requests functie.

Gebruikers kunnen de time-outwaarde ook toewijzen aan "Geen" als de externe server traag is en het systeem lang moet wachten.

import requests
proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.get(url, timeout=5)
print(f’Status Code: {response.status_code}') 

Mensen kunnen dezelfde proxy meerdere keren gebruiken. In plaats van herhaaldelijk de URL proxy in te typen, hebben ze de optie van een omgevingsvariabele. Met deze optie kunnen mensen een URL proxy toewijzen aan een omgevingsvariabele en die variabele gewoon gebruiken wanneer dat nodig is. 

Een JSON naar de server sturen is ook mogelijk met python-requests. In dit geval neemt de methode proxy met python-requests de URL als eerste parameter en de JSON als tweede parameter. Het converteert het woordenboek naar python strings.

import requests
proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.post(url, json={
"ID": 123,
"Name": "John"))
})
print(f’Status Code: {response.status_code}, Response: {r.json()}") 

Mensen kunnen proxies ook laten rouleren om de anonimiteit te verbeteren. Als je lange tijd dezelfde proxy gebruikt voor alle sites, kunnen Internet Service Providers je proxy adres opsporen en verbannen. Mensen gebruiken liever meer dan één proxy server in een roulerend model om met deze IP-verboden om te gaan. Ze hebben een pool van proxies en het systeem rouleert en wijst een nieuwe proxy toe vanuit de pool. 

De eerste stap naar het draaien van proxy met python requests is het importeren van de benodigde bibliotheken zoals requests, Beautiful soap en choice. 

Om deze roterende proxy met python-requests te gebruiken, moeten we ze of hun URL's configureren om er gebruik van te maken. Proxyscrape biedt betaalde en gratis proxies van alle categorieën. Mensen kunnen gebruik maken van residentiële, gegevensgecentreerde en privé proxies van alle soorten en locaties. 

Dan moeten gebruikers een methode 'proxy request' maken die drie parameters heeft, zoals request type, URL en **kwargs.

Retourneer binnen deze methode 'proxy request' het woordenboek proxy als antwoord voor de methoden proxy request. Hier is kwargs een argument om de waarden door te geven. 

Deze methode extraheert proxy adressen van een specifieke URL om de geëxtraheerde respons om te zetten in een mooi Soap-object dat het extractieproces van proxy vergemakkelijkt. 

Maak dan een 'proxy' variabele die de 'soap' bibliotheek gebruikt om willekeurig een proxy adres te genereren uit een lijst van 'soap' objecten proxies.

proxies = {“http” : ipaddresses(proxy), “https” : ipaddresses(proxy)}

antwoord = requests.get(getproxy, url, proxies = proxies, timeout=5, **kwargs)

print(currentproxy:{proxy[‘https’]}”)

import requests
import BeautifulSoap
import choice
ipaddresses = [“ proxyscrape.com:2000”, “proxyscrape.com:2010 ”, “proxyscrape.com:2100 ”, “proxyscrape.com 2500”]
def proxy_request(get_proxy,http://webproxy.to/,**kwargs):
 while True:
  proxy = random.radint(0,len(ipaddresses)-1)
   proxies = {“http” : ipaddresses(proxy), “https” : ipaddresses(proxy)}
   response = requests.get(getproxy, url, proxies = proxies, timeout=5, **kwargs)
   print(currentproxy:{proxy[‘https’]}”)
  break
 return response

Dit artikel behandelde HTTP-verzoeken in een python programmeertaal, samen met de noodzakelijke bibliotheken, modules en functies die betrokken zijn bij het verzenden van een HTTP-verzoek. Je kunt de request module importeren en de GET, POST, PATCH en PUT methodes naar wens gebruiken. Je kunt je richten op de proxy in python als je gebruik wilt maken van proxy functies zoals anonimiteit, snelheid en scraping mogelijkheden. Gebruikers kunnen ook proxy pools gebruiken en bij toerbeurt proxies toewijzen aan een proxy verzoek om de beveiliging te verbeteren.