Krullen met een Proxy en zijn 4 unieke voordelen

cURL is een afkorting voor client URL en een commandoregeltool om gegevens te verzenden naar en te ontvangen van een server. Het wordt gedistribueerd naar moderne besturingssystemen, waaronder Windows 10 en Linux-distributies. Het is een handige bibliotheek waarmee je gegevens kunt verzenden naar en ontvangen van websites en is een essentieel hulpmiddel voor je web scraping-behoeften. Voordat we naar een eenvoudig voorbeeld kijken, gaan we eerst kijken wat je moet weten om het te installeren.

sudo apt install curl.

Open in Windows je terminal of opdrachtprompt en typ:

<em><strong>curl https://www.yahoo.com</strong></em>

Op de console wordt de HTML van de pagina afgedrukt.  

cURL draagt gegevens over van en naar webpagina's met behulp van Internet Protocollen. Hoewel cURL in eerste instantie is ontwikkeld om met HTTP protocollen te werken, ondersteunt het momenteel vele netwerk protocollen zoals FTP, IMAP, IMAPS, SMTP, POP3, POP3S en andere.

Het ondersteunt ook POST, GET, PUT en enkele andere methoden voor het verzenden van verzoeken. Laten we eens kijken naar een voorbeeld van het verzenden van gegevens met de post-methode.

curl -d "name=yourname&value=somevalue" https://examplewebsite.com/post"

Het bovenstaande stukje code -d geeft aan dat je de postmethode gebruikt om je naam en een waarde door te geven aan de postpagina van examplewebsite.com.  

Nu weet je wat cURL is en laten we het gebruik ervan bekijken met proxies.

Door cURL te configureren met een proxy adres kunnen mensen hun datacommunicatie verbeteren met al die proxy functies.

Door cURL te gebruiken met een proxy kunnen gebruikers hun identiteit verbergen voor de server. Als gebruikers liever informatie opvragen zonder anderen hun werkelijke identiteit te laten kennen, kunnen ze een proxy adres configureren met hun cURL commando verzoek. In dit geval zal de proxy het verzoek van de gebruiker doorsturen in hun naam, en de werkelijke identiteit verborgen houden. Proxyscrape biedt proxies van alle protocol types zoals HTTPs, Socks4, en Socks5 die anonimiteit kan behouden voor alle soorten verzoeken.

Wanneer gebruikers van een locatie worden beperkt in het schrapen van inhoud van sites van andere geografische grenzen, zal proxies hen helpen om deze beperkingen te omzeilen. Proxyscrape biedt proxies van meerdere landen, zodat gebruikers de gewenste kunnen kiezen om de geoblokkades te omzeilen.

Je kunt proxies gebruiken om verbinding te maken met een website die cURL gebruikt. proxies is bijvoorbeeld essentieel wanneer je cURL gebruikt om gegevens te scrapen. Dan blijf je anoniem ten opzichte van de website waarvan je gegevens schraapt. 

Om verbinding te maken met proxies, heb je het proxy serveradres, poortnummer en protocoltype nodig en als authenticatie vereist is, moet je de gebruikersnaam en het wachtwoord invoeren. Laten we een eenvoudig voorbeeld bekijken: we nemen aan dat het proxy adres 127.0.0.1 is en het poortnummer 8920. Het onderstaande voorbeeld is de basis van een verbinding proxies met cURL, die zou werken voor elke proxy service.

De syntaxis om verbinding te maken met een proxy zou zijn:

curl --proxy proxyadres: poort https://examplewebsite.com

vervangen door:

curl --proxy 127.0.0.1:8920 https://examplewebsite.com

Het bovenstaande commando routeert je verbinding via een proxy naar examplewebsite.com.

Nu zullen we een voorbeeld bekijken dat authenticatie vereist waarbij de gebruikersnaam de gebruikersnaam is en het wachtwoord het wachtwoord.

curl --proxy 127.0.0.1:8920 -U "gebruikersnaam:wachtwoord" https://examplewebsite.com

Nu kun je uitzoeken welke commando's je moet gebruiken als je cURL verbindt met een proxy protocol, met :

curl --help

Ongetwijfeld zou het een enorme lijst opleveren, en we zouden ons concentreren op de meest fundamentele opdracht die hieronder wordt opgesomd:

-x, --proxy [protocol://]host[:poort]

In dit commando geeft x samen met -proxy de proxy details aan, waarbij je een van beide kunt gebruiken omdat beide correct zijn. Houd er echter rekening mee dat x hoofdlettergevoelig is. 

Om er zeker van te zijn dat je proxies gebruikt, kun je het volgende commando gebruiken:

krul http://httpbin.org/ip

Dit commando geeft meestal het IP-adres van de oorsprong. Dus als je een proxy server gebruikt, zou het het IP-adres van de proxy server teruggeven in plaats van dat van jou.

Dus nu, alles bij elkaar, zou je het verzoek als volgt kunnen verzenden:

krul --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip"

Ook het onderstaande commando zou hetzelfde zijn als hierboven:

curl --x "http://username:[email protected]:8920" "http://httpbin.org/ip"

Een belangrijk feit om in gedachten te houden is dat je aanhalingstekens moet gebruiken voor zowel de proxy URL als de doel-URL. Dit komt door de aanwezigheid van speciale tekens in de URL.

Als er fouten optreden bij het SSL-certificaat, moet u kleine letters -k toevoegen aan het einde van het commando, zoals hieronder wordt weergegeven:

curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip" -k. 

Hierdoor worden onveilige verbindingen doorgelaten bij gebruik van de SSL-verbinding.

Bij gebruik van proxies is het standaardprotocol HTTP, tenzij expliciet anders is aangegeven. Daarom zijn beide onderstaande commando's correct:

curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip".
 curl --proxy "gebruikersnaam:[email protected]:8920" "http://httpbin.org/ip".

Als je een proxy voor cURL wilt, kun je op de volgende manier een curl-config bestand maken.

Als je op macOS of Linux zit, moet je eerst de terminal openen en naar je homedirectory gaan. Als er een .curlrc is, moet je die openen en een nieuw leeg bestand maken. Je kunt de onderstaande commando's gebruiken om naar het bestand te navigeren:

cd~ 
 nano .curlrc.

Dus dan moet je deze regel toevoegen in het bestand:

proxy="http://username:[email protected]:8920"

Sla het bestand op en nu kun je de cURL gebruiken met proxies. Je hoeft alleen maar de cURL normaal uit te voeren en het zal de proxy uit het bovenstaande bestand lezen:

krul "http://httpbin.org/ip"

echo %APPDATA%

Het bovenstaande commando geeft dus het pad terug en daar moet je naartoe navigeren. Vervolgens moet je het bestand _curlrc maken en de proxy instellen zoals bij macOS of Linux.