Every computer gets a unique Internet Protocol (IP) address that identifies the computer and its geographic location when connected to the Internet. Your computer sends out a request whenever it needs any information from the Internet. The request is sent to a target computer that checks the type of information being asked for. The target
Elke computer krijgt een uniek Internet Protocol(IP)-adres dat de computer en zijn geografische locatie identificeert wanneer hij verbonden is met het internet. Je computer stuurt een verzoek uit wanneer hij informatie van het internet nodig heeft. Het verzoek wordt naar een doelcomputer gestuurd die controleert om welk type informatie wordt gevraagd. De doelcomputer stuurt de informatie terug als hij toestemming heeft om deze aan ons IP-adres te geven. Soms wil de computer de informatie van het internet halen zonder geïdentificeerd te worden. Die informatie wordt meestal geblokkeerd, maar we kunnen ze krijgen via een proxy die als tussenpersoon tussen de client en de servermachine fungeert.
Elke proxy server heeft zijn IP-adres, dus wanneer een gebruiker via een proxy een verzoek indient om toegang te krijgen tot een website, stuurt de website de gegevens naar het IP-adres van de proxy server die ze doorstuurt naar de gebruiker.
Om proxies te gebruiken met de Python-verzoeken, moet je de onderstaande stappen volgen.
Importeer het requests pakket dat een eenvoudige HTTP bibliotheek is. Via dit pakket kun je eenvoudig verzoeken versturen zonder handmatig query strings aan je URL's toe te voegen. Je kunt requests importeren met het onderstaande commando.
importverzoekenJe moet een proxies woordenboek maken dat de HTTP- en HTTPS-verbindingen definieert. Je kunt de woordenboekvariabele een naam geven zoals "proxies" geven die een protocol aan de URL proxy koppelt. Verder moet je de URL-variabele instellen op de website waarvan je wilt scrapen.
proxies = {
"http":'http://203.190.46.62:8080',
"https":'https://111.68.26.237:8080'
}
url = 'https://httpbin.org/ip'Hier definieert het woordenboek de URL van de proxy voor twee afzonderlijke protocollen, namelijk HTTP en HTTPS.
Je moet een antwoordvariabele maken die een van de requests-methoden gebruikt. Deze methode neemt twee argumenten:
antwoord = requests.get(url,proxies = proxies)
print(response.json())De uitvoer is als volgt:
Je kunt ook de requests module in Python gebruiken om de IP-adressen te roteren zoals hieronder getoond.
Je moet de requests module importeren met het onderstaande commando.
importverzoekenJe moet een functie sending_request maken en bij voorkeur de http proxy gebruiken, omdat de meeste gratis proxies het https-protocol niet gebruiken. We hebben try-except block gebruikt omdat de meeste gratis proxies niet werken.
def sending_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
passJe moet het bestand list_proxies.txt lezen dat de lijst met vrije proxies bevat en deze opslaan in de variabele met de naam proxies.
Als __name__ == "__main__":
met open('list_proxies.txt', 'r') als bestand:
proxies = bestand.readlines()Je moet een sessie aanmaken in de module Verzoeken en de onderstaande stappen volgen.
met requests.Session() als sessie:
for proxy in proxies:
verzenden_verzoek(sessie, proxy)Je krijgt de onderstaande lijst met proxies .
Dit zijn enkele proxies, en de lijst gaat verder met meer proxies, maar ze werken allemaal niet.
Elk bedrijf moet op de hoogte zijn van de vijf belangrijke bedrijfsredenen voor het gebruik van proxies die hieronder worden genoemd.
Proxies staan bekend om hun vermogen om webverkeer te anonimiseren. Maar de meeste mensen begrijpen niet hoe belangrijk ze zijn in de zakelijke sector. Proxy servers stellen beveiligingsbeambten en journalisten in staat om zichzelf, bedrijven, bronnen, klanten en partners te beschermen.
Je kunt proxies ook gebruiken om de ontwikkeling en het lopende onderzoek en andere bedrijfsactiviteiten te beschermen. Stel dat je bedrijf een proxy en een potentiële spion gebruikt om het webverkeer te volgen om te bepalen wat je bedrijf aan het ontwikkelen is. In dat geval zal het je werknemers niet gemakkelijk kunnen volgen.
Je weet dat datalekken kostbaar zijn, zowel in termen van publiek imago als in termen van geldelijk verlies. Bedrijven maken zich dus zorgen over hackers. Maar proxies kan u helpen omdat ze de kans op gegevensinbreuken verkleinen. Ze voegen een extra beveiligingslaag toe tussen uw servers en het verkeer van buitenaf. De proxy servers fungeren ook als een buffer omdat ze tegenover het internet staan en verzoeken van computers buiten het netwerk doorgeven.
Als hackers toegang hebben tot uw proxy servers, zullen ze nog steeds moeite hebben om de server te bereiken waarop de websoftware draait waar de gegevens zijn opgeslagen.
Je weet dat datalekken kostbaar zijn, zowel in termen van publiek imago als in termen van geldelijk verlies. Bedrijven maken zich dus zorgen over hackers. Maar proxies kan u helpen omdat ze de kans op gegevensinbreuken verkleinen. Ze voegen een extra beveiligingslaag toe tussen uw servers en het verkeer van buitenaf. De proxy servers fungeren ook als een buffer omdat ze tegenover het internet staan en verzoeken van computers buiten het netwerk doorgeven.
Als hackers toegang hebben tot uw proxy servers, zullen ze nog steeds moeite hebben om de server te bereiken waarop de websoftware draait waar de gegevens zijn opgeslagen.
Sommige mensen gaan ervan uit dat proxy servers internetsnelheden vertragen door de grote hoeveelheid werk die ze op de achtergrond verrichten. Maar dat is niet altijd waar. De proxy servers kunnen worden gebruikt om bandbreedte te besparen en snelheden te verhogen door:
Je zou kunnen denken dat er maar één type proxy is dat alle voordelen biedt aan bedrijven, zoals:
In werkelijkheid zijn er veel soorten proxies beschikbaar en welke je het beste kunt gebruiken, hangt af van je vereisten of gebruikssituatie.
Hieronder staan de meest voorkomende soorten proxies.
Datacenters proxies zijn de meest gebruikte proxies door bedrijven wereldwijd. Datacenters produceren en beheren deze proxies. Je kunt deze proxies gebruiken als je de beveiliging van je systeem wilt verbeteren omdat ze goedkoop en gemakkelijk te verkrijgen zijn. Maar sommige websites verbieden het gebruik ervan omdat ze ze associëren met bot-achtige activiteiten.
De residentiële proxies zijn gekoppeld aan fysieke woningen en gebruiken de IP-adressen van echte mensen die door Internet Service Providers (ISP's) worden verstrekt. Wanneer je ze gebruikt om verbinding te maken met een website, zie je eruit als een gewone gebruiker. Zo is de kans kleiner dat je wordt gedetecteerd en gebanned. Je kunt een grote hoeveelheid webgegevens scrapen met residentiële proxies en verbeterde anonimiteit en veiligheid bereiken.
Tot nu toe hebben we besproken dat een proxy fungeert als een relais tussen de client en de servermachine. Wanneer je informatie aanvraagt, stuurt jouw computer dit verzoek naar de proxy, die de informatie vervolgens naar de doelcomputer stuurt via een ander IP-adres. Je IP-adres blijft dus vertrouwelijk. Verder kun je proxies gebruiken met de requests module in Python en verschillende acties uitvoeren afhankelijk van je behoefte. Als je een statisch IP nodig hebt met de snelheid van datacenter proxies en de hoge anonimiteit van residentiële proxies dan is statisch proxies de juiste keuze omdat het IP-adres bij elke nieuwe aanvraag onveranderd blijft. De roterende proxies bieden daarentegen voordelen bij het testen en scrapen.