Have you ever encountered error codes while using proxies while web scraping for instance? Suddenly became frustrated with not knowing the cause of the error and what you should do to resolve it? Then this post is for you, as well as anybody else interested in learning about proxy error codes and how to fix
Ben je ooit foutcodes tegengekomen tijdens het gebruik van proxies , bijvoorbeeld tijdens het schrapen van het web? Raakte u plotseling gefrustreerd omdat u niet wist wat de oorzaak van de fout was en wat u moest doen om deze op te lossen? Dan is dit bericht bedoeld voor jou en voor iedereen die meer wil weten over de foutcodes van proxy en hoe je ze kunt oplossen.
We willen je ook een aantal handige tips geven om proxy foutcodes helemaal te voorkomen.
Dus, zonder verder oponthoud, laten we beginnen.
In normale omstandigheden, wanneer je apparaat een webpagina opvraagt van de bestemmingsserver, stuurt de proxy server alle aanvragen heen en weer.
Er zijn echter omstandigheden waarin de webpagina niet langer beschikbaar is of naar een nieuwe locatie is verplaatst. In dergelijke gevallen genereert de server een foutmelding via de proxy server als antwoord. Deze foutmeldingen zijn HTTP-statuscodes die je in de volgende sectie zult ontdekken. Je ontdekt ook hoe je sommige van deze HTTP-statuscodes kunt oplossen om deHTTP-statuscodes proxy.
te kunnen blijven gebruiken: Zoals ik hierboven heb beschreven, krijg je een HTTP-statuscode om aan te geven of de aanvraag is voltooid of niet. HTTP-statuscodes worden dus ingedeeld in vijf klassen.
Dit soort antwoorden gebruik je niet vaak. Het zijn tijdelijke antwoorden die door een server worden gebruikt om verzoeken te verwerken.
Deze code geeft aan dat de server een deel van de aanvraag heeft ontvangen en dat de client verder kan gaan met het verzenden van de rest van de aanvraag. In een typisch geval geeft de client de "Expect:100 - doorgaan" verzoekkop op en de server antwoordt met een 100 statuscode. De parameter "Expect" wordt opgenomen in de initiële aanvraag om extra aanvragen te voorkomen als de server de eerste afwijst.
Wanneer een browser tijdens een sessie het communicatieprotocol wil wijzigen, levert de webserver een 101 statuscode. Wanneer een clientbrowser vraagt en de server ermee instemt om van communicatieprotocol te wisselen, wordt de HTTP-statuscode "100 - Wisselen van protocol" geretourneerd.
Complexe verzoeken kunnen er langer dan normaal over doen om door de webserver te worden verwerkt. Wanneer de browser van een client een WebDAV-verzoek doet dat talrijke sub-verzoeken met complexe vereisten bevat, neemt de server wat tijd om te verwerken en stuurt hij uiteindelijk de code "102 - Verwerking". Deze methode probeert problemen met time-outs aan de clientzijde te voorkomen door de client te waarschuwen dat de server het verzoek heeft ontvangen en verwerkt.
Bij het verstrekken van de HTTP-status aan de browser voordat HTTP-verzoeken worden verwerkt, krijgt de webserver de code "103 - Early Hints". De term impliceert dat dit een waarschuwing is voor de browser van de client dat de server nog niet is begonnen met het verwerken van verzoeken.
Wanneer je een HTTP-statuscode tussen 200 en 299 ontvangt, betekent dit dat de server proxy je verzoek naar de webserver heeft verzonden en het juiste antwoord heeft ontvangen. Behalve code 200, die aangeeft dat de webserver het verzoek heeft ontvangen, zijn de andere 200-codes die fouten kunnen veroorzaken:
204 - Geen inhoud
De server proxy heeft het verzoek afgeleverd, maar de server heeft geen antwoord gestuurd. Daarom is dit HTTP-bericht geen foutbericht. Sommige verzoeken hebben geen antwoord nodig, of de beoogde bestemming heeft geen antwoord.
Oplossing: Controleer uw proxy instellingen en zorg ervoor dat de webserver reageert op uw verzoek om dit probleem op te lossen.
206 - Gedeeltelijke inhoud
Je krijgt een deel van de gevraagde inhoud als je geen antwoord ontvangt met een 204 HTTP-foutcode.
De gebruiker moet controleren of de scraper juist is geconfigureerd om de gewenste gegevensstroom te ontvangen om dit probleem op te lossen.
3xx-codes geven aan dat er meer clientactie van jouw kant nodig is om het verzoek te voltooien.
Wanneer je een browser zoals Google Chrome of Safari gebruikt, zullen deze statuscodes geen probleem vormen, maar wel wanneer je je scripts gebruikt om het web te scrapen. Scripts die je ontwikkelt zullen je helpen wanneer het niet nodig is om verzoeken om te leiden naar andere URL's.
Webbrowsers volgen gewoonlijk niet meer dan vijf opeenvolgende omleidingen van hetzelfde verzoek omdat deze acties oneindige lussen kunnen genereren.
Hieronder volgen enkele van de meest voorkomende 3xx foutcodes:
Deze foutcode wordt weergegeven aan gebruikers wanneer hun browser hun zoekopdrachten tijdelijk doorverwijst naar een andere website. Het geeft simpelweg aan dat de site die ze willen bezoeken niet beschikbaar is, maar binnenkort wel toegankelijk zal zijn.
Deze HTTP-foutmelding legt uit dat u nu toegang hebt tot de site die u hebt opgevraagd. De URL verschilt echter van de URL die u eerder opriep, wat een permanent verschijnsel is. Daarom moet u de bijgewerkte URL in gedachten houden voor toekomstige bezoeken.
Deze foutcodeklasse geeft aan dat het obstakel van uw kant kwam. Als gevolg hiervan moet u mogelijk uw browser of script voor scraping dubbel controleren. Aangezien dit probleem zich voordoet in uw deel van het scrapprogramma of de browser, is het iets gemakkelijker op te sporen en te verhelpen.
Het is een algemene reactie die aangeeft dat er een probleem is opgetreden bij de aanvraag die je hebt verzonden. Uw proxy server of de bestemmingswebsite kan uw verzoek mogelijk niet begrijpen. Waarschijnlijke oorzaken van dit probleem kunnen te wijten zijn aan vervormde syntaxis, onjuiste opmaak of misleidende verzoekroutering.
Wanneer een gebruiker een website probeert te bezoeken zonder de vereiste authenticatiegegevens te verstrekken, treedt dit type HTTP-fout op. Als de proxy die je gebruikt de website probeert te bezoeken maar niet de juiste autorisatie heeft, zal de proxy server de 401 foutmelding teruggeven.
Om een 401-foutmelding te voorkomen, moet je inloggen op de website met de juiste gegevens.
De HTTP 402 Payment Required responscode is een niet-standaard client error statuscode bedoeld voor gebruik in de toekomst.
Deze code kan soms betekenen dat de aanvraag niet kan worden voltooid totdat de klant betaalt. Ontwikkelaars hebben deze code oorspronkelijk gemaakt om digitaal geld of (micro)betalingssystemen mogelijk te maken, en het zou aangeven dat het aangevraagde materiaal niet beschikbaar is totdat de klant betaalt. Er is echter geen universeel geaccepteerde gebruiksnorm en verschillende entiteiten passen het toe op verschillende situaties.
De proxy of webserver begrijpt je verzoek, maar weigert toch te reageren met een 403-code. Dit gebeurt wanneer je geen toestemming hebt om een bron te benaderen. Als oplossing moet je de juiste toestemming krijgen voordat je toegang krijgt tot de bron.
De oorzaak van een 404-fout is dat een bron niet beschikbaar is omdat deze is verwijderd of verplaatst naar een andere locatie. Hoewel het verzoek dat je doet geldig is, sturen de server proxy en de webserver de 404-foutcode terug.
Om deze foutmelding te voorkomen, moet je de URL bevestigen.
Deze fout treedt meestal op wanneer je een geldige methode probeert te benaderen, maar de actie ervan verboden is. Bijvoorbeeld, het aanroepen van een Delete methode om een bron op een website te verwijderen waar je geen toestemming voor hebt.
De server kan geen antwoord geven dat overeenkomt met de lijst van aanvaardbare parameters die zijn gedefinieerd in de headers van de proactieve inhoudsonderhandeling van het verzoek. De server is dus niet bereid om een standaardweergave te leveren.
Wanneer een proxy server om authenticatie vraagt, levert deze een 407 statuscode. In tegenstelling tot de andere problemen, kunt u dit probleem eenvoudig oplossen. Controleer of de gebruikersnaam en het wachtwoord die u hebt opgegeven correct zijn. Als het gaat om IP-authenticatie, betekent dit dat je het IP-adres van je apparaat niet hebt gewhitelist om de proxy te kunnen gebruiken. Als je nog steeds problemen ondervindt, raad ik je aan contact op te nemen met je proxy provider.
Het is vrij eenvoudig om deze fout te begrijpen. Wanneer gebruikers te veel aanvragen in een korte periode naar de doelwebsite sturen, treedt deze fout op.
Het is de oorzaak van gebruikers die buitensporig veel gegevens extraheren door verschillende bots of scrapingprogramma's te gebruiken om hopen gegevens in korte tijd te scrapen.
Gebruikers moeten proxies van hoge kwaliteit gebruiken, geleverd door gerenommeerde providers, om deze foutmelding te voorkomen.
Het gebruik van een degelijke set roterende proxies klaart de klus in de meeste scenario's. Wanneer de gebruikers hun scraping-websites bezoeken met een ander IP-adres, laten we zeggen, elke 10 minuten of meer, verlaagt dit de kans dat je gebanned wordt.
Deze serverfouten ontstaan meestal door een fout in de server tijdens het verwerken van het verzoek dat je hebt verzonden. De server is bijvoorbeeld offline of hij is gecrasht terwijl je het verzoek aan het verwerken was. Aan de andere kant kan er een fatale fout of syntaxisfout in de code zitten of is de databaseserver gecrasht.
Zoals je ziet, heb je dus geen controle over deze fouten. Er zijn echter verschillende voorzorgsmaatregelen die je kunt nemen om deze fouten te voorkomen. U kunt bijvoorbeeld het proxy netwerk en het IP-type vervangen en proxies regelmatig roteren. Om proxies te roteren, zou het ideaal zijn om residentiële proxies te gebruiken.
Laten we eens kijken naar de meest prominente soorten 5XX-fouten:
Deze fout is het gevolg van een onverwachte fout in een server, zoals een servercrash of het offline gaan van de server. Een eenvoudigere oplossing om dit probleem op te lossen is om je server opnieuw op te starten. Dit is echter niet altijd succesvol.
De fout "Niet geïmplementeerd" treedt op omdat de server de bron die u hebt aangevraagd niet kan leveren. Dit komt waarschijnlijk doordat je een niet-erkende of niet-geautoriseerde methode gebruikt in je verzoek.
Deze fout treedt op wanneer een server werkt als een gateway of proxy en een ongeldig antwoord krijgt van een andere server. Dit komt vaak voor tijdens het verzamelen van gegevens.
Wanneer super proxies weigert verbinding te maken met het internet of verzoeken te versturen, tonen bots de code 502 omdat IP's niet beschikbaar zijn voor de geselecteerde parameters.
Om dit probleem op te lossen, moet je de cache wissen en verbinding maken met de website zonder de proxy server. Als de fout nog steeds optreedt, moet u contact opnemen met uw systeembeheerder.
Deze fout treedt op wanneer een server de aanvraag krijgt terwijl deze overbelast is door andere aanvragen of niet beschikbaar is voor gepland onderhoud. Als je voldoende rechten hebt, volg dan de voortgang van de aangevraagde server in het geval van onderhoud.
In scenario's voor web scraping kan deze fout optreden doordat de doelwebsite ontdekt dat je je verbergt achter een proxy. Als gevolg daarvan blokkeert de doelwebserver je proxy. Je kunt dit helemaal voorkomen met roterende proxies.
Een gateway time-outverzoek ontstaat wanneer een server die als gateway fungeert, zoals een proxy, geen antwoord krijgt van de bestemmingsserver. De waarschijnlijke oorzaak kan zijn dat de webserver het verzoek nog aan het verwerken is, maar dat de server proxy niet kan wachten.
De enige oplossing is om contact op te nemen met je provider proxy .
Nu weet je welke scenario's de HTTP-foutcodes genereren. Laten we eens kijken naar een aantal best practices om ze in de eerste plaats te vermijden.
Nu weet je wat de standaardtype proxy fouten zijn die je waarschijnlijk tegenkomt. In de eerste plaats zou het ideaal zijn om de fouten te vermijden zodat je ongehinderd websites kunt scrapen en andere taken kunt uitvoeren met proxies .
We hopen dat je alle richtlijnen in dit artikel zult volgen en er optimaal gebruik van zult maken.