Het genereren van leads is een essentieel onderdeel van het laten groeien van je bedrijf. Als je verkoopteam geen leads heeft om te benaderen, kunnen ze hun werk niet doen. Het koud bellen van prospects is zelden effectief, vooral voor merken die producten met een hogere waarde verkopen waarbij het idee van een aankoop enige wrijving met zich meebrengt.
Gekwalificeerde leads zijn gemakkelijker te converteren omdat het mensen (of bedrijven) zijn die al interesse hebben getoond in je product of dienst. Door je doelgroep te identificeren en je marketinginspanningen specifiek op deze mensen te richten, bespaar je je verkoopteam tijd en energie zodat zij zich kunnen richten op de beste prospects.
Het genereren van leads is tegenwoordig gemakkelijker dan ooit. Directe communicatie, zeer gerichte marketingopties via sociale media en toegang tot databases met bijna alle denkbare informatie betekenen dat eigenaars van kleine bedrijven alles kunnen bereiken wat ze maar willen.
Als je in het verleden een specifieke doelgroep wilde bereiken, moest je een enorm bedrag betalen aan een marketingbedrijf om folders per post te kunnen sturen naar de bedrijven in hun database.
Tegenwoordig is dat niet meer nodig. Als je een lijst wilt van Mexicaanse restaurants aan de oostkust of K-12 scholen in jouw staat, dan kun je die online vinden. Bedrijven die actief zijn in de B2B-ruimte kunnen snel en eenvoudig een database van prospects opbouwen, die lijst vervolgens filteren en op maat gemaakte marketingberichten versturen.
Voor B2B entiteiten die zich richten op een relatief klein geografisch gebied, kan een eenvoudige zoekopdracht op het web voldoende zijn om een lijst met potentiële klanten te vinden. Als je echter bedrijven in het hele land of zelfs het hele land wilt bereiken, zou het handmatig verzamelen van al die gegevens enorm tijdrovend zijn.
Web scraping kan jou en je marketingteam een aanzienlijke hoeveelheid tijd en geld besparen door de gegevens die je nodig hebt automatisch te verzamelen.
Web Scraping is een geautomatiseerde techniek om gegevens van een website of meerdere websites te halen, zodat je de gegevens in andere toepassingen kunt gebruiken. Stel bijvoorbeeld dat je een lijst met namen en adressen van restaurants bij jou in de buurt wilt samenstellen, in plaats van handmatig elk lokaal restaurant te bezoeken dat op Yelp of Tripadvisor staat. In dat geval zou je een webscraper kunnen gebruiken om die pagina's te doorlopen en die gegevens eruit te halen, zodat je een lijst krijgt die je kunt gebruiken voor mailings.
Web scraping kan bedrijven veel tijd en moeite besparen bij het opbouwen van een marketinglijst. Het is ook verrassend eenvoudig om te doen als je over de juiste tools of programmeerkennis beschikt.
Webscrapers werken door de pagina's op te laden waar je gegevens van wilt halen en vervolgens de pagina te lezen om te zoeken naar het soort informatie dat je probeert te vinden. Die informatie kan zijn:
Wanneer een webscraper een pagina downloadt, leest hij de broncode om patronen te zoeken. Afhankelijk van de site waar je de gegevens vandaan haalt, kan het simpelweg zoeken naar iets dat overeenkomt met het 123-456-78901 patroon van een telefoonnummer of het [email protected] formaat van een e-mailadres.
De ontwikkelaar van de scraper kan ook weten dat op een bepaalde website met adresboeken contactgegevens worden omgeven door een specifieke set tags in de HTML en de scraper de informatie tussen die tags laten halen.
Sommige scrapersoftware kan worden geconfigureerd door de eindgebruiker, zodat het kan worden geleerd om bijna elke website te begrijpen.
Sommige websites proberen de privacy van hun gebruikers en hun eigen serverbronnen te beschermen door te proberen web scrapers te blokkeren. Er zijn verschillende opties om dit te doen, waaronder het controleren van de 'user agent' die wordt teruggestuurd door de clientsoftware en het beperken van het aantal aanvragen voor pagina's die afkomstig zijn van een specifiek IP-adres.
Als je scrapers effectief wilt gebruiken, moet je ervoor zorgen dat je de regels rond marketing in je land begrijpt, dat je alle gegevens die je verzamelt op een verantwoorde manier verwerkt en dat je weet hoe je gegevens van de door jou gekozen bronnen op een efficiënte, niet-destructieve manier verzamelt, zodat je niet van die site wordt verbannen.
Content scraping geeft bedrijfseigenaren toegang tot enorme hoeveelheden informatie die anders moeilijk te verzamelen zou zijn, maar die informatie is slechts zo nuttig als de bron waar het vandaan komt.
Een van de uitdagingen bij het verzamelen van gegevens via scraping is om er zeker van te zijn dat de informatie up-to-date is. Er zijn duizenden directories op het web en veel daarvan zijn slecht gecureerd en verouderd.
Als je gegevens verzamelt van een verouderde bron van lage kwaliteit, verspil je in het beste geval tijd aan e-mails die niet worden gelezen. In het ergste geval kun je te maken krijgen met klachten omdat je herhaaldelijk ongevraagd hebt gebeld naar een nummer dat niet meer toebehoort aan het bedrijf waarvan je dacht dat het dat deed.
Dus hoe kun je de kans vergroten dat de gegevens die je verzamelt nuttig zijn?
Voordat je begint met het verzamelen van gegevens met behulp van een schraaptool, moet je de website waarmee je overweegt te werken handmatig doorlichten. Verzamel een paar leads met de hand en onderzoek ze.
Zijn de bedrijven nog steeds actief? Zijn de contactgegevens nog correct? Lijkt het erop dat de eigenaar van de bedrijvengids de informatie controleert voordat deze wordt toegevoegd?
Stel dat de helft van de leads die je handmatig verzamelt dood, verouderd of mogelijk nep zijn. In dat geval is de kans groot dat elke database die je opbouwt door die site te schrapen van lage kwaliteit is.
Grotere directorysites zoals Tripadvisor, Yelp of FourSquare hebben meer kans om kwaliteitsgegevens te hebben dan kleinere, minder bekende directorys omdat deze platforms een veel grotere groep gebruikers hebben die ze updaten.
Nichegidsen kunnen waardevol zijn als je een obscure belangengroep of een zeer gespecialiseerd type bedrijf wilt benaderen, maar je moet er rekening mee houden dat je veel gegevens moet opschonen voordat je de verzamelde informatie voor marketingdoeleinden kunt gebruiken.
In veel gevallen krijg je veel waardevollere gegevens als je ze verzamelt van een site waarvoor je moet inloggen. LinkedIn en Twitter kunnen bijvoorbeeld worden gescraped als u een snelheidsbegrenzer gebruikt om het aantal verzoeken dat uw bot verstuurt op een redelijk niveau te houden en ingelogd bent op de site wanneer u de verzoeken doet.
Als er een API beschikbaar is, is het over het algemeen beter om je gegevens via die API te verzamelen dan door middel van web scraping. Je zult veel minder snel in de problemen komen met website-eigenaren en het is eenvoudiger om gegevens op te schonen die via een API worden aangeleverd.
Er is een gezegde in computerprogrammering van "garbage in, garbage out", en dat is zeker van toepassing op het verzamelen van gegevens. Zorg ervoor dat je alle zoekopdrachten die je uitvoert zorgvuldig construeert.
Als je bijvoorbeeld wilt verkopen aan bouwers in Newcastle, vergeet dan niet dat er meer dan één Newcastle in Engeland is en dat er ook een Newcastle in Australië is. Als je zoekt naar 'Newcastle' via een proxy, zullen de meeste websites proberen te raden welke Newcastle je bedoelt door te kijken welke het dichtst bij de geografische locatie van de proxy ligt.
Probeer de zoekopdracht zo veel mogelijk te beperken door informatie over stad, staat en zelfs land te geven als de doelwebsite dat toestaat. Zo voorkom je dat je eindigt met een database vol contactgegevens van organisaties die honderden kilometers verwijderd zijn van het door jou gewenste gebied.
Web scraping kan zo eenvoudig of zo complex zijn als je zelf wilt. Als je scraping voor de eerste keer probeert, hoef je niet veel geld uit te geven aan geavanceerde software.
Enkele goede opties zijn:
ProWebScraper kan afbeeldingen downloaden en JSON, CSV of XML-dumps aanmaken. Het kan zelfs worden ingesteld om sites volgens een schema te scrapen, zodat je de gegevens kunt verzamelen en je marketingrecords kunt bijwerken.
Er is een actieve Scrapy gemeenschap, inclusief IRC chat, Reddit en StackOverflow. Je kunt advies inwinnen bij de community en mogelijk gebruikmaken van extensies of modules die door de community zijn gemaakt, waardoor je de kracht van Scrapy kunt benutten, zelfs als je zelf geen ervaren ontwikkelaar bent.
Als je veel gegevens moet verzamelen of van plan bent om regelmatig te scrapen, zijn gratis tools en GUI-gebaseerde tools misschien niet krachtig genoeg voor jouw use-case. Je eigen scraper coderen, of een ontwikkelaar inhuren om het voor je te doen, is een goede optie.
Er zijn verschillende gratis, open-source frameworks die kunnen worden gebruikt om een scraper te coderen in populaire talen zoals Python, Perl, Java, R of PHP.
Je eigen scraper coderen is een goed idee als je enige programmeerkennis hebt. Het kan ook nuttig zijn om je eigen scraper te coderen als je veel gegevens van een ongewone webpagina moet halen die gratis scraptools niet aankunnen.
Je eigen scraper coderen of iemand betalen om het voor je te doen kan een goed idee zijn als je specifieke, geavanceerde behoeften hebt. Een op maat gemaakte scraper kan effectiever worden ontworpen rond een doelpagina dan een meer algemene tool, zodat je minder kans hebt op bugs of problemen met het verwerken van de gegevens.
Omgekeerd zijn op maat gemaakte scrapers ook nuttig voor kleinere, eenvoudige taken. Als je eenmaal een scraper hebt geschreven, kun je de parsingroutine aanpassen en hetzelfde script gebruiken om gegevens van andere pagina's te halen.
Het nadeel van het gebruik van een aangepaste scraper is dat het tijd kost om de scraper voor de eerste keer te schrijven, en als u geen ervaren ontwikkelaar bent, besteedt u misschien meer tijd aan het worstelen met JSON-indeling of aan het leren van een nieuwe bibliotheek dan nodig is om gewoon de handleiding van ProWebScraper te lezen en deze te configureren.
Afhankelijk van de taak kan het kosteneffectiever zijn om voor een tool te betalen dan om een aangepaste tool te schrijven.
Als je van plan bent om je eigen scraper te schrijven, moet je bovendien op de hoogte zijn van de beste scrapingpraktijken en coderingsproblemen, zoals:
Het schrijven van een kleine scraper om informatie op te halen over een paar honderd of een paar duizend bedrijven is heel zinvol. Als je grotere hoeveelheden gegevens ophaalt, wil je misschien advies inwinnen of samenwerken met een expert om er zeker van te zijn dat je volledig voldoet aan de lokale privacyregels.
Als je besluit om je eigen scraper te schrijven, vergeet dan niet om "aardig te zijn". Doe er alles aan om op een beleefde manier te scrapen, door correct gevormde verzoeken te sturen, langzaam te scrapen en een reeks IP-adressen te gebruiken wanneer je scrapeert.
Stuur niet meerdere verzoeken tegelijkertijd vanaf hetzelfde IP-adres. Anti-scraping tools zullen detecteren dat je de server abnormaal belast.
Respecteer de informatie in het Robots.txt-bestand van de website. Als er pagina's zijn waarvan de webmaster niet wil dat ze worden geïndexeerd. Het zou onethisch zijn om dat te negeren.
Er is een technologische wapenwedloop gaande tussen ontwikkelaars van scrapers en degenen die proberen scrapers van hun websites te weren. Het is erg moeilijk om een scraper te maken die ongemerkt enorme hoeveelheden gegevens kan verzamelen. Echter, voor kleinere of middelgrote projecten, als je de regels volgt van aardig zijn en niet inhalig zijn, zou je in staat moeten zijn om de gegevens te krijgen die je nodig hebt met een langzame, regelmatige scraper en wat proxies.
Vergeet niet dat je bot 24 uur per dag kan werken en op de achtergrond gegevens kan verzamelen, dus je hoeft niet in één keer de hele lijst met kleine bedrijven op Yelp te downloaden.
Er zijn verschillende potentiële problemen die je kunt tegenkomen als je een scraper gebruikt. Deze kunnen zijn:
Het goede nieuws is dat deze problemen allemaal kunnen worden opgelost als je begrijpt hoe scrapers werken.
Eenvoudige web scrapers volgen een patroon:
Er zijn een paar gebieden waar het mis kan gaan.
Als de scraper helemaal geen gegevens oppikt, kan dit komen door een probleem met de manier waarop je de parser hebt ingesteld, of het kan zijn dat de scraper niet dezelfde site ziet als jij wanneer je een webbrowser gebruikt.
Om uit te zoeken wat er mis is gegaan, stel je je scraper in om de HTML van de pagina uit te voeren en vergelijk je die met de normale uitvoer van de browser.
Als je een foutmelding of een andere pagina ziet, kan het zijn dat je scraperclient geblokkeerd is. De site kan je IP-adres of de scraperclientsoftware geblokkeerd hebben.
Als u een 'normale' pagina ziet, dan ligt het probleem waarschijnlijk meer bij de manier waarop u de scraper hebt ingesteld om gegevens te extraheren. Elk scrapingprogramma heeft zijn eigen manier om patronen te matchen, hoewel de meeste een variatie van reguliere expressies gebruiken. Zorg ervoor dat er geen typografische fouten zitten in het matchen van patronen. Vergeet niet dat het programma precies doet wat jij het opdraagt, dus zelfs één klein foutje zal de matching-regels volledig doorbreken!
Een ander veel voorkomend probleem is dat een scraper korte tijd werkt en dan stopt met werken. Dit betekent meestal dat de website je IP-adres heeft geblokkeerd, tijdelijk of permanent, omdat je in korte tijd te veel aanvragen hebt verzonden.
Overweeg om de proxy die je gebruikt na een paar verzoeken te wijzigen om het risico te verkleinen dat een IP-adres van proxywordt geblokkeerd. Je kunt het risico op IP-banzen ook verkleinen door de snelheid waarmee je scraper verzoeken verstuurt te verlagen.
Vergeet niet dat een scraper 24 uur per dag op de achtergrond kan werken, zonder pauzes. Zelfs als je de snelheid van de scraper beperkt tot het parsen van een pagina elke 15-30 seconden, zal hij sneller werken dan een mens.
Hou er rekening mee dat veel websites, vooral kleinere, gehost worden op servers die een limiet hebben op hun snelheid en de hoeveelheid data die ze maandelijks kunnen doorsturen. Misschien vindt u het niet onredelijk dat uw bot wat gegevens gaat schrapen, maar als veel andere gebruikers hetzelfde doen, of als uw bot 'verdwaalt' en eindeloos dezelfde pagina's probeert te downloaden, kunt u de prestaties van de website voor menselijke gebruikers nadelig beïnvloeden of de webmaster geld kosten door buitensporig veel bronnen te verbruiken.
Een ander veel voorkomend probleem dat marketeers tegenkomen wanneer ze een webscraper proberen te gebruiken, is dat de scraper in de war raakt en pagina's downloadt die hij niet zou moeten downloaden.
Stel dat het plan van je scraper is om een lijst van metselaars in je stad te vinden, en je stuurt hem naar een directory waar hij dat doorzoekt. De scraper moet:
Sommige websites zijn gebouwd met 'honeypots' die bots in de val lokken en verwarren. Deze honeypots zijn stukjes HTML die zijn voorzien van een weergavetag met de tekst 'display:none', zodat ze niet zichtbaar zijn in een normale browser. Bots kunnen ze echter wel zien en als ze niet zijn geconfigureerd om ze te negeren, verwerken ze ze net als normale HTML.
Het is erg moeilijk om een bot zo te programmeren dat hij alle bot-trapping HTML volledig negeert, omdat sommige van deze vallen ongelooflijk geavanceerd zijn. Wat u wel kunt doen, is een limiet instellen op het aantal links dat uw bot zal volgen. U kunt ook zelf de bron van de pagina bekijken en zoeken naar duidelijke valstrikken, zodat u de bot kunt instellen om deze te negeren.
Web scraping is iets waar veel sites niet blij mee zijn en waar bedrijfseigenaren voorzichtig mee moeten zijn. Onder GDPR is het bijvoorbeeld illegaal om informatie van een inwoner van de EU te scrapen zonder hun toestemming.
Bovendien verbieden veel websites die gegevens verbergen achter een inlogscherm expliciet web scraping in hun algemene voorwaarden. Dit betekent dat je het risico loopt om van die website te worden verbannen als blijkt dat je een scraper gebruikt.
Als je besluit om scraping te gebruiken om leads te verzamelen, probeer dit dan op een verstandige manier te doen. Zie scraping eerder als een manier om tijd te besparen bij het verzamelen van leads die je toch al zou hebben verzameld, dan als een manier om een grootschalige marketingcampagne op te zetten.
Vermijd een te breed net met scraping. Het kan verleidelijk zijn om de contactgegevens te verzamelen van elk bedrijf of persoon in je omgeving en de omliggende gebieden, in de hoop een van die bedrijven om te zetten in een klant, maar zo'n brede, ongerichte campagne zal waarschijnlijk averechts werken.
Voordat je met je marketingcampagne begint, moet je de verzamelde gegevens controleren. Schoon de database op om duidelijk onjuiste gegevens te verwijderen, zoals bedrijven die zijn gesloten, dubbele records of records van mensen die zich niet in je doelgebied bevinden.
Zodra je de campagne start, moet je de database up-to-date houden. Als een lead vraagt om uit je database verwijderd te worden, verwijder hem dan. Als je wettelijk in staat bent om dit te doen in jouw rechtsgebied, bewaar dan net genoeg gegevens over hen om hun e-mailadres of telefoonnummer toe te voegen aan een 'geen contact'-lijst zodat ze niet opnieuw kunnen worden toegevoegd aan je marketingdatabase de volgende keer dat je gaat schrapen.
Enkele andere dingen die je moet onthouden bij het beheren van je marketingcampagnes zijn:
Er is een dunne lijn tussen proactieve marketing en agressieve spam. Herhaalde contacten van marketeers maken deel uit van het klanttraject en het is belangrijk om in contact te blijven met potentiële klanten, maar al te agressieve marketing kan prospects van je vervreemden en je merk een slechte reputatie bezorgen.
Overweeg om de gegevens die je via scraping verkrijgt te importeren in een CRM-systeem, zodat je van elke klant kunt bijhouden in welke fase van het conversieproces ze zich bevinden en hoe ze hebben gereageerd op marketingberichten.
Als je dit doet, blijf je niet alleen op de hoogte van individuele klanten, maar kun je ook gemakkelijker zien hoe je marketingcampagnes collectief presteren, zodat je je berichten kunt verfijnen.
Het bijhouden van de bron van leads kan ook nuttig zijn, omdat het je een idee geeft welke gegevensbronnen informatie van de hoogste kwaliteit bevatten.