Mensen kunnen gemakkelijk informatie verzamelen en scrapen van verschillende bronnen, zoals Facebook, Reddit en Twitter. Je kunt een scraper zien als een gespecialiseerd hulpmiddel dat nauwkeurig en snel gegevens van een webpagina haalt. De scraping API's helpen de scrapers om niet gebanned te worden door anti-scraping technieken die de websites plaatsen. Het is echter duur om API's te gebruiken in vergelijking met een proxy tool die je zelf beheert.
Reddit heeft een API genaamd de Python Reddit API Wrapper, afgekort PRAW, om gegevens te crawlen. In deze blog laat ik je zien hoe je Reddit kunt scrapen met Python. Maar eerst moet je weten waarom je Reddit moet scrapen.
Als we het hebben over het ontwerp van Reddit, dan is het onderverdeeld in verschillende gemeenschappen die bekend staan als "subreddits". Je kunt op het internet elke subreddit vinden voor het onderwerp dat je interesseert. Sociale onderzoekers voeren analyses uit, trekken conclusies en implementeren actieplannen wanneer ze Reddit-discussies voor een bepaald onderwerp extraheren.
Je kunt veel datapunten van Reddit scrapen, zoals:
Je kunt alle informatie van Reddit scrapen die relevant is voor jouw bedrijf vanwege de volgende behoeften:
Bijvoorbeeld,
Reddit scraping maakt gebruik van web scrapers (computerprogramma's) om publiek beschikbare gegevens van de Reddit website te halen. Je moet de Reddit scrapers gebruiken vanwege de beperkingen waarmee je te maken krijgt als je de officiële Reddit API gebruikt. Als je echter een webscraper gebruikt die geen gebruik maakt van de Reddit API om gegevens van Reddit te halen, schend je de gebruiksvoorwaarden van Reddit. Dit betekent echter niet dat web scraping illegaal is.
Om een probleemloze scraping-sessie te hebben, moet je de anti-scraping-systemen van Reddit omzeilen. De meest gebruikte anti-scrapingtechnieken van Reddit zijn:
U kunt het probleem van IP-tracking oplossen met behulp van proxies en IP-rotatie. Aan de andere kant kun je het probleem van Captcha's oplossen met behulp van Captcha-oplossingen zoals 2Captcha.
Er zijn vijf manieren om Reddit te scrapen:
Laten we eens kijken hoe we Reddit kunnen scrapen met behulp van de Reddit API met behulp van de volgende stappen.
Eerst importeren we de ingebouwde Pandas-modules, zoals datetime, en twee modules van derden, PRAW en Pandas, zoals hieronder getoond:
importeer praw
importeer pandas als pd
importeer datetime als dtJe hebt toegang tot de Reddit-gegevens met Praw, wat staat voor Python Reddit API Wrapper. Eerst moet je verbinding maken met Reddit door de functie praw.Reddit aan te roepen en op te slaan in een variabele. Daarna moet je de volgende argumenten doorgeven aan de functie.
reddit = praw.Reddit(client_id='PERSONAL_USE_SCRIPT_14_CHARS', \
client_secret='SECRET_KEY_27_CHARS', \
user_agent='YOUR_APP_NAME', \
username='YOUR_REDDIT_USER_NAME', \
password='YOUR_REDDIT_LOGIN_PASSWORD')subreddit = reddit.subreddit('Nootropics')Elke subreddit heeft de onderstaande vijf verschillende manieren om de onderwerpen te organiseren die door Redditors zijn aangemaakt:
Je kunt de onderwerpen waar het meest over is gestemd als volgt bekijken:
top_subreddit = subreddit.top()Je krijgt een lijstachtig object met de top 100 inzendingen in r/Nootropics. De aanvraaglimiet van Reddit is echter 1000, dus je kunt de steekproefgrootte regelen door een limiet door te geven aan .top als:
top_subreddit = subreddit.top(limit=600)Je kunt alle gegevens scrapen die je maar wilt. We zullen echter de onderstaande informatie over de onderwerpen scrapen:
We zullen dit doen door onze gegevens op te slaan in een woordenboek en vervolgens een for-lus te gebruiken zoals hieronder wordt weergegeven.
topics_dict = { "title":[], \
"score":[], \
"id":[], "url":[], \
"created": [], \
"body":[]}Nu kunnen we de gegevens van de Reddit API scrapen. We voegen de informatie toe aan ons woordenboek door iteratie door ons top_subreddit object.
voor onderwerp in top_subreddit:
topics_dict["id"].append(submission.id)
topics_dict["title"].append(submission.title)
topics_dict["score"].append(submission.score)
topics_dict["created"].append(submission.created)
topics_dict["body"].append(submission.selftext)Nu zetten we onze gegevens in Pandas Dataframes omdat Python woordenboeken niet gemakkelijk te lezen zijn.
topics_data = pd.DataFrame(topics_dict)Het is heel eenvoudig om in Pandas gegevensbestanden in verschillende formaten te maken, dus we gebruiken de volgende regels code om onze gegevens naar een CSV-bestand te exporteren.
topics_data.to_csv('FILENAME.csv', index=False)Je weet dat Reddit niet echt een strenge website is als het gaat om proxy gebruiksbeperkingen. Maar je kunt betrapt en gestraft worden als je je acties op Reddit automatiseert zonder proxies te gebruiken.
Laten we eens kijken naar de beste proxies voor Reddit die in twee categorieën vallen:
Hieronder volgen enkele van de top residentiële en datacenter proxies voor Reddit.
ProxyScrape biedt drie soorten diensten aan haar gebruikers, namelijk,
Je hebt proxies nodig als je werkt met een aantal automatische tools op Reddit. Reddit is namelijk een zeer gevoelige website die gemakkelijk automatische acties detecteert en je IP blokkeert voor toegang tot het platform. Dus als je sommige taken automatiseert, zoals stemmen, posten, lid worden van groepen en het beheren van meer dan één account, moet je zeker proxies gebruiken om slechte resultaten te voorkomen.
U kunt kiezen voor handmatig schrapen als uw Reddit-schraapbehoeften klein zijn. Maar als de vereisten groot worden, moet je geautomatiseerde scraping methodologieën gebruiken zoals web scraping tools en aangepaste scripts. De webscrapers blijken kosten- en middelenefficiënt te zijn als je dagelijkse scrapingvereisten binnen een paar miljoen berichten liggen.
Laten we dus eens kijken naar enkele van de beste Reddit scrapers als de beste oplossing om grote hoeveelheden Reddit gegevens te scrapen.