Proxys für Web Scraping
Web Scraping heißt, viele Anfragen an öffentliche Seiten zu senden und die benötigten Daten zu speichern. ProxyDay verteilt diese Anfragen auf rotierende Residential IPs und rechnet unbegrenzten Traffic pro Tag ab.
Warum brauchen Scraper Proxys?
Websites begrenzen, wie viele Anfragen eine IP-Adresse senden darf. Ein Scraper, der von einer einzelnen Server-IP aus läuft, wird daher nach einer Weile gebremst oder gesperrt. Läuft der Traffic über ein Proxy-Gateway, bekommt jede Anfrage eine andere Residential IP.
Residential IPs gehören zu privaten Internetanschlüssen, die Zielwebsite sieht also normale Besucher aus vielen Netzen. Ihr Gesamtvolumen kann hoch sein, während die Anfragerate pro IP niedrig bleibt.
Wie funktioniert die Abrechnung pro Tag beim Scraping?
Der Unlimited-Tarif berechnet einen festen Preis pro Tag ohne Traffic-Zähler. Bei 200 Verbindungen und 100 Mbps sind es $4.65 für einen Tag, und der Tagespreis sinkt bei Tarifen über 7, 30 oder 90 Tage um 6%, 15% oder 24%.
Schwere Seiten mit Bildern oder großen JSON-Antworten kosten genauso viel wie kleine, weil keine Bytes gezählt werden. Die Größe des Tarifs bestimmen Sie über gleichzeitige Verbindungen (200 bis 2,000) und Bandbreite (100 bis 1,000 Mbps).
Wie viele gleichzeitige Verbindungen brauche ich?
Sie brauchen so viele Verbindungen, wie Ihr Scraper gleichzeitig Anfragen offen hält. Ein Crawler mit 150 Worker-Threads passt in die Stufe mit 200 Verbindungen und hat noch Reserve für Wiederholungen.
Wenn Sie mehrere Scraper parallel betreiben, addieren Sie ihre Worker-Zahlen. Wächst das Projekt, wählen Sie für den nächsten Tarif im Dashboard eine größere Stufe.
Welche Daten darf man scrapen?
Übliche Ziele sind öffentliche Seiten, die jeder ohne Login öffnen kann, etwa Produktlisten, Artikel und öffentliche Verzeichnisse. Lesen Sie vor dem Start die Bedingungen jeder Website und die Gesetze an Ihrem Standort.
ProxyDay sperrt Konten, die für Credential Stuffing, Spam, DDoS oder den Zugriff auf Behördenwebsites genutzt werden. Moderate Anfrageraten halten die Zielwebsite für ihre anderen Besucher funktionsfähig, und Ihr Scraper bleibt dort willkommen.
ProxyDay für Web Scraping einrichten
1
Laden Sie Ihr ProxyDay-Guthaben im Zahlungsfenster mit Krypto auf (mindestens $30).
2
Kaufen Sie einen Unlimited Residential Tarif und wählen Sie Tage, Verbindungen und Bandbreite.
3
Nutzen Sie Ihren Proxy-Benutzernamen mit -zone-unl und fügen Sie ein Land wie -cc-us hinzu, wenn die Daten von der Region abhängen.
4
Richten Sie Ihren Scraper auf gate.proxyday.shop mit Port 6100 (HTTP) oder 6200 (SOCKS5) aus. Jede Anfrage geht dann über eine neue IP.
Fragen
Wechselt die IP bei jeder Anfrage?
Ja. Ohne -sid im Benutzernamen geht jede Anfrage über eine andere Residential IP.
Kann ich für eine Session über mehrere Seiten eine IP behalten?
Fügen Sie -sid- und eine selbst gewählte Session-ID hinzu, dazu -ttl- mit bis zu 60 Minuten, wenn Sie eine feste Dauer möchten. Anfragen mit derselben sid behalten in dieser Zeit dieselbe IP.
Gibt es beim Unlimited-Tarif ein Traffic-Limit?
Der Traffic wird überhaupt nicht gemessen. Die Größe des Tarifs ergibt sich nur aus den gewählten gleichzeitigen Verbindungen und der Bandbreite.
Was passiert, während mein Tarif aktiviert wird?
Die Bestellung zeigt „Wird aktiviert“, bis das Netzwerk sie freischaltet. Kann sie nicht aktiviert werden, wird sie storniert und der volle Betrag geht zurück auf Ihr Guthaben.
Weitere Anwendungsfälle
Starten Sie noch heute Ihren ersten Proxy-Tarif
Registrieren Sie sich, laden Sie Ihr Guthaben auf und nutzen Sie unbegrenzten Traffic ab $3.53 pro Tag.