網路爬蟲用代理
網頁爬取是向公開頁面發送大量請求,並儲存所需的資料。ProxyDay 會把這些請求分散到輪換的住宅 IP 上,並以按天計費的方式提供不限流量。
爬蟲為什麼需要代理?
網站會限制單一 IP 位址可發送的請求數,所以從單一伺服器 IP 執行的爬蟲,過一陣子就會被降速或封鎖。透過代理連線位址傳送流量,每個請求都會使用不同的住宅 IP。
住宅 IP 屬於家用網路連線,目標網站看到的是分散在許多網路上的一般訪客。總請求量可以很大,同時每個 IP 的請求頻率維持很低。
爬蟲按天計費怎麼運作?
無限流量方案以固定的每日價格計費,不計流量。200 個連線、100 Mbps 的 1 天價格為 $4.65,7、30 或 90 天的方案每日費率分別降低 6%、15% 或 24%。
因為不計位元組,含圖片或大型 JSON 回應的大頁面和小頁面費用相同。方案大小依同時連線數(200~2,000)和頻寬(100~1,000 Mbps)決定。
我需要多少同時連線數?
所需連線數等於爬蟲同一時間保持開啟的請求數。有 150 個工作執行緒的爬蟲適合 200 個連線的級距,還留有重試的空間。
若同時執行多個爬蟲,請把它們的工作執行緒數加總。專案變大時,下一個方案請在控制台選擇更大的級距。
哪些資料可以爬取?
一般目標是任何人不用登入就能開啟的公開頁面,例如商品列表、文章和公開名錄。開始之前,請先閱讀各網站的條款和您所在地區的法律。
用於撞庫攻擊、垃圾訊息、DDoS 或存取政府網站的帳號,ProxyDay 會予以停權。適度的請求頻率能讓目標網站正常服務其他訪客,您的爬蟲也比較不會被拒絕。
為網路爬蟲設定 ProxyDay
1
在付款視窗以加密貨幣儲值 ProxyDay 餘額(最低 $30)。
2
購買無限流量住宅方案,選擇天數、連線數和頻寬。
3
代理使用者名稱加上 -zone-unl,資料會因地區不同時,再加上國家,例如 -cc-us。
4
將爬蟲指向 gate.proxyday.shop 的 6100 埠(HTTP)或 6200 埠(SOCKS5),每個請求都會從新 IP 發出。
常見問題
每個請求都會換 IP 嗎?
是的。使用者名稱中沒有 -sid 值時,每個請求都會透過不同的住宅 IP 發出。
瀏覽多個頁面的工作階段可以保持同一個 IP 嗎?
加上 -sid- 和您自訂的任意工作階段 ID,若要指定長度,再加上 -ttl- 和最多 60 的分鐘數。使用相同 sid 的請求在這段時間內會保持同一個 IP。
無限流量方案有流量上限嗎?
流量完全不計量。方案大小只取決於您選擇的同時連線數和頻寬。
方案啟用中會怎樣?
訂單會顯示啟用中,直到網路端啟用為止。若無法啟用,訂單會被取消,全額退回您的餘額。