跳至內容
proxyday

網頁抓取代理

網頁數據擷取是向公開頁面發出大量請求,並儲存所需的數據。ProxyDay 把這些請求分散到輪換住宅 IP,無限流量按日計費。

爬蟲為甚麼需要代理?

網站會限制單一 IP 地址可發出的請求數量,所以從單一伺服器 IP 運行的爬蟲一段時間後會被減速或封鎖。經代理閘道傳送流量,每個請求都會使用不同的住宅 IP。

住宅 IP 屬於家用上網連線,目標網站看到的是分佈在多個網絡的一般訪客。你的總量可以很大,而每個 IP 的請求頻率仍然很低。

數據擷取按日計費如何運作?

無限流量計劃以固定每日價格收費,不設流量計量。200 個連線及 100 Mbps,1 日為 $4.65,7、30 或 90 日計劃的每日價格分別減 6%、15% 或 24%。

含圖片或大型 JSON 回應的大頁面與小頁面收費相同,因為不計算位元組。你按同時連線數(200 至 2,000)及頻寬(100 至 1,000 Mbps)決定計劃大小。

我需要多少個同時連線?

所需連線數等於你的爬蟲同一時間保持開啟的請求數量。有 150 個工作線程的爬蟲適合 200 個連線的級別,還有餘量供重試使用。

如果同時運行多個爬蟲,把它們的工作線程數加起來。項目擴大時,在控制台為下一個計劃選擇更高級別。

哪些數據可以擷取?

一般目標是任何人毋須登入即可開啟的公開頁面,例如產品列表、文章及公開名錄。開始前請閱讀各網站的條款及你營運所在地的法律。

ProxyDay 會暫停用於撞庫攻擊、垃圾訊息、DDoS 或存取政府網站的帳戶。適度的請求頻率可讓目標網站為其他訪客正常運作,你的爬蟲也不會被拒諸門外。

為網頁數據爬取設定 ProxyDay

  1. 1

    在付款視窗以加密貨幣為 ProxyDay 餘額增值(最低 $30)。

  2. 2

    購買無限流量住宅計劃,選擇日數、連線數及頻寬。

  3. 3

    代理用戶名稱加上 -zone-unl,如數據視乎地區,再加上國家,例如 -cc-us。

  4. 4

    把爬蟲指向 gate.proxyday.shop 的端口 6100(HTTP)或 6200(SOCKS5),每個請求都會從新 IP 發出。

問題

每個請求都會更換 IP 嗎?

是。用戶名稱中沒有 -sid 值時,每個請求都會經不同的住宅 IP 發出。

多頁連線階段可以保持同一 IP 嗎?

加上 -sid- 及你自訂的任意連線階段 ID,如需設定長度,再加上 -ttl- 及最長 60 分鐘。sid 相同的請求會在該時間內保持同一 IP。

無限流量計劃有流量上限嗎?

流量完全不計量。計劃大小只取決於你所選的同時連線數及頻寬。

計劃啟用中期間會怎樣?

訂單會顯示啟用中,直至網絡端開通為止。如無法啟用,訂單會被取消,全數金額退回你的餘額。

今天就開始你的第一個代理計劃

註冊、為餘額增值,無限流量每日 $3.53 起。