收集 AI 訓練數據的代理
以公開網絡內容建立數據集,往往需要以多種語言抓取數星期。ProxyDay 無限流量住宅計劃為這類工作提供固定每日價格及 60 個國家的 IP。
哪種代理適合數據集抓取?
不計流量的輪換住宅代理最合適,因為數據集抓取會從大量不同網域下載大量數據。按 GB 計費的話,最終成本就會取決於你無法控制的頁面大小。
使用 ProxyDay 無限流量計劃,成本只取決於日數、連線數及頻寬。在發出第一個請求前,你已經可以定好三個月抓取的預算。
如何收集不同語言的內容?
在用戶名稱加上國家代碼,例如德國用 -cc-de,日本用 -cc-jp,請求就會從該國家發出。很多網站會按訪客的 IP 提供當地語言版本。
每個國家使用獨立的工作程式池及用戶名稱字串。這樣各語言的數據分得清楚,爬蟲程式碼也不用改。
長時間抓取要多少錢?
90 日計劃、200 個連線及 100 Mbps,每日 $3.53,比 1 日價格低 24%。規模較大的抓取,1,000 個連線及 200 Mbps 在 30 日計劃下每日 $8.60,總額 $258.00。
在控制台,計劃長度可設定為 1~365 日任何日數。按抓取時間表設定使用期,只為實際抓取的日子付款。
如何負責任地收集數據集?
只收集公開內容,遵守 robots.txt 及網站條款,並檢查訓練用途適用的版權及資料保護規則。不需要的個人資料應在進入數據集前刪除。
即使代理可承受更多,也要限制每個網域的請求數量。網站運作正常,下一版數據集才可以再次抓取。
為AI 訓練數據設定 ProxyDay
1
增值足夠整個抓取期使用的餘額。單次增值最高 $5,000。
2
按抓取所需日數購買無限流量計劃,1~365 日任選。
3
每種語言設定一個用戶名稱,例如 pd7k2q9mx3-zone-unl-cc-fr,讓每個工作程式池從正確的國家發出請求。
4
以 gate.proxyday.shop:6100 啟動爬蟲,並把開啟的連線數保持在計劃的連線數以內。
問題
一個計劃可以覆蓋全部 60 個國家嗎?
可以。一個無限流量計劃適用於全部 60 個國家,你在用戶名稱中為每個請求選擇國家。
抓取時應使用黏性連線嗎?
大部分抓取以每個請求輪換 IP 已能有效分散負載。只有需要跨多個頁面保持 Cookie 連線階段的網站才使用 -sid。
可以用哪些付款方式?
增值經安全的付款視窗以加密貨幣支付:TRON、BNB Smart Chain、Ethereum 或 Solana 上的 USDT,以及 USDC、BTC、ETH、BNB、SOL 和 LTC。
剩餘的餘額會怎樣?
未用的餘額會留在帳戶中,沒有到期日。下次開始抓取時可隨時用來付款。