网页采集代理
网页数据采集是指向公开页面发送大量请求,并保存所需的数据。ProxyDay 把这些请求分散到轮换的住宅 IP 上,不限流量,按天计费。
为什么采集程序需要代理?
网站会限制单个 IP 地址的请求数量,所以从单个服务器 IP 运行的采集程序过一段时间就会被限速或封锁。通过代理网关转发流量,每个请求都会使用不同的住宅 IP。
住宅 IP 属于家庭宽带连接,目标网站看到的是分布在许多网络中的普通访客。总请求量可以很大,而每个 IP 的请求频率保持在较低水平。
数据采集如何按天计费?
不限流量套餐按天收取固定费用,不计流量。200 个连接、100 Mbps 时,1 天为 $4.65,7、30 或 90 天的套餐每天价格分别优惠 6%、15% 或 24%。
由于不计字节数,带图片的大页面或大型 JSON 响应与小页面费用相同。套餐规格按并发连接数(200 到 2,000)和带宽(100 到 1,000 Mbps)来选择。
我需要多少并发连接?
所需连接数等于采集程序同一时刻保持打开的请求数。有 150 个工作线程的爬虫适合 200 连接档位,还能留出重试的余量。
如果同时运行多个采集程序,把它们的线程数加起来。项目扩大后,在控制台为下一个套餐选择更高的档位。
哪些数据可以采集?
通常的目标是任何人无需登录即可打开的公开页面,例如商品列表、文章和公开名录。开始前请阅读各网站的条款以及您所在地的法律。
用于撞库、垃圾信息、DDoS 或访问政府网站的账户,ProxyDay 会暂停其使用。适度的请求频率能让目标网站正常为其他访客服务,您的采集程序也不容易被拒。
为网页数据采集设置 ProxyDay
1
在支付窗口用加密货币为 ProxyDay 余额充值(最低 $30)。
2
购买不限流量住宅套餐,选择天数、连接数和带宽。
3
代理用户名加上 -zone-unl,数据与地区相关时再加上国家,例如 -cc-us。
4
将采集程序指向 gate.proxyday.shop 的 6100 端口(HTTP)或 6200 端口(SOCKS5),每个请求都会从新 IP 发出。
问题解答
每个请求都会更换 IP 吗?
是的。用户名中不带 -sid 时,每个请求都会通过不同的住宅 IP 发出。
多页面会话可以保持同一个 IP 吗?
加上 -sid- 和您自定的任意会话 ID,如需固定时长,再加上 -ttl-,最长 60 分钟。带有相同 sid 的请求在这段时间内保持同一个 IP。
不限流量套餐有流量上限吗?
流量完全不计量。套餐规格只取决于您选择的并发连接数和带宽。
套餐开通期间会怎样?
订单会显示开通中,直到网络端完成开通。如果无法开通,订单会被取消,全部金额退回余额。