跳到内容
proxyday

网页采集代理

网页数据采集是指向公开页面发送大量请求,并保存所需的数据。ProxyDay 把这些请求分散到轮换的住宅 IP 上,不限流量,按天计费。

为什么采集程序需要代理?

网站会限制单个 IP 地址的请求数量,所以从单个服务器 IP 运行的采集程序过一段时间就会被限速或封锁。通过代理网关转发流量,每个请求都会使用不同的住宅 IP。

住宅 IP 属于家庭宽带连接,目标网站看到的是分布在许多网络中的普通访客。总请求量可以很大,而每个 IP 的请求频率保持在较低水平。

数据采集如何按天计费?

不限流量套餐按天收取固定费用,不计流量。200 个连接、100 Mbps 时,1 天为 $4.65,7、30 或 90 天的套餐每天价格分别优惠 6%、15% 或 24%。

由于不计字节数,带图片的大页面或大型 JSON 响应与小页面费用相同。套餐规格按并发连接数(200 到 2,000)和带宽(100 到 1,000 Mbps)来选择。

我需要多少并发连接?

所需连接数等于采集程序同一时刻保持打开的请求数。有 150 个工作线程的爬虫适合 200 连接档位,还能留出重试的余量。

如果同时运行多个采集程序,把它们的线程数加起来。项目扩大后,在控制台为下一个套餐选择更高的档位。

哪些数据可以采集?

通常的目标是任何人无需登录即可打开的公开页面,例如商品列表、文章和公开名录。开始前请阅读各网站的条款以及您所在地的法律。

用于撞库、垃圾信息、DDoS 或访问政府网站的账户,ProxyDay 会暂停其使用。适度的请求频率能让目标网站正常为其他访客服务,您的采集程序也不容易被拒。

为网页数据采集设置 ProxyDay

  1. 1

    在支付窗口用加密货币为 ProxyDay 余额充值(最低 $30)。

  2. 2

    购买不限流量住宅套餐,选择天数、连接数和带宽。

  3. 3

    代理用户名加上 -zone-unl,数据与地区相关时再加上国家,例如 -cc-us。

  4. 4

    将采集程序指向 gate.proxyday.shop 的 6100 端口(HTTP)或 6200 端口(SOCKS5),每个请求都会从新 IP 发出。

问题解答

每个请求都会更换 IP 吗?

是的。用户名中不带 -sid 时,每个请求都会通过不同的住宅 IP 发出。

多页面会话可以保持同一个 IP 吗?

加上 -sid- 和您自定的任意会话 ID,如需固定时长,再加上 -ttl-,最长 60 分钟。带有相同 sid 的请求在这段时间内保持同一个 IP。

不限流量套餐有流量上限吗?

流量完全不计量。套餐规格只取决于您选择的并发连接数和带宽。

套餐开通期间会怎样?

订单会显示开通中,直到网络端完成开通。如果无法开通,订单会被取消,全部金额退回余额。

今天就开通您的第一个代理套餐

注册、充值余额,即可使用不限流量,每天 $3.53 起。