ウェブスクレイピング用プロキシ
Webスクレイピングとは、公開ページに多くのリクエストを送り、必要なデータを保存することです。ProxyDayはそのリクエストをローテーション型の住宅用IPに分散させ、無制限のトラフィックを日額で課金します。
スクレイパーにプロキシが必要な理由
サイトは1つのIPアドレスから送れるリクエスト数を制限しているため、1つのサーバーIPで動くスクレイパーはしばらくすると速度を落とされるか、ブロックされます。プロキシゲートウェイを経由すれば、リクエストごとに別の住宅用IPが使われます。
住宅用IPは家庭のインターネット回線のものなので、アクセス先のサイトからは多くのネットワークに散らばった通常の訪問者に見えます。全体の量が多くても、1 IPあたりのリクエスト頻度は低く保てます。
スクレイピングでの日額課金の仕組み
無制限プランはトラフィックを計測しない、1日あたりの固定料金です。200接続、100 Mbpsなら1日$4.65で、7日、30日、90日のプランでは日額がそれぞれ6%、15%、24%下がります。
バイト数を数えないため、画像入りの重いページや大きなJSONの応答も、小さなものと同じ料金です。プランの規模は同時接続数（200~2,000）と帯域幅（100~1,000 Mbps）で決めます。
同時接続数はいくつ必要ですか
必要な接続数は、スクレイパーが同時に開いているリクエストの数と同じです。ワーカースレッドが150のクローラーなら、200接続の段階で再試行の余裕も残ります。
複数のスクレイパーを並行して動かす場合は、ワーカー数を合計してください。案件が大きくなったら、次のプランでダッシュボードから大きい段階を選んでください。
スクレイピングしてよいデータは
商品一覧、記事、公開ディレクトリなど、誰でもログインせずに開ける公開ページが一般的な対象です。始める前に、各サイトの規約と、事業を行う地域の法令を確認してください。
ProxyDayは、リスト型攻撃、スパム、DDoS、政府機関のサイトへのアクセスに使われたアカウントを停止します。リクエスト頻度をほどほどに保てば、アクセス先のサイトは他の訪問者にも問題なく動き、スクレイパーも受け入れられやすくなります。
ウェブスクレイピング向けにProxyDayを設定する
1
決済画面から暗号資産でProxyDayの残高をチャージします（最低$30）。
2
無制限住宅用プランを購入し、日数、接続数、帯域幅を選びます。
3
プロキシユーザー名に -zone-unl を付け、データが地域によって変わる場合は -cc-us のように国を追加します。
4
スクレイパーの接続先を gate.proxyday.shop のポート6100（HTTP）または6200（SOCKS5）にすると、リクエストごとに新しいIPから送信されます。
よくある質問
リクエストごとにIPは変わりますか。
はい。ユーザー名に -sid の値がなければ、リクエストごとに別の住宅用IPから送信されます。
複数ページにわたるセッションで1つのIPを維持できますか。
-sid- の後に任意のセッションIDを付け、長さを決めたい場合は -ttl- で最大60分を指定します。同じ sid のリクエストは、その間同じIPを使います。
無制限プランにトラフィックの上限はありますか。
トラフィックは一切計測しません。プランの規模は、選んだ同時接続数と帯域幅だけで決まります。
プランが有効化中の間はどうなりますか。
ネットワーク側で有効になるまで、注文は「有効化中」と表示されます。有効化できなかった場合はキャンセルされ、全額が残高に戻ります。