AI学習データ収集用プロキシ
公開Webコンテンツからデータセットを作るには、多言語で何週間もクロールすることがよくあります。ProxyDayの無制限住宅用プランなら、一定の日額料金と60か国のIPでその作業を進められます。
データセットのクロールに向いたプロキシは
トラフィック計測なしのローテーション型住宅用プロキシが向いています。データセットのクロールでは、多くの異なるドメインから大量のバイトをダウンロードするためです。GB単位の請求では、最終的な費用が自分では決められないページサイズに左右されます。
ProxyDayの無制限プランでは、費用は日数、接続数、帯域幅だけで決まります。最初のリクエストを送る前に、3か月のクロールの予算を確定できます。
さまざまな言語のコンテンツを収集するには
ユーザー名に国コードを入れます。たとえばドイツなら -cc-de、日本なら -cc-jp で、リクエストはその国から送信されます。多くのサイトは訪問者のIPに応じて現地語版を表示します。
国ごとに専用のワーカー群とユーザー名を用意してください。言語ごとのデータがきれいに分かれ、クローラーのコードを変える必要もありません。
長期間のクロールの費用は
200接続、100 Mbpsの90日プランは1日$3.53で、1日プランより24%安くなります。より大きなクロールなら、1,000接続、200 Mbpsの30日プランで1日$8.60、合計$258.00です。
ダッシュボードでは1~365日の任意の期間でプランを使えます。期間をクロールの予定に合わせれば、実際にクロールする日数分だけの支払いで済みます。
データセット収集を責任を持って行うには
公開されているコンテンツを収集し、robots.txt とサイトの規約に従い、学習用途に適用される著作権とデータ保護のルールを確認してください。不要な個人データは、データセットに入れる前に取り除いてください。
プロキシにもっと余裕があっても、ドメインごとのリクエスト数に上限を設けてください。サイトが健全に動き続ければ、次のバージョンのデータセットでも再びクロールできます。
AI学習データ向けにProxyDayを設定する
1
クロール期間全体に足りる残高をチャージしてください。1回のチャージは最大$5,000です。
2
クロールに必要な日数分（1~365日）の無制限プランを購入します。
3
pd7k2q9mx3-zone-unl-cc-fr のように言語ごとにユーザー名を作り、各ワーカー群が正しい国から送信されるようにします。
4
クローラーを gate.proxyday.shop:6100 に向けて起動し、開いている接続数をプランの接続数以内に保ちます。
よくある質問
1つのプランで60か国すべてに対応できますか。
はい。1つの無制限プランで60か国すべてを使え、国はリクエストごとにユーザー名で選びます。
クロールにはスティッキーセッションを使うべきですか。
ほとんどのクロールでは、リクエストごとのIPローテーションで負荷がうまく分散されます。-sid は、複数ページにわたってCookieのセッションが必要なサイトにだけ使ってください。
使える支払い方法は
チャージは安全な決済画面から暗号資産で支払います。TRON、BNB Smart Chain、Ethereum、SolanaのUSDT、USDC、BTC、ETH、BNB、SOL、LTCに対応しています。
残った残高はどうなりますか。
使っていない残高は有効期限なくアカウントに残ります。次のクロールを始めるときに、いつでもその支払いに使えます。