Проксі для збору даних навчання AI
Щоб зібрати датасет з публічного вебконтенту, часто потрібні тижні обходу сайтів багатьма мовами. Безлімітний резидентний тариф ProxyDay дає цій роботі фіксовану денну ціну й IP у 60 країнах.
Які проксі підходять для збору датасетів?
Підходять ротаційні резидентні проксі з трафіком без обліку, бо під час збору датасетів завантажується багато байтів з різних доменів. З оплатою за GB підсумкова вартість залежала б від розміру сторінок, на який ви не впливаєте.
На безлімітному тарифі ProxyDay вартість залежить лише від днів, підключень і пропускної здатності. Бюджет на тримісячний збір можна записати ще до першого запиту.
Як збирати контент різними мовами?
Вкажіть код країни в логіні, наприклад -cc-de для Німеччини чи -cc-jp для Японії, і запит виходитиме з цієї країни. Багато сайтів показують локальну мовну версію залежно від IP відвідувача.
Виділіть кожній країні окремий пул воркерів і окремий рядок логіна. Мовні набори даних лишаються чистими, а код краулера не змінюється.
Скільки коштує тривалий збір?
Тариф на 90 днів з 200 підключеннями й 100 Mbps коштує $3.53 на день, на 24% дешевше за ціну одного дня. Для більшого збору 1,000 підключень з 200 Mbps коштують $8.60 на день на тарифі на 30 днів, тобто $258.00 загалом.
У кабінеті тариф може тривати будь-який термін від 1~365 днів. Підберіть термін під графік збору, щоб платити лише за дні, коли ви справді збираєте дані.
Як збирати датасети відповідально?
Збирайте публічно доступний контент, дотримуйтеся robots.txt та умов сайтів і перевірте правила щодо авторського права й захисту даних, які стосуються навчання моделей. Видаляйте непотрібні персональні дані до того, як вони потраплять у датасет.
Обмежуйте кількість запитів на домен, навіть якщо проксі витримає більше. Сайти, що працюють стабільно, можна буде обійти знову для наступної версії датасету.
Налаштування ProxyDay для Дані для навчання ШІ
1
Поповніть баланс на суму, достатню для всього періоду збору. Одне поповнення може бути до $5,000.
2
Купіть безлімітний тариф на стільки днів, скільки потрібно для збору, від 1~365.
3
Створіть окремий логін для кожної мови, наприклад pd7k2q9mx3-zone-unl-cc-fr, щоб кожен пул воркерів виходив з потрібної країни.
4
Запустіть краулер через gate.proxyday.shop:6100 і тримайте кількість відкритих підключень у межах ліміту тарифу.
Запитання
Чи може один тариф охопити всі 60 країн?
Так. Один безлімітний тариф працює в усіх 60 країнах, а країну ви обираєте для кожного запиту в логіні.
Чи варто використовувати фіксовані сесії для збору?
Для більшості завдань ротація IP на кожен запит добре розподіляє навантаження. Використовуйте -sid лише для сайтів, яким потрібна сесія з cookie на кількох сторінках.
Якими способами можна оплатити?
Поповнення оплачуються криптовалютою через захищене вікно оплати: USDT у мережах TRON, BNB Smart Chain, Ethereum або Solana, USDC, BTC, ETH, BNB, SOL і LTC.
Що буде із залишком балансу?
Невикористаний баланс лишається на акаунті без терміну дії. Ним можна оплатити наступний збір, коли ви його почнете.
Інші сценарії використання
Почніть свій перший тариф проксі вже сьогодні
Зареєструйтеся, поповніть баланс і користуйтеся безлімітним трафіком від $3.53 на день.