Проксі для парсингу сайтів
Парсинг сайтів означає надсилання багатьох запитів до публічних сторінок і збереження потрібних даних. ProxyDay розподіляє ці запити між ротаційними резидентними IP і бере плату за безлімітний трафік за день.
Навіщо парсерам проксі?
Сайти обмежують кількість запитів з однієї IP-адреси, тому парсер, що працює з одного серверного IP, з часом сповільнюють або блокують. Якщо пустити трафік через шлюз проксі, кожен запит отримає інший резидентний IP.
Резидентні IP належать домашнім інтернет-підключенням, тож цільовий сайт бачить звичайних відвідувачів з багатьох мереж. Загальний обсяг може бути великим, а частота запитів з одного IP лишається низькою.
Як працює оплата за день для парсингу?
Безлімітний тариф має фіксовану ціну на день без лічильника трафіку. За 200 підключень і 100 Mbps це $4.65 за один день, а денна ціна знижується на 6%, 15% або 24% на тарифах на 7, 30 або 90 днів.
Важкі сторінки із зображеннями чи великими JSON-відповідями коштують стільки ж, скільки й легкі, бо байти не рахуються. Тариф підбирається за одночасними підключеннями (від 200 до 2,000) і пропускною здатністю (від 100 до 1,000 Mbps).
Скільки одночасних підключень мені потрібно?
Потрібна кількість підключень дорівнює кількості запитів, які парсер тримає відкритими одночасно. Краулер зі 150 робочими потоками вкладається в рівень на 200 підключень із запасом для повторних спроб.
Якщо ви запускаєте кілька парсерів паралельно, додайте кількість їхніх потоків. Коли проєкт зростає, оберіть у кабінеті більший рівень для наступного тарифу.
Які дані можна збирати?
Зазвичай це публічні сторінки, які будь-хто може відкрити без входу: списки товарів, статті та публічні каталоги. Перед початком прочитайте умови кожного сайту й закони країни, де ви працюєте.
ProxyDay блокує акаунти, які використовують для перебору облікових даних, спаму, DDoS або доступу до державних сайтів. Помірна частота запитів дає змогу сайту працювати для інших відвідувачів, а вашому парсеру не наражатися на блокування.
Налаштування ProxyDay для Парсинг сайтів
1
Поповніть баланс ProxyDay криптовалютою у вікні оплати (мінімум $30).
2
Купіть безлімітний резидентний тариф і оберіть дні, підключення й пропускну здатність.
3
Використовуйте логін проксі з -zone-unl і додайте країну, наприклад -cc-us, коли дані залежать від регіону.
4
Спрямуйте парсер на gate.proxyday.shop, порт 6100 (HTTP) або 6200 (SOCKS5), і кожен запит виходитиме з нового IP.
Запитання
Чи змінюється IP на кожен запит?
Так. Без значення -sid у логіні кожен запит виходить через інший резидентний IP.
Чи можна тримати один IP для сесії на кілька сторінок?
Додайте -sid- і будь-який ID сесії на ваш вибір, а також -ttl- зі значенням до 60 хвилин, якщо потрібна певна тривалість. Запити з однаковим sid зберігають той самий IP протягом цього часу.
Чи є ліміт трафіку на безлімітному тарифі?
Трафік узагалі не обліковується. Тариф визначають лише обрані вами одночасні підключення й пропускна здатність.
Що відбувається, поки тариф активується?
Замовлення має статус «активується», доки мережа його не ввімкне. Якщо його не вдається активувати, його скасовують, і вся сума повертається на баланс.
Інші сценарії використання
Почніть свій перший тариф проксі вже сьогодні
Зареєструйтеся, поповніть баланс і користуйтеся безлімітним трафіком від $3.53 на день.