Proxy cho thu thập dữ liệu web
Thu thập dữ liệu web (scraping) là gửi nhiều yêu cầu tới các trang công khai và lưu lại dữ liệu bạn cần. ProxyDay chia các yêu cầu đó qua IP dân cư xoay vòng và tính lưu lượng không giới hạn theo ngày.
Vì sao công cụ thu thập dữ liệu cần proxy?
Các trang giới hạn số yêu cầu một địa chỉ IP được gửi, nên công cụ thu thập chạy từ một IP máy chủ sẽ bị chậm lại hoặc bị chặn sau một thời gian. Đưa lưu lượng qua gateway proxy giúp mỗi yêu cầu có một IP dân cư khác nhau.
IP dân cư thuộc kết nối internet gia đình, nên trang đích thấy những người truy cập bình thường rải trên nhiều mạng. Tổng khối lượng có thể lớn trong khi số yêu cầu trên mỗi IP vẫn thấp.
Tính tiền theo ngày hoạt động thế nào khi thu thập dữ liệu?
Gói không giới hạn tính giá cố định mỗi ngày, không đo lưu lượng. Với 200 kết nối và 100 Mbps, giá $4.65 cho một ngày, và giá mỗi ngày giảm 6%, 15% hoặc 24% với gói 7, 30 hoặc 90 ngày.
Trang nặng có ảnh hoặc phản hồi JSON lớn có giá như trang nhỏ, vì số byte không được đếm. Bạn chọn gói theo số kết nối đồng thời (200 đến 2,000) và băng thông (100 đến 1,000 Mbps).
Tôi cần bao nhiêu kết nối đồng thời?
Số kết nối bạn cần bằng số yêu cầu công cụ thu thập giữ mở cùng một lúc. Một crawler có 150 luồng xử lý vừa với mức 200 kết nối, còn dư cho các lần thử lại.
Nếu bạn chạy nhiều công cụ thu thập song song, hãy cộng số luồng của chúng lại. Khi dự án lớn lên, chọn mức cao hơn cho gói tiếp theo trong bảng điều khiển.
Dữ liệu nào được phép thu thập?
Đối tượng thường là các trang công khai ai cũng mở được mà không cần đăng nhập, như danh sách sản phẩm, bài viết và danh bạ công khai. Hãy đọc điều khoản của từng trang và pháp luật nơi bạn hoạt động trước khi bắt đầu.
ProxyDay khóa tài khoản dùng cho credential stuffing, spam, DDoS hoặc truy cập trang web của cơ quan nhà nước. Tốc độ yêu cầu vừa phải giúp trang đích vẫn hoạt động cho người truy cập khác, và công cụ của bạn không bị chặn ở đó.
Cài đặt ProxyDay cho Web scraping
1
Nạp tiền vào số dư ProxyDay bằng tiền mã hóa trong cửa sổ thanh toán (tối thiểu $30).
2
Mua gói proxy dân cư không giới hạn và chọn số ngày, số kết nối và băng thông.
3
Dùng tên người dùng proxy với -zone-unl, và thêm quốc gia như -cc-us khi dữ liệu phụ thuộc vào khu vực.
4
Trỏ công cụ thu thập tới gate.proxyday.shop, cổng 6100 (HTTP) hoặc 6200 (SOCKS5), mỗi yêu cầu sẽ đi ra từ một IP mới.
Câu hỏi
IP có đổi ở mỗi yêu cầu không?
Có. Không có giá trị -sid trong tên người dùng thì mỗi yêu cầu đi ra qua một IP dân cư khác.
Có thể giữ một IP cho phiên nhiều trang không?
Thêm -sid- rồi đến session ID bất kỳ bạn chọn, cùng -ttl- với tối đa 60 phút nếu muốn đặt thời gian cụ thể. Các yêu cầu có cùng sid giữ cùng một IP trong thời gian đó.
Gói không giới hạn có giới hạn lưu lượng không?
Lưu lượng hoàn toàn không bị đo. Gói chỉ được tính theo số kết nối đồng thời và băng thông bạn đã chọn.
Trong lúc gói đang kích hoạt thì sao?
Đơn hàng hiện trạng thái đang kích hoạt cho đến khi phía mạng bật xong. Nếu không kích hoạt được, đơn sẽ bị hủy và toàn bộ số tiền được hoàn về số dư.
Bắt đầu gói proxy đầu tiên của bạn
Đăng ký, nạp tiền vào số dư và dùng lưu lượng không giới hạn từ $3.53 mỗi ngày.