ওয়েব স্ক্র্যাপিংয়ের জন্য প্রক্সি
ওয়েব স্ক্র্যাপিং মানে পাবলিক পেজে অনেক রিকোয়েস্ট পাঠিয়ে দরকারি ডেটা সংরক্ষণ করা। ProxyDay সেই রিকোয়েস্টগুলো রোটেটিং রেসিডেনশিয়াল IP-তে ভাগ করে দেয় এবং আনলিমিটেড ট্রাফিকের বিল দিন হিসেবে করে।
স্ক্র্যাপারে প্রক্সি কেন লাগে?
সাইটগুলো একটি IP ঠিকানা থেকে কত রিকোয়েস্ট আসবে তা সীমিত রাখে, তাই একটি সার্ভার IP থেকে চলা স্ক্র্যাপার কিছুক্ষণ পর ধীর হয় বা ব্লক হয়। প্রক্সি গেটওয়ে দিয়ে ট্রাফিক পাঠালে প্রতিটি রিকোয়েস্ট আলাদা রেসিডেনশিয়াল IP পায়।
রেসিডেনশিয়াল IP বাসার ইন্টারনেট সংযোগের, তাই টার্গেট সাইট অনেক নেটওয়ার্কে ছড়ানো সাধারণ ভিজিটর দেখে। মোট পরিমাণ বেশি হলেও প্রতি IP রিকোয়েস্টের হার কম থাকে।
স্ক্র্যাপিংয়ে দিন হিসেবে বিলিং কীভাবে কাজ করে?
আনলিমিটেড প্ল্যানে ট্রাফিক মিটার ছাড়া প্রতি দিনের নির্দিষ্ট দাম। 200 সংযোগ ও 100 Mbps-এ এক দিনের জন্য $4.65, আর 7, 30 বা 90 দিনের প্ল্যানে দৈনিক রেট 6%, 15% বা 24% কমে।
ছবি বা বড় JSON উত্তরসহ ভারী পেজের খরচ ছোট পেজের মতোই, কারণ বাইট গোনা হয় না। প্ল্যানের আকার ঠিক করেন একসাথে সংযোগ (200 থেকে 2,000) আর ব্যান্ডউইথ (100 থেকে 1,000 Mbps) দিয়ে।
কয়টি একসাথে সংযোগ লাগবে?
আপনার স্ক্র্যাপার একই মুহূর্তে যত রিকোয়েস্ট খোলা রাখে, তত সংযোগ লাগবে। 150টি ওয়ার্কার থ্রেডের একটি ক্রলার 200 সংযোগের ধাপে চলে, রিট্রাইয়ের জন্যও জায়গা থাকে।
পাশাপাশি কয়েকটি স্ক্র্যাপার চালালে তাদের ওয়ার্কারের সংখ্যা যোগ করুন। প্রজেক্ট বড় হলে ড্যাশবোর্ডে পরের প্ল্যানে বড় ধাপ বেছে নিন।
কোন ডেটা স্ক্র্যাপ করা ঠিক?
লগ ইন ছাড়া যে কেউ খুলতে পারে এমন পাবলিক পেজ, যেমন প্রোডাক্ট লিস্টিং, আর্টিকেল আর পাবলিক ডিরেক্টরি, সাধারণত টার্গেট হয়। শুরু করার আগে প্রতিটি সাইটের শর্ত আর আপনার এলাকার আইন পড়ে নিন।
ক্রেডেনশিয়াল স্টাফিং, স্প্যাম, DDoS বা সরকারি সাইটে প্রবেশের কাজে ব্যবহৃত অ্যাকাউন্ট ProxyDay স্থগিত করে। মাঝারি রিকোয়েস্ট হার টার্গেট সাইটকে অন্য ভিজিটরদের জন্য চালু রাখে, আর আপনার স্ক্র্যাপারও সেখানে স্বাগত থাকে।
ওয়েব স্ক্র্যাপিং-এর জন্য ProxyDay সেটআপ
1
পেমেন্ট উইন্ডোতে ক্রিপ্টো দিয়ে আপনার ProxyDay ব্যালান্স টপ আপ করুন (সর্বনিম্ন $30)।
2
একটি আনলিমিটেড রেসিডেনশিয়াল প্ল্যান কিনুন এবং দিন, সংযোগ ও ব্যান্ডউইথ বেছে নিন।
3
প্রক্সি ইউজারনেমে -zone-unl ব্যবহার করুন, আর ডেটা অঞ্চলভেদে বদলালে -cc-us-এর মতো দেশ যোগ করুন।
4
স্ক্র্যাপারকে gate.proxyday.shop-এর পোর্ট 6100 (HTTP) বা 6200 (SOCKS5)-এ দিন, প্রতিটি রিকোয়েস্ট নতুন IP থেকে বের হবে।
প্রশ্ন
প্রতি রিকোয়েস্টে কি IP বদলায়?
হ্যাঁ। ইউজারনেমে -sid মান না থাকলে প্রতিটি রিকোয়েস্ট আলাদা রেসিডেনশিয়াল IP দিয়ে যায়।
কয়েক পেজের একটি সেশনে কি একটি IP রাখা যায়?
-sid- এর পরে আপনার পছন্দের যেকোনো সেশন ID দিন, আর নির্দিষ্ট মেয়াদ চাইলে সর্বোচ্চ 60 মিনিট দিয়ে -ttl-। একই sid-এর রিকোয়েস্ট সেই সময় একই IP রাখে।
আনলিমিটেড প্ল্যানে কি ট্রাফিকের সীমা আছে?
ট্রাফিক একদমই মাপা হয় না। প্ল্যানের আকার ঠিক হয় শুধু আপনার বেছে নেওয়া একসাথে সংযোগ আর ব্যান্ডউইথ দিয়ে।
প্ল্যান চালু হওয়ার সময় কী হয়?
নেটওয়ার্কের দিক থেকে চালু না হওয়া পর্যন্ত অর্ডারে চালু হচ্ছে দেখায়। চালু করা না গেলে সেটি বাতিল হয় এবং পুরো টাকা ব্যালান্সে ফিরে যায়।
আজই আপনার প্রথম প্রক্সি প্ল্যান শুরু করুন
সাইন আপ করুন, ব্যালান্স টপ আপ করুন, আর দিনে $3.53 থেকে আনলিমিটেড ট্রাফিক চালান।