眾所周知，代理IP可以助力爬蟲工作更好的進行，很多人認(rèn)為：如果沒有代理IP，爬蟲工作寸步難行。那么，如果爬蟲不使用代理IP會出現(xiàn)什么情況呢？
一、小型爬蟲：可有可無
爬幾百篇文章，幾百張圖片，幾百個視頻，不用代理IP也可以完成任務(wù)，問題不是很大，有些反爬策略比較嚴(yán)格的網(wǎng)站，將請求頻率放慢一些，偽裝下請求頭，基本可以完成任務(wù)。
二、中型爬蟲：舉步維艱
爬取幾十萬上百萬的數(shù)據(jù)，沒有代理IP的話，短時間內(nèi)很難完成，很快就會被限制IP，如果不急的話，倒是可以慢慢慢慢地爬。在絕大多數(shù)情況下，中型爬蟲還是需要代理IP來輔助完成任務(wù)的，有些比較嚴(yán)格的反爬策略的網(wǎng)站，還需要優(yōu)質(zhì)的反反爬策略。
三、大型爬蟲：寸步難行
對于上千萬上億數(shù)據(jù)量的爬蟲來說，沒有代理IP真的是寸步難行，而且還需要量很大的代理IP來完成工作，還需要多線程甚至分布式爬蟲來進行工作，一些比較嚴(yán)格的反爬策略的網(wǎng)站，需要更加優(yōu)質(zhì)的代理IP，甚至是獨享代理IP來完成工作，還需要優(yōu)秀的反反爬策略和高效率的爬蟲策略，同時還要時刻關(guān)注目標(biāo)網(wǎng)站的反爬策略是否升級，相應(yīng)的也要進行升級，這樣才能更好的完成工作。
以上就是爬蟲不使用代理IP的幾種情況，當(dāng)然，大中小型爬蟲分類不是絕對的，看大家怎么去理解，若有什么其他疑問，歡迎交流。
