1. 工欲善其事必先利其器

做下載的爬蟲(chóng)工程師在開(kāi)工之前，都是人手必備自己熟練使用的一套工具，最基本的工具包括以下幾點(diǎn)：

1.1資源展示介質(zhì)

由于資源展示介質(zhì)多樣性，導(dǎo)致爬蟲(chóng)身邊必備的被爬資源展示介質(zhì)也是多樣性的，大致可以分為：瀏覽器（PC端和移動(dòng)端）、PC客戶端和移動(dòng)端App。

瀏覽器

在瀏覽器中Elements、Network、Sources和Resources是爬蟲(chóng)工程師需要注意的tab；其中Network是網(wǎng)絡(luò)請(qǐng)求的原始數(shù)據(jù)，而Elements是經(jīng)過(guò)瀏覽器渲染后的數(shù)據(jù)。PC客戶端和移動(dòng)端app這里面就不多做介紹了。

1.2抓包工具

目前可用的抓包工具有很多，包括：Wireshark、fiddler、Firebug、HttpFox、tcpdump、sniffer、omnipeek和charles。推薦使用的是：Wireshark。

Wireshark是一款小巧、開(kāi)源且能在幾乎所有流行操作系統(tǒng)下使用的抓包工具軟件，很適合一般人員學(xué)習(xí)網(wǎng)絡(luò)協(xié)議使用，也是協(xié)議開(kāi)發(fā)人員驗(yàn)證協(xié)議的好工具。由于Wireshark存在緩存溢出的BUG，建議不要將它用于分析流量很大的百兆網(wǎng)絡(luò)，也不要用于千兆網(wǎng)絡(luò)分析。

Wireshark

Charles抓手機(jī)數(shù)據(jù)包

網(wǎng)址：http://m.blog.csdn.net/article/details?id=47038675

注意電腦防火墻要關(guān)閉。

1.3 Android APK介質(zhì)

在抓Android APK請(qǐng)求數(shù)據(jù)包，可以將你要抓取的Android APK裝在真機(jī)、Android自帶的模擬器或者第三方模擬器上。使用真機(jī)話過(guò)程比較繁瑣，需要在真機(jī)上通過(guò)tcpdump抓包并通過(guò)adb待分析的包pull到PC上；使用Andorid自帶的模擬器速度比較慢。這里推薦使用第三方模擬器。

目前市面上第三方安卓模擬器軟件有兩大流派：Bluestacks和Virutalbox，都是可以在電腦上玩手游的，主要包含以下:

a. Bluestacks：安卓模擬器鼻祖，印度公司研發(fā)，號(hào)稱全球有1億用戶。對(duì)于國(guó)內(nèi)部分流行游戲不兼容不支持。受制于內(nèi)核技術(shù)，雖然使用電腦的門檻低，但是游戲兼容性，尤其是性能欠佳。

b. 靠譜助手：國(guó)內(nèi)最早（2013年開(kāi)始）基于Bluestacks內(nèi)核的安卓模擬器，優(yōu)化了使用界面與用戶體驗(yàn)。但是靠譜缺少屬于自己的內(nèi)核技術(shù)，在兼容性和性能方面依舊有很大的提升空間，產(chǎn)品的形態(tài)無(wú)法自由更改。

c. 海馬玩：國(guó)內(nèi)首款基于Oracle Virtualbox商業(yè)版的安卓模擬器，2014年底產(chǎn)品推出時(shí)與Bluestacks內(nèi)核的安卓模擬器形成鮮明對(duì)比，在性能及兼容性都有明顯提升，獲得了比Bluestacks內(nèi)核模擬器好很多的口碑。優(yōu)點(diǎn)是較穩(wěn)定，但版本更新速度慢，彈出廣告插件多，用戶體驗(yàn)差，功能定制方面有較多缺失。

d. 逍遙安卓模擬器：基于自研定制Virtualbox的強(qiáng)勁安卓模擬器，業(yè)界首創(chuàng)的一鍵多開(kāi)是其亮點(diǎn)。版本更新快，性能強(qiáng)，運(yùn)行流暢，需求響應(yīng)及時(shí)。模擬器性能和兼容性均不錯(cuò)，在手游體驗(yàn)的優(yōu)化上做的非常好，這個(gè)是亮點(diǎn)，玩手游玩家的首選。

e. 夜神模擬器：2015年中推出的基于定制Virtualbox的安卓模擬器，直接集成NOVA桌面是它的一大亮點(diǎn)，多開(kāi)效率需進(jìn)行提升，系統(tǒng)不穩(wěn)定。

夜神模擬器

1.4網(wǎng)絡(luò)請(qǐng)求模擬器

這里推薦使用的是：火狐瀏覽器的HttpRequester。

HttpRequester

2.工具大全

做爬蟲(chóng)開(kāi)發(fā)工作，必須手上家伙要夠，且使起來(lái)順手才可以，通過(guò)日常開(kāi)發(fā)總結(jié)了爬蟲(chóng)工程師要有如下工具包，如下圖所示。

這里就不做過(guò)多介紹了，這些工具易用性很高，就是不清楚如何用網(wǎng)上也有現(xiàn)成的教程。

3.虛擬賬號(hào)

3.1虛擬手機(jī)號(hào)

目前免費(fèi)虛擬手機(jī)號(hào)碼有很多，國(guó)內(nèi)的有阿里小號(hào)、或者是移動(dòng)、聯(lián)通、電信提供的副號(hào)，直接去營(yíng)業(yè)廳或者是網(wǎng)上營(yíng)業(yè)廳就能開(kāi)通。也有虛擬運(yùn)營(yíng)商，但是他們的信號(hào)都是掛載在移動(dòng)、聯(lián)通、或者是電信上面，你可以理解為聯(lián)營(yíng)或者是聯(lián)名卡，但并不是虛擬運(yùn)營(yíng)商就是自己建造的信號(hào)塔，自己做的號(hào)碼，而是國(guó)有運(yùn)營(yíng)商授權(quán)發(fā)布的虛擬運(yùn)營(yíng)商，虛擬號(hào)段。上面說(shuō)的是國(guó)內(nèi)虛擬號(hào)碼，而國(guó)際上面最流行的虛擬手機(jī)號(hào)碼就屬于google Voice、叮咚等等，挺多的，功能也比較強(qiáng)大，可以獲取很多國(guó)家的虛擬號(hào)碼，比如英國(guó)的+44的號(hào)碼、美國(guó)+1的號(hào)碼俄羅斯+7的號(hào)碼等等。

國(guó)內(nèi)接碼平臺(tái)搜集匯總

http://www.360doc.com/content/18/0716/13/32544506_770776650.shtml

3.2 10秒郵箱

https://www.linshiyouxiang.net/