在《論語》中，孔子提倡“學而不思則罔，思而不學則殆”的學習方法。我們再往深層面挖掘，“思”究竟是在思考什么？個人理解是思考并總結出一些共性的東西，即“套路”。有套路了，我們學習或工作會更加有效率。

當我們爬取不同的網(wǎng)站時，每個網(wǎng)站頁面的實現(xiàn)方式各不相同，我們需要對每個網(wǎng)站都進行分析。那是否有一些通用的分析方法？我分享下自己爬取分析的“套路”。在某個網(wǎng)站上，分析頁面以及抓取數(shù)據(jù)，我用得最多的工具是 Chrome 開發(fā)者工具。

Chrome 開發(fā)者工具是一套內(nèi)置于 Google Chrome 中的 Web 開發(fā)和調(diào)試工具，可用來對網(wǎng)站進行迭代、調(diào)試和分析。因為國內(nèi)很多瀏覽器內(nèi)核都是基于 Chrome 內(nèi)核，所以國產(chǎn)瀏覽器也帶有這個功能。例如：UC 瀏覽器、QQ 瀏覽器、360 瀏覽器等。

接下來，我們來看看 Chrome 開發(fā)者工具一些比較牛逼的功能。

通過元素（Element）面板，我們能查看到想抓取頁面渲染內(nèi)容所在的標簽、使用什么 CSS 屬性（例如：class="middle"）等內(nèi)容。例如我想要抓取我知乎主頁中的動態(tài)標題，在網(wǎng)頁頁面所在處上右擊鼠標，選擇“檢查”，可進入 Chrome 開發(fā)者工具的元素面板。

通過這種方法，我們能快速定位出頁面某個DOM 節(jié)點，然后可以提取出相關的解析語句。鼠標移動到節(jié)點，然后右擊鼠標，選擇 “Copy”，能快速復制出 Xpath 、CSS elector 等內(nèi)容解析庫的解析語句。

網(wǎng)絡（Network）面板記錄頁面上每個網(wǎng)絡操作的相關信息，包括詳細的耗時數(shù)據(jù)、HTTP 請求與響應標頭和 Cookie，等等。這就是我們通常說的抓包。

其中的 Filters窗格，我經(jīng)常使用其來過濾出一些 HTTP 請求，例如過濾出使用 Ajax 發(fā)起的異步請求、圖片、視頻等。

最大的窗格叫 Requests Table，此表格會列出了檢索的每一個 HTTP 請求。默認情況下，此表格按時間順序排序，最早的資源在頂部。點擊資源的名稱可以顯示更多信息。

• Headers是顯示 HTTP 請求的 Headers，我們通過這個能看到請求的方式，以及攜帶的請求參數(shù)等。

• Preview是請求結果的預覽。一般用來查看請求到的圖片，對于抓取圖片網(wǎng)站比較給力。

• Response是請求返回的結果。一般的內(nèi)容是整個網(wǎng)站的源代碼。如果該請求是異步請求，返回的結果內(nèi)容一般是 Json 文本數(shù)據(jù)。

• Cookies能看到請求攜帶的 Cookies 以及服務器返回的 Cookies。有時候是需要使用到 Response 的 Cookies。例如，某個頁面必須登錄才能看到。