抖音爬蟲從0到1-第三彈：爬取抖音用戶詳細數(shù)據(jù)

相關(guān)文章：

創(chuàng)新新互聯(lián)，憑借10多年的成都做網(wǎng)站、網(wǎng)站建設(shè)、外貿(mào)營銷網(wǎng)站建設(shè)經(jīng)驗，本著真心·誠心服務(wù)的企業(yè)理念服務(wù)于成都中小企業(yè)設(shè)計網(wǎng)站有數(shù)千家案例。做網(wǎng)站建設(shè)，選成都創(chuàng)新互聯(lián)公司。

抖音 x-gorgon 03 免費生成接口 抖音6.3.0版本

抖音爬蟲從0到1-第一彈：環(huán)境配置

抖音爬蟲從0到1-第二彈：獲取抖音用戶數(shù)據(jù)

前面介紹了分析了抖音請求header中的 X-gorgon的獲取方法 ，同時在分析 獲取抖音用戶數(shù)據(jù)的時候 ，我們發(fā)現(xiàn)爬取抖音用戶的數(shù)據(jù)需要使用用戶的user_id和sec_user_id，我們通過抓包工具獲取用戶的id以及sec_user_id，然后通過用戶的關(guān)注列表和follow列表獲取更多的用戶的user_id和sec_user_id，下面我將介紹一下如何根據(jù)user_id和sec_user_id來獲取抖音用戶的詳細數(shù)據(jù)。

首先在搭建好的環(huán)境中通過Fiddle抓取用戶數(shù)據(jù)包。

我們知道了請求的api以及請求頭里面都包含了哪些信息，我們就可以通過手動構(gòu)造對應的請求參數(shù)來爬取用戶的數(shù)據(jù)了。我已經(jīng)在 前面的文章 獲取到了 1W+ 的用戶的 uid 以及 sec_user_id 的數(shù)據(jù)了，然后我們就可以通過這些數(shù)據(jù)來爬取用戶的詳細數(shù)據(jù)。

在文章 抖音爬蟲從0到1-第二彈：獲取抖音用戶數(shù)據(jù) 我們已經(jīng)介紹了爬取抖音關(guān)注列表的api及其構(gòu)造方法，其實獲取用戶詳細信息和獲取用戶的關(guān)注列表的api基本一致，主要都是需要我們自行填充用戶的user_id以及用戶的sec_user_id還有一大堆的時間戳信息，其他的信息都是不變的。下面我們構(gòu)造獲取用戶詳細信息的api

上文我們已經(jīng)分析了請求頭，請求頭的構(gòu)造也比較方便，大部分內(nèi)容都是固定的，需要我們填充的主要還是幾個時間戳以及對應的X-Gorgon,其中X-Gorgon的構(gòu)造方法比較復雜，在文章“ 抖音 x-gorgon 03 免費生成接口 抖音6.3.0版本 ”中我已經(jīng)提供了一個生成X-Gorgon的接口，但是要注意填入正確的Cookie和Token你才能獲得可用的X-Gorgon，否則你的Gorgon就是不可用的。下圖是請求頭里面的主要信息：

下面我寫了一個構(gòu)造請求頭的函數(shù)：

根據(jù)上面對響應數(shù)據(jù)的分析，其對應的響應數(shù)據(jù)是json格式的，而且數(shù)據(jù)特別多，分析了一下，我找了一些對我比較有用的數(shù)據(jù)：

以上就是爬取用戶信息的全部內(nèi)容，碼字不易，還請點贊關(guān)注，有任何問題請留言.

如何抓取抖音團購數(shù)據(jù)

可以用python抓取抖音數(shù)據(jù)。

具體方法如下：需要用到的工具安卓模擬器、fiddler、mituproxy（mitmdump）、python3.7、Auto.js。知道url地址和數(shù)據(jù)格式之后，編寫python程序，使用mitmdump抓包，當滑動屏幕就可以解析出數(shù)據(jù)。

抖音對指定用用戶的所有視頻抓取策略

抖音對指定用用戶的所有視頻抓取策略

方案1：接口參數(shù)有加密，需脫殼app進行反編譯破解加密參數(shù)。（難度較大，不容易實現(xiàn)）

方案2：使用appium自動化框架配合mitmdump中間人代理截取手機發(fā)送的數(shù)據(jù)包，從而獲取數(shù)據(jù)。（容易實現(xiàn)，且不容易被識別反爬）

綜上所述我選用的實現(xiàn)方案是方案2

二、可能需要的資源

Android模擬器或者真機

長期有效代理

三、實現(xiàn)原理流程圖

三、具體實現(xiàn)過程

1、首先利用fiddler抓包工具分析抖音app的主頁滑動的請求接口

2、設(shè)置手機或者模擬器的代理為本機ip和端口 8888（fiddler監(jiān)控端口）

3、手機點到監(jiān)測賬號主頁動態(tài)頁面，（因為動態(tài)頁面的數(shù)據(jù)跟作品是相對應的，而所有 作品的接口反爬比較嚴格，所以采用動態(tài)接口）手動向下滑動觸發(fā)請求數(shù)據(jù)接口（后 期可通過appium實現(xiàn)自動化操作）

4、對抖音app數(shù)據(jù)請求接口進行抓包分析

5、找到具體接口之后編寫mitmproxy監(jiān)控腳本準備攔截請求和解析入庫的操作

5、設(shè)置模擬器或者手機的代理為本機ip和自定義的端口 9090（mitmproxy監(jiān)控此端口）

6、運行mitmproxy監(jiān)控腳本監(jiān)控手機 9090 端口發(fā)出的請求

7. 手動滑動抖音app視頻動態(tài)頁刷新請求會看到數(shù)據(jù)已經(jīng)被截獲了（可利用appium 自動化實現(xiàn)滑動）

標題名稱：抖音數(shù)據(jù)抓取php,抖音數(shù)據(jù)抓取
文章源于：http://chinadenli.net/article8/dsgcgip.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機、網(wǎng)站排名、網(wǎng)站營銷、響應式網(wǎng)站、域名注冊、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)