我現(xiàn)在有一套在網(wǎng)站上爬取數(shù)據(jù)的程序(用python寫的)如何在服務(wù)器...

需要爬的網(wǎng)頁實在太多太多了，而上面的代碼太慢太慢了。設(shè)想全網(wǎng)有N個網(wǎng)站，那么分析一下判重的復(fù)雜度就是N*log(N)，因為所有網(wǎng)頁要遍歷一次，而每次判重用set的話需要log(N)的復(fù)雜度。

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)！專注于網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、微信小程序開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了立山免費建站歡迎大家使用！

這時候，手動一個個去下顯然是不可取的，我們需要寫個腳本，能從特定的網(wǎng)站選擇性得批量下載需要的信息。python是不錯的選擇。

出現(xiàn)了數(shù)據(jù)造假，這個數(shù)字可能是刷出來的 真的有這么多的評論，但這時候系統(tǒng)可能只顯示其中比較新的評論，而對比較舊的評論進(jìn)行了存檔。

目前我想到的方案是借助爬蟲框架，數(shù)據(jù)存儲可利用mysql，mongodb之類的。打個比方，這是我用scrapy爬取詩詞網(wǎng)站的數(shù)據(jù)，然后存儲到Mongodb中，就是缺少一部更新。

我們先來分析如何構(gòu)造用戶信息的URL。這里我以微博名為一起神吐槽的博主為例進(jìn)行分析。做爬蟲的話，一個很重要的意識就是爬蟲能抓的數(shù)據(jù)都是人能看到的數(shù)據(jù)，反過來，人能在瀏覽器上看到的數(shù)據(jù)，爬蟲幾乎都能抓。

怎么創(chuàng)建網(wǎng)絡(luò)爬蟲日志??

您可以創(chuàng)建日志文件，并使其包含與互操作性、程序加載和網(wǎng)絡(luò)有關(guān)的診斷信息。通過設(shè)置注冊表項，可以啟用日志記錄。首先，設(shè)置一個注冊表項以啟用常規(guī)日志記錄，然后針對所需的日志記錄組件和選項來設(shè)置注冊表項。

做法：傳統(tǒng)爬蟲從一個或若干初始網(wǎng)頁的URL開始，獲得初始網(wǎng)頁上的URL，在抓取網(wǎng)頁的過程中，不斷從當(dāng)前頁面上抽取新的URL放入隊列，直到滿足系統(tǒng)的一定停止條件。

RemoteSyslogAppender 通過UDP網(wǎng)絡(luò)協(xié)議將日志寫到Remote syslog service。RemotingAppender 通過.NET Remoting將日志寫到遠(yuǎn)程接收端。RollingFileAppender 將日志以回滾文件的形式寫到文件中。SmtpAppender 將日志寫到郵件中。

scrapy怎么在服務(wù)器上跑起來

screen -m：如果在一個Screen進(jìn)程里，用快捷鍵crtl+a c或者直接打screen可以創(chuàng)建一個新窗口，screen -m可以新建一個screen進(jìn)程。screen -dm：新建一個screen，并默認(rèn)是detached模式，也就是建好之后不會連上去。

則瓶頸多出在CPU上。多進(jìn)程的話可以高效利用CPU。但是其實多數(shù)情況是在網(wǎng)絡(luò)，所以說更好的解決辦法是用多個機(jī)房的多臺機(jī)器同時跑多進(jìn)程的爬蟲，這樣減少網(wǎng)絡(luò)阻塞。實現(xiàn)的話，用scrapy+rq-queue然后用redis來作隊列就好。

對于scrapy而言，更多的時候是在配置scrapy。先要繼承一個spider寫爬蟲的主體，然后還要在setting里寫配置，在pipeline里寫數(shù)據(jù)庫。

它把整個爬蟲過程分為了多個獨立的模塊，并提供了多個基類可以供我們?nèi)プ杂蓴U(kuò)展，讓爬蟲編寫變得簡單而有邏輯性。

盡可能減少網(wǎng)站訪問次數(shù) 單次爬蟲的主要把時間消耗在網(wǎng)絡(luò)請求等待響應(yīng)上面，所以能減少網(wǎng)站訪問就減少網(wǎng)站訪問，既減少自身的工作量，也減輕網(wǎng)站的壓力，還降低被封的風(fēng)險。

所以安裝pip會自動安裝setuptools 有上面的依賴可知，在非windows的環(huán)境下安裝 Scrapy的相關(guān)依賴是比較簡單的，只用安裝pip即可。Scrapy使用pip完成安裝。

網(wǎng)頁題目：在阿里云服務(wù)器上部署爬蟲 可以用阿里云服務(wù)器爬蟲嗎
文章起源：http://chinadenli.net/article14/deiepge.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供搜索引擎優(yōu)化、網(wǎng)站營銷、微信小程序、靜態(tài)網(wǎng)站、微信公眾號、用戶體驗

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)