“網(wǎng)站日志”是記錄web服務(wù)器接收處理請(qǐng)求以及運(yùn)行時(shí)錯(cuò)誤等各種原始信息。網(wǎng)站日志在ftp里可以找到，以log結(jié)尾的文件！如圖：


上圖是筆者網(wǎng)站26號(hào)的網(wǎng)站日志，那么我們?nèi)绾稳シ治鏊?br />我們可以看到上圖中的第一段代碼：
5.10.83.26 - - [25/Oct/2013:01:32:40 +0800] "GET /flxc/28.html HTTP/1.1" 200 13293 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)"
5.10.83.26表示訪問(wèn)你網(wǎng)站的IP
[25/Oct/2013:01:32:40 +0800]訪問(wèn)時(shí)間(年月日時(shí)分秒)+時(shí)區(qū)
GET表示服務(wù)器的動(dòng)作
/flxc/28.html HTTP/1.1表示根據(jù)HTTP/1.1協(xié)議抓取/flxc/28.html 這一個(gè)頁(yè)面
200表示服務(wù)服務(wù)器的響應(yīng)狀態(tài)代碼，那么200這個(gè)代碼表示200 代表蜘蛛成功抓取了頁(yè)面更新的信息?。ǜ剑宏P(guān)于其他服務(wù)器的響應(yīng)代碼可到百度搜索，解釋的很清楚）
13293 表示抓取的字節(jié)有多少
"Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)表示瀏覽器用戶瀏覽器的版本操作系統(tǒng)的版本信息。
通過(guò)上的分析主要抓住什么時(shí)間點(diǎn)什么搜索引擎過(guò)來(lái)爬行并抓取了什么頁(yè)面，以及爬行的端口

當(dāng)然一天那么多個(gè)ip訪問(wèn)你的網(wǎng)站，作為站長(zhǎng)的不可能一條條的去看。我們可以借助工具或者根據(jù)你網(wǎng)站的搜索引擎來(lái)看
比如你只做百度，那么你可以屏蔽其他搜索引擎來(lái)抓取，這樣看到的就是百度蜘蛛的信息。
當(dāng)然大部分站長(zhǎng)都還是借用工具去了解網(wǎng)站日志！在這里我也分享一下26號(hào)的網(wǎng)站日志情況：


我們可以看到日記打開(kāi)后的整個(gè)頁(yè)面狀況，有些情況一目了然。這里不一一分析:小七選幾個(gè)要注意的點(diǎn)來(lái)分析一下：
首先：看到“頁(yè)面抓取”


你會(huì)發(fā)現(xiàn)，目前蜘蛛的抓取頁(yè)面狀況。因?yàn)楣P者主要是做百度搜索引擎。這里就從百度搜索引擎來(lái)分析，對(duì)于其他的搜索引擎可以按圖照搬：

1、你可以看到百度在抓取的時(shí)候出現(xiàn)了index.html這個(gè)頁(yè)面，這是dede里出現(xiàn)的一種狀況。設(shè)置它的頁(yè)面返回時(shí)是/，而不是/index.html

2、sitemap.xml 這文件的作用簡(jiǎn)單說(shuō)一下，第一幫助網(wǎng)站收錄 第二，讓搜索引擎更加了解你的網(wǎng)站 ，那么這里有個(gè)技巧，把sitemap.xml放到根目錄下的同時(shí)，把對(duì)應(yīng)的指令放到robots.txt里面

3、可以看到蜘蛛主要訪問(wèn)的是主頁(yè)，那么你近期可能要做的引導(dǎo)蜘蛛訪問(wèn)你的欄目頁(yè)！

再看到“關(guān)鍵詞分析”


可以看到蜘蛛抓取進(jìn)入我網(wǎng)站的大部分是網(wǎng)址占了絕大部分。那比如我網(wǎng)站的定位是垃圾分類(lèi)培訓(xùn)_垃圾分類(lèi)宣傳_社區(qū)垃圾分類(lèi)解決方案服務(wù)商，讓社區(qū)應(yīng)我們的努力而變的更美。那么我可以選垃圾分類(lèi)來(lái)做主關(guān)鍵詞，那么表示近期應(yīng)該大部分外鏈以垃圾分類(lèi)描文本的形式來(lái)做

接著：我們看到蜘蛛狀態(tài)


可以看我目前的網(wǎng)站404頁(yè)面的鏈接，這樣你可以及時(shí)清理死鏈！或者到站長(zhǎng)平臺(tái)提交死鏈！

這樣分析下來(lái)，相信你對(duì)自己的網(wǎng)站現(xiàn)狀改做什么，應(yīng)該比別人清楚，當(dāng)然利用這軟件的不足之處，就是無(wú)法看到蜘蛛訪問(wèn)的時(shí)間點(diǎn)。

文章名稱：如何通過(guò)網(wǎng)絡(luò)日志分析蜘蛛訪問(wèn)以及網(wǎng)站的現(xiàn)狀
網(wǎng)頁(yè)路徑：http://chinadenli.net/news21/274921.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、網(wǎng)站收錄、網(wǎng)站設(shè)計(jì)公司、營(yíng)銷(xiāo)型網(wǎng)站建設(shè)、網(wǎng)站維護(hù)、外貿(mào)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)