創(chuàng)新互聯(lián)建站導(dǎo)讀：想要更加準(zhǔn)確知道蜘蛛抓取數(shù)據(jù)，查看網(wǎng)站日志是最靠譜的，其他的各種工具也都是基于網(wǎng)站日志，提取里面的數(shù)據(jù)，但這些工具顯然沒(méi)有純手工那么準(zhǔn)確。

創(chuàng)新互聯(lián)建站主打移動(dòng)網(wǎng)站、成都網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、網(wǎng)站改版、網(wǎng)絡(luò)推廣、網(wǎng)站維護(hù)、域名與空間、等互聯(lián)網(wǎng)信息服務(wù)，為各行業(yè)提供服務(wù)。在技術(shù)實(shí)力的保障下，我們?yōu)榭蛻舫兄Z穩(wěn)定，放心的服務(wù)，根據(jù)網(wǎng)站的內(nèi)容與功能再?zèng)Q定采用什么樣的設(shè)計(jì)。最后，要實(shí)現(xiàn)符合網(wǎng)站需求的內(nèi)容、功能與設(shè)計(jì)，我們還會(huì)規(guī)劃穩(wěn)定安全的技術(shù)方案做保障。

問(wèn)題：蜘蛛爬取情況通過(guò)什么方式查看準(zhǔn)確？

回答：想要更加準(zhǔn)確知道蜘蛛抓取數(shù)據(jù)，查看網(wǎng)站日志是最靠譜的，其他的各種工具也都是基于網(wǎng)站日志，提取里面的數(shù)據(jù)，但這些工具顯然沒(méi)有純手工那么準(zhǔn)確。

這里有個(gè)問(wèn)題要注意：雖然網(wǎng)站日志里面能夠統(tǒng)計(jì)到所有的蜘蛛抓取記錄，但這里面也有些是偽蜘蛛，并不是真正的搜索引擎蜘蛛，對(duì)于這些要過(guò)濾掉。但如果“蜘蛛”的ip很多，要識(shí)別起來(lái)就得費(fèi)些時(shí)間了。

以下是百度搜索提供的鑒別方法：

建議您使用DNS反查方式來(lái)確定抓取來(lái)源的ip是否屬于百度，根據(jù)平臺(tái)不同驗(yàn)證方法不同，如linux/windows/os三種平臺(tái)下的驗(yàn)證方法分別如下：

1、在linux平臺(tái)下，您可以使用host ip命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

$ host 123.125.66.120 

120.66.125.123.in-addr.arpa domain name pointer 

baiduspider-123-125-66-120.crawl.baidu.com.

host 119.63.195.254

254.195.63.119.in-addr.arpa domain name pointer 

BaiduMobaider-119-63-195-254.crawl.baidu.jp.

2  在windows平臺(tái)或者IBM OS/2平臺(tái)下，您可以使用nslookup ip命令反解ip來(lái) 判斷是否來(lái)自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來(lái)判斷是否來(lái)自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

3  在mac os平臺(tái)下，您可以使用dig 命令反解ip來(lái) 判斷是否來(lái)自Baiduspider的抓取。打開命令處理器 輸入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來(lái)判斷是否來(lái)自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

關(guān)于如何手動(dòng)分析網(wǎng)站日志的問(wèn)題，創(chuàng)新互聯(lián)之前寫過(guò)網(wǎng)站日志如何分析的文章，里面做了詳細(xì)的介紹，大家可以去看下。

當(dāng)然也有些工具可以很方便的統(tǒng)計(jì)出網(wǎng)站日志的信息，只不過(guò)這些工具統(tǒng)計(jì)到的沒(méi)有手動(dòng)統(tǒng)計(jì)的那么詳細(xì)，大家可以根據(jù)具體的情況去選擇是利用工具還是手動(dòng)。但相對(duì)來(lái)說(shuō)，手動(dòng)分析網(wǎng)站日志得到的數(shù)據(jù)會(huì)更加準(zhǔn)確。

這里再提醒下：網(wǎng)上有人提到了降權(quán)蜘蛛、新站蜘蛛、權(quán)重蜘蛛等等，這些純屬胡說(shuō)八道，大家不要輕易相信這些所謂的大師說(shuō)法！

分析蜘蛛抓取為網(wǎng)站收錄服務(wù)的，如果網(wǎng)站收錄都正常的話，沒(méi)有必要頻繁的去統(tǒng)計(jì)蜘蛛抓取。如果覺(jué)得網(wǎng)站收錄情況不好，這時(shí)候可以去分析網(wǎng)站日子，看看是不是有些頁(yè)面沒(méi)有被蜘蛛抓取到。如果沒(méi)有被抓取，可以通過(guò)提交鏈接、增加站內(nèi)錨文本鏈接、外鏈等方式來(lái)提升抓取率，進(jìn)而提升頁(yè)面收錄。

分享標(biāo)題：蜘蛛爬取情況通過(guò)什么方式查看準(zhǔn)確
當(dāng)前地址：http://chinadenli.net/article38/ephspp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供軟件開發(fā)、網(wǎng)站內(nèi)鏈、定制網(wǎng)站、網(wǎng)頁(yè)設(shè)計(jì)公司、品牌網(wǎng)站建設(shè)、定制開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)