問(wèn)題：為什么robots禁止抓取了但搜索引擎還會(huì)抓??？

回答：嚴(yán)格來(lái)說(shuō)robots限制蜘蛛抓取，搜索引擎也是會(huì)遵循這個(gè)規(guī)則的，現(xiàn)在百度搜索引擎對(duì)于robots的態(tài)度是，依然會(huì)抓取，但是不會(huì)保留百度快照。其他搜索引擎基本也是同樣的。

在百度百科里面有這么一條：robots協(xié)議并不是一個(gè)規(guī)范，而只是約定俗成的，所以并不能保證網(wǎng)站的隱私。

設(shè)置robots禁止抓取主要是基于兩個(gè)原因：第一個(gè)是新站調(diào)試期間，不想讓搜索引擎抓取；第二個(gè)就是網(wǎng)站下某些目錄頁(yè)面，不想被搜索引擎抓取。對(duì)于第一種，如果完全不想讓搜索引擎抓取，你建議在本地測(cè)試，或者是采用其他的域名綁定線上測(cè)試，測(cè)試沒(méi)有問(wèn)題之后再綁定目標(biāo)域名。至于第二種，其實(shí)是沒(méi)有辦法的，因?yàn)槿绻阉饕娌话凑誶obots規(guī)則，那我們似乎也沒(méi)有什么好的辦法阻止，如果搜索引擎收錄了這些限制抓取的頁(yè)面，只能去投訴快照了。

但是大家也要注意，搜索引擎抓取robots文件限制的頁(yè)面，這對(duì)于網(wǎng)站來(lái)說(shuō)并不會(huì)造成很大的影響。原則上說(shuō)這不會(huì)浪費(fèi)抓取份額，除了網(wǎng)站首頁(yè)以后，也很少發(fā)現(xiàn)會(huì)收錄robots限制抓取的內(nèi)頁(yè)。所以，大家也不要太過(guò)擔(dān)心，搜索引擎想抓就讓它去抓，如果收錄了，就去投訴申請(qǐng)刪除。

另外有朋友擔(dān)心安全的問(wèn)題，搜索引擎蜘蛛只是一個(gè)工具，它本身是沒(méi)有惡意的，只是會(huì)按照規(guī)則去工作。大家也不要把搜索引擎想得那么壞，如果網(wǎng)站沒(méi)有敏感的內(nèi)容，在不影響到網(wǎng)站優(yōu)化的情況下，讓蜘蛛去抓取也沒(méi)有什么損失。大家莫要驚慌哦！

關(guān)于為什么robots禁止抓取了但搜索引擎還會(huì)抓取的問(wèn)題，本文就簡(jiǎn)單的說(shuō)這么多?？傊畞?lái)說(shuō)，理論上搜索引擎還是會(huì)遵循robots規(guī)則的，不會(huì)胡亂收錄這些禁止收錄的頁(yè)面。

當(dāng)前題目：為什么robots禁止抓取了但搜索引擎還會(huì)抓取
文章地址：http://chinadenli.net/news13/247563.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App設(shè)計(jì)、品牌網(wǎng)站制作、云服務(wù)器、定制開(kāi)發(fā)、微信公眾號(hào)、網(wǎng)頁(yè)設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)