一位讀者在 是告訴搜索引擎，不要沿著這個(gè)鏈接爬行，就當(dāng)這個(gè)鏈接不存在。注意，nofollow只是告訴蜘蛛不要爬這個(gè)鏈接，沒(méi)有說(shuō)不要抓取鏈接指向的URL，也沒(méi)有說(shuō)不要索引鏈接指向的URL，nofollow既沒(méi)禁止抓取，也沒(méi)禁止索引。

概念說(shuō)過(guò)后，指出幾個(gè)SEO們經(jīng)常弄不明白的情況：

沒(méi)有被抓取的頁(yè)面是可以被索引的

也就是說(shuō)，蜘蛛沒(méi)有訪問(wèn)和抓取這個(gè)頁(yè)面（比如被robots文件禁止抓取），這個(gè)頁(yè)面卻有信息存在索引庫(kù)中，用戶搜索時(shí)還能看到。

比如，淘寶整個(gè)網(wǎng)站用robots文件禁止百度蜘蛛抓取，但沒(méi)有用noindex禁止索引（如上面說(shuō)的，禁止抓取后，就沒(méi)辦法禁止索引了，不抓取，就看不到noindex標(biāo)簽了），所以即使百度沒(méi)有訪問(wèn)和抓取淘寶頁(yè)面，但淘寶很多頁(yè)面是被百度索引的，用戶可以搜到的：

百度從網(wǎng)上那么多鏈接知道淘寶首頁(yè)的存在，通過(guò)鏈接的錨文字也知道這個(gè)頁(yè)面標(biāo)題大概是淘寶之類的，當(dāng)然更知道百度口碑里的評(píng)價(jià)數(shù)。所以即使百度蜘蛛沒(méi)有抓取淘寶首頁(yè)，用戶還是能搜到，并且顯示一些百度知道的信息。

要想百度不能返回淘寶首頁(yè)該怎么辦呢？取消robots文件的禁止抓取，頁(yè)面上用noindex禁止索引。

被抓取的頁(yè)面是可以不被索引的

最常見(jiàn)的就是上面說(shuō)過(guò)的，頁(yè)面頭信息使用noindex禁止索引，頁(yè)面被抓取，讀到noindex后，不被索引，不會(huì)在搜索結(jié)果中返回。老頁(yè)面新加noindex也不是馬上刪除索引，還會(huì)保留索引一段時(shí)間，但不會(huì)返回在搜索結(jié)果中。

加了noindex的頁(yè)面上的鏈接是可以被跟蹤一段時(shí)間的，但時(shí)間長(zhǎng)了，有noindex的頁(yè)面搜索引擎可能就不再抓取和索引了，上面的鏈接也就無(wú)效了。

還有可能是因?yàn)轫?yè)面內(nèi)容是抄襲、轉(zhuǎn)載、低質(zhì)量的，搜索引擎雖然抓取了頁(yè)面，索引過(guò)程中檢測(cè)出這些內(nèi)容問(wèn)題，被丟棄，沒(méi)有被索引。所以頁(yè)面沒(méi)有被收錄，通常要先檢查原始日志，看看是否被抓取過(guò)，如果被抓取過(guò)，可能是內(nèi)容質(zhì)量問(wèn)題，如果根本沒(méi)被抓取，建議先看看網(wǎng)站結(jié)構(gòu)是否有問(wèn)題。

加了nofollow的鏈接目標(biāo)頁(yè)面可以被抓取和索引

前面說(shuō)了，nofollow既不禁止抓取，也不禁止索引。nofollow的作用是告訴蜘蛛不要跟著這個(gè)鏈接爬，就當(dāng)這個(gè)鏈接不存在，但nofollow只對(duì)這個(gè)鏈接起作用，對(duì)別的鏈接沒(méi)作用，這個(gè)鏈接加了nofollow，不意味著別的地方就沒(méi)有正常的指向這個(gè)URL的鏈接，只要?jiǎng)e的地方出現(xiàn)了沒(méi)加nofollow的鏈接，目標(biāo)URL還是會(huì)被發(fā)現(xiàn)、抓?。僭O(shè)沒(méi)被robotx文件禁止）、索引（假設(shè)沒(méi)加noindex )。

上面這些概念和應(yīng)用在SEO中是很重要的，如果還沒(méi)看懂，我也不知道該怎么再解釋了，只能建議再多讀幾遍。

本文題目：爬行、抓取、索引、收錄，指的都是什么？
網(wǎng)站路徑：http://chinadenli.net/news/182597.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)網(wǎng)站建設(shè)、企業(yè)建站、定制網(wǎng)站、網(wǎng)頁(yè)設(shè)計(jì)公司、網(wǎng)站制作、響應(yīng)式網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)