網(wǎng)站建設(shè)好了，當(dāng)然是希望網(wǎng)頁被搜索引擎收錄的越多越好，但有時候我們也會碰到網(wǎng)站不需要被搜索引擎收錄的情況。要啟用一個新的域名做鏡像網(wǎng)站，主要用于PPC 的推廣，這個時候就要想辦法屏蔽搜索引擎蜘蛛抓取和索引我們鏡像網(wǎng)站的所有網(wǎng)頁。因為如果鏡像網(wǎng)站也被搜索引擎收錄的話，很有可能會影響官網(wǎng)在搜索引擎的權(quán)重。

以下列舉了屏蔽主流搜索引擎爬蟲(蜘蛛)抓取/索引/收錄網(wǎng)頁的幾種思路。注意：是整站屏蔽，而且是盡可能的屏蔽掉所有主流搜索引擎的爬蟲(蜘蛛)。

　　1、通過 robotstxt 文件屏蔽

可以說 robotstxt 文件是最重要的一種渠道(能和搜索引擎建立直接對話)，給出以下建議：

Useragent Baiduspider

Disallow /

Useragent Googlebot

Disallow /

Useragent GooglebotMobile

Disallow /

Useragent GooglebotImage

Disallow/

Useragent MediapartnersGoogle

Disallow /

Useragent AdsbotGoogle

Disallow /

UseragentFeedfetcherGoogle

Disallow /

Useragent Yahoo Slurp

Disallow /

Useragent Yahoo Slurp China

Disallow /

Useragent YahooAdCrawler

Disallow /

Useragent YoudaoBot

Disallow /

Useragent Sosospider

Disallow /

Useragent Sogou spider

Disallow /

Useragent Sogou web spider

Disallow /

Useragent MSNBot

Disallow /

Useragent iaarchiver

Disallow /

Useragent Tomato Bot

Disallow /

Useragent

Disallow /

　　2、通過 meta tag 屏蔽

在所有的網(wǎng)頁頭部文件添加，添加如下語句：

<meta name='robots' content='index,follow' />：可以抓取本頁，也可以順著本頁繼續(xù)索引別的鏈接

<meta name='robots' content='noindex,follow' />：禁止抓取本頁，但可以抓取跟蹤本頁的其它鏈接

<meta name='robots' content='index,nofollow'/>：可以抓取本頁，禁止抓取和跟蹤本頁的其它鏈接

<meta name='robots' content='noindex,nofollow' />：禁止抓取本頁，禁止抓取和跟蹤本頁的其它鏈接

<meta name='robots' content='noarchive' />：禁止搜索引擎建立快照

　　3、通過服務(wù)器(如：Linux/nginx )配置文件設(shè)置

直接過濾 spider/robots 的IP 段。

以上就是《SEO優(yōu)化之如何設(shè)置讓網(wǎng)站禁止被爬蟲收錄》的全部內(nèi)容，僅供站長朋友們互動交流學(xué)習(xí)，SEO優(yōu)化是一個需要堅持的過程，希望大家一起共同進(jìn)步。

文章題目：【SEO優(yōu)化】如何設(shè)置讓網(wǎng)站禁止被爬蟲收錄
文章來源：http://chinadenli.net/news25/145325.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機(jī)、營銷型網(wǎng)站建設(shè)、品牌網(wǎng)站建設(shè)、App開發(fā)、商城網(wǎng)站、網(wǎng)站營銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)