wordpress如何設(shè)置最佳robots.txt

Robots協(xié)議(也稱為爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議等)的全稱是“網(wǎng)絡(luò)爬蟲(chóng)排除標(biāo)準(zhǔn)”(Robots Exclusion Protocol)，網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。Robots協(xié)議是國(guó)際互聯(lián)網(wǎng)界通行的道德規(guī)范，尊重信息提供者的意愿維護(hù)其隱身，正如08年淘寶網(wǎng)屏蔽蜘蛛，11年京東的一淘網(wǎng)屏蔽了爬蟲(chóng)，都是體現(xiàn)robots.txt的規(guī)范互聯(lián)網(wǎng)的原則，遵從民主自由。話題有點(diǎn)偏了，回到wordpress如何設(shè)置最佳robots.txt。

創(chuàng)新互聯(lián)專注于企業(yè)成都全網(wǎng)營(yíng)銷、網(wǎng)站重做改版、沽源網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、H5開(kāi)發(fā)、成都做商城網(wǎng)站、集團(tuán)公司官網(wǎng)建設(shè)、外貿(mào)營(yíng)銷網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁(yè)設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性價(jià)比高，為沽源等各大城市提供網(wǎng)站開(kāi)發(fā)制作服務(wù)。

Robots.txt是搜索引擎蜘蛛進(jìn)站的第一個(gè)胃口，首要檢查的文件，網(wǎng)站有很多內(nèi)容例如js，style，插件，圖片是無(wú)需爬蟲(chóng)去抓取的，對(duì)博客網(wǎng)站來(lái)說(shuō)文章才是重中之重，把所有力氣放在文章，一點(diǎn)擊破，而不是浪費(fèi)資源做無(wú)用功，而wordpress默認(rèn)的robots.txt是：

User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/

這只是其中的一小部分，對(duì)不懂優(yōu)化的人來(lái)說(shuō)，屏蔽這些應(yīng)該已經(jīng)足夠，但對(duì)SEO來(lái)說(shuō)，就是追求完美，沒(méi)有最好只有更好，那么要屏蔽那些，如何屏蔽呢

1.動(dòng)態(tài)頁(yè)面對(duì)搜索引擎不友好，搜索引擎的口味是靜態(tài)頁(yè)面，所以可以屏蔽動(dòng)態(tài)頁(yè)面，前提是網(wǎng)站要偽靜態(tài)，

Disallow: /*?* 限制動(dòng)態(tài)頁(yè)面 /%post_id%.html 偽靜態(tài)設(shè)置

2.管理員登錄界面，既然是管理員就沒(méi)必要給爬蟲(chóng)抓取，登錄界面對(duì)用戶也沒(méi)用

Disallow: /wp-admin/ 限制管理員登陸頁(yè)面

3.插件、模板、js文件這些是網(wǎng)站的后臺(tái)程序代碼，也可以屏蔽

Disallow: /wp-content/plugins/ 限制插件文件

Disallow: /wp-content/themes/ 限制模板文件

Disallow: /wp-includes/ 限制js文件

4.feed，不知道站長(zhǎng)們對(duì)這個(gè)熟悉嗎，這個(gè)是網(wǎng)站的訂閱文件，原本漳州網(wǎng)站建設(shè)也不知道，只知道有RSS訂閱，在網(wǎng)站域名后加個(gè)feed你就清楚了，這個(gè)也可以屏蔽。

Disallow: /feed

5.網(wǎng)站的評(píng)論，評(píng)論被抓取會(huì)導(dǎo)致文章的重復(fù)，不利于觀察分析，用戶體驗(yàn)，但這個(gè)視具體情況，個(gè)人愛(ài)好不一。

Disallow: /comments 限制評(píng)論

Disallow: /*?replytocom* 限制每一個(gè)評(píng)論頁(yè)面

設(shè)置完Robots.txt后，為保險(xiǎn)起見(jiàn)，最好用百度站長(zhǎng)工具檢查一下，漳州網(wǎng)站建設(shè)就被robots.txt解禁困擾過(guò)，花了很長(zhǎng)時(shí)間才把它搞定。插個(gè)小曲，robots.txt不僅可以禁止爬蟲(chóng)爬取網(wǎng)站結(jié)構(gòu)，也可以禁止 404頁(yè)面，搜索蜘蛛非常喜歡網(wǎng)站地圖，sitemap可以為搜索引擎蜘蛛指路，增加網(wǎng)站重要內(nèi)容頁(yè)面的收錄，也有利于用戶體驗(yàn)，所以最后一點(diǎn)就是加入網(wǎng)站地圖。

如何通過(guò)sitemap網(wǎng)站地圖來(lái)吸引蜘蛛爬行

通過(guò)sitemap網(wǎng)站地圖吸引蜘蛛爬行的方式主要有以下幾點(diǎn)：

1、什么是 sitemap

簡(jiǎn)單理解：sitemap 就是網(wǎng)站地圖，它通過(guò)可視化的形式，展示網(wǎng)站的主要結(jié)構(gòu)比如：列表頁(yè)、分類頁(yè)、tag 頁(yè)，以及內(nèi)容頁(yè)面。

網(wǎng)站地圖的主要形式包括：sitemap.html、sitemap.xml、sitemap.txt，通常情況下這三種形式的

sitemap網(wǎng)站地圖，主要被存放在：

① 網(wǎng)站前端頁(yè)面

通常眾多站長(zhǎng)喜好將 sitemap.html

類型的網(wǎng)站地圖，存放在前端頁(yè)面，經(jīng)常被放在網(wǎng)站導(dǎo)航中，用于向訪客清晰的展示網(wǎng)站的結(jié)構(gòu)框架，突出眾多欄目。

在頁(yè)面相對(duì)較多的網(wǎng)站，理論上它會(huì)出現(xiàn)多個(gè) sitemap.html 用于展現(xiàn)不同專題的內(nèi)容結(jié)構(gòu)。

② 網(wǎng)站 Robots.txt 中

理論上 sitemap.xml 與 sitemap.txt 經(jīng)常被存放在 Robots.txt

文件中，用于百度蜘蛛快速抓取，當(dāng)然也可以做百度網(wǎng)址提交，加快頁(yè)面收錄。

具體有關(guān) sitemap 配置的方法，你可以參考百度官方《平臺(tái)工具使用幫助》中，鏈接提交的說(shuō)明。

2、網(wǎng)站地圖制作方法：

網(wǎng)站地圖制作的方法有很多，通常來(lái)講主要包括如下幾個(gè)方面：

① 程序插件

一般情況下，知名的 cms 系統(tǒng)，都會(huì)配有 sitemap 網(wǎng)站地圖生成插件，你需要在相應(yīng)的應(yīng)用市場(chǎng)去查詢相關(guān)插件，并開(kāi)啟他們，比如：wordpress

插件、zblog 插件和 dedecms 織夢(mèng)插件等，當(dāng)然你也可以聘用技術(shù)人員，獨(dú)立開(kāi)發(fā)一個(gè)插件，性價(jià)比還是蠻高的。

② sitemap 生成器

目前市面上有很多在線生成 sitemap 的網(wǎng)站，以及客戶端，比如：愛(ài)站網(wǎng)的 SEO 工具包，對(duì)于一些技術(shù)能力不強(qiáng)的小伙伴，還是很有幫助。

③ 手動(dòng)生成

如果你在操作一個(gè)獨(dú)立博客，每日更新的內(nèi)容并不是特別多，比如在 10 篇以下，那么你完全可以手動(dòng)添加 sitemap，如果你想在簡(jiǎn)單一點(diǎn)，你只需要選擇

sitemap.txt，把 URL 網(wǎng)址復(fù)制到這個(gè)文本文件中就可以。

3、如何提交網(wǎng)站地圖

通常向百度提交 sitemap 網(wǎng)站地圖的方法很簡(jiǎn)單，你只需要登錄百度搜索資源平臺(tái)，你就會(huì)在：

網(wǎng)站支持-數(shù)據(jù)引用-鏈接提交中

如何讓各大搜索引擎搜索收錄到剛建的wordpress網(wǎng)站

讓各大搜索引擎搜索收錄到剛建的wordpress網(wǎng)站方法如下：

一、提交入口（這里以百度舉例）

打開(kāi)百度站長(zhǎng)

2.鏈接提交

3.手動(dòng)提交

4.填寫(xiě)網(wǎng)址，提交即可

二、外鏈建設(shè)

可以通過(guò)去各個(gè)論壇發(fā)布帶有網(wǎng)址的文本，讓搜索引擎蜘蛛爬行網(wǎng)站，從而收錄。查看外鏈的方法如圖：

wordpress中怎樣設(shè)置不讓搜索引擎搜索

wordpress系統(tǒng)本身是對(duì)搜索引擎友好的，如果網(wǎng)站的內(nèi)容比較私密不希望蜘蛛爬取，可以能過(guò)以下方法實(shí)現(xiàn)：

1、進(jìn)入wordpress "設(shè)置"? - "閱讀"? - 然后勾選“建議搜索引擎不索引本站點(diǎn)”，再點(diǎn)擊 “保存更改”。這樣搜索引擎就不會(huì)收錄和索引網(wǎng)站了。

2、還可以通過(guò)配置“robots.txt”來(lái)告訴搜索引擎，不要收錄/索引網(wǎng)站的內(nèi)容；

步驟：

1)，新建一個(gè)文本文檔，重命名為“robots.txt”；

2)，在文本文件貼入以下內(nèi)容并保存：

User-agent: *

Disallow: /

3)，將設(shè)置好的“robots.txt”上傳至網(wǎng)站的根目錄。

文章標(biāo)題：wordpress引蜘蛛 網(wǎng)站怎么引蜘蛛
本文鏈接：http://chinadenli.net/article42/ddopdec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供移動(dòng)網(wǎng)站建設(shè)、服務(wù)器托管、網(wǎng)頁(yè)設(shè)計(jì)公司、網(wǎng)站維護(hù)、Google、網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)