Robots協(xié)議（也稱為爬蟲協(xié)議、機器人協(xié)議等）的全稱是“網絡爬蟲掃除規(guī)范”（Robots Exclusion Protocol），網站經過Robots協(xié)議通知搜索引擎哪些頁面能夠抓取，哪些頁面不能抓取。

一、Robots.txt文件的重要性
robots.txt是搜索引擎蜘蛛拜訪網站時要查看的第一個文件，并且會依據robots.txt文件的內容來匍匐網站。在某種意義上說，它的一個使命就是輔導蜘蛛匍匐，削減搜索引擎蜘蛛的工作量。

當搜索引擎蜘蛛拜訪網站時，它會首要查看該站點根目錄下是否存在robots.txt文件，假如該文件存在，搜索引擎蜘蛛就會依照該文件中的內容來斷定匍匐的規(guī)劃；假如該文件不存在，則一切的搜索引擎蜘蛛將能夠拜訪網站上一切沒有被口令維護的頁面。

一般搜索引擎對網站派出的蜘蛛是有配額的，多大規(guī)劃的網站放出多少蜘蛛。假如咱們不裝備robots文件，那么蜘蛛來到網站以后會無目的的匍匐，形成的一個成果就是，需求它匍匐的目錄，沒有匍匐到，不需求匍匐的，也就是咱們不想被錄入的內容卻被匍匐并放出快照。所以robots文件關于咱們做網站優(yōu)化來說具有很重要的影響。

1.網站沒有Robots.txt文件的壞處

假如網站中沒有robots.txt文件，則網站中的程序腳本、樣式表等一些和網站內容無關的文件或目錄即便被搜索引擎蜘蛛匍匐，也不會添加網站的錄入率和權重，只會糟蹋服務器資源；搜索引擎派出的蜘蛛資源也是有限的，咱們要做的應該是盡量讓蜘蛛匍匐網站要點文件、目錄，大極限的節(jié)省蜘蛛資源。

2.Robots.txt文件的寄存方位

網站根目錄下，經過“域名/robots.txt”能正常拜訪即可，如http://域名/robots.txt

二、Robots.txt文件的寫法
User-agent: * *代表一切搜索引擎，也可指定搜索引擎，如指定百度，User-agent: BaiduspiderDisallow: /a/ 是制止抓取a目錄下面的一切內容Disallow: /cgi-bin/*.htm 制止拜訪/cgi-bin/目錄下的一切以”.htm”為后綴的URL(包括子目錄)Disallow: /*?* 制止拜訪網站中一切包括問號 (?) 的網址Disallow: /.jpg$ 制止抓取網頁一切的.jpg格局的圖片Disallow:/ab/adc.html 制止爬取ab文件夾下面的adc.html文件。Allow: /cgi-bin/a/　是答應爬尋cgi-bin目錄下面的a目錄Allow: /tmp 是答應爬尋tmp的整個目錄Allow: .htm$ 答應拜訪以”.htm”為后綴的URL。Allow: .gif$ 答應抓取網頁和gif格局圖片Sitemap: 網站地圖，通知爬蟲這個頁面是網站地圖。

創(chuàng)新互聯(lián)推薦的robots文件書寫方法如下：

User-agent: * 
Disallow: /i*/ 
Disallow: /a*d/ 
Disallow: /*.php 
Disallow: /*/*.php 
Disallow: /*/list*.html 
Allow: /img/ 
Sitemap: https://域名/sitemap.xml

Robots.txt文件的闡明

User-agent: * 
（注釋：這兒的*代表一切的搜索引擎品種，*是一個通配符；當然你也能夠針對某個搜索引擎，如User-agent: Baiduspider、User-Agent: 360Spider、User-Agent: Sogouspider。）
Disallow: /i*/ 
（注釋：Disallow為制止匍匐，假如需求制止蜘蛛匍匐images目錄，能夠寫為Disallow: /images/ ；引薦本站選用的寫法，Disallow: /i*/，能夠在必定程度上進步網站的安全性，假如寫成Disallow: /images/可能會露出網站后臺文件途徑，特別是辦理途徑。選用通配符的寫法需求留意一點，i*代表一切以w最初的目錄。）
Disallow: /a*d/ 
（注釋：制止匍匐一切以字母a開端、以字母d完畢的目錄，如/abd/、/acd/、/abcd/，這種寫法也是出于安全考慮。）
Disallow: /*.php 
（注釋：制止匍匐根目錄下的一切以.php結束的文件，實際情況能夠依據你所運用的網站程序來決議。）
Disallow: /*/*.php 
（注釋：制止匍匐一切目錄下的一切以.php結束的文件。）
Disallow: /*/list*.html 
（注釋：網站欄目文章多的時分會有分頁，如第1頁、第2頁……，假如需求制止匍匐分頁，假定分頁URL為www.xxx.com/news/list_1_32.html，咱們能夠采納Disallow: /*/list*.html這種寫法來制止匍匐一切目錄下的一切分頁。）
Allow: /img/ 
（注釋：Allow代表答應匍匐。Disallow: /i*/為制止匍匐一切以i最初的目錄，可是咱們需求讓蜘蛛匍匐img這個目錄，能夠選用Allow: /img/這種寫法。）

分享標題：Robots.txt文件的重要性與寫法介紹
網頁網址：http://chinadenli.net/news27/16077.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供外貿建站、全網營銷推廣、服務器托管、移動網站建設、做網站、ChatGPT

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)