這篇文章主要介紹Apache下如何通過shell腳本提交網(wǎng)站404死鏈，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

成都創(chuàng)新互聯(lián)是專業(yè)的寶塔網(wǎng)站建設(shè)公司，寶塔接單;提供網(wǎng)站設(shè)計(jì)、網(wǎng)站制作,網(wǎng)頁設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行寶塔網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來合作!

網(wǎng)站運(yùn)營(yíng)人員對(duì)于死鏈這個(gè)概念一定不陌生，網(wǎng)站的一些數(shù)據(jù)刪除或頁面改版等都容易制造死鏈，影響用戶體驗(yàn)不說，過多的死鏈還會(huì)影響到網(wǎng)站的整體權(quán)重或排名。

百度站長(zhǎng)平臺(tái)提供的死鏈提交工具,可將網(wǎng)站存在的死鏈(協(xié)議死鏈、404頁面)進(jìn)行提交,可快速刪除死鏈,幫助網(wǎng)站SEO優(yōu)化。在提交死鏈的文件中逐個(gè)手動(dòng)填寫死鏈的話太麻煩，工作中我們提倡復(fù)雜自動(dòng)化，所以本文我們一起交流分享Apache服務(wù)中通過shell腳本整理網(wǎng)站死鏈，便于我們提交。

、

1.配置Apache記錄搜索引擎

Apache是目前網(wǎng)站建設(shè)最為主流的web服務(wù)，但是apache的日志文件默認(rèn)是不記錄百度、谷歌等各大搜索引擎的爬取程序的，所以首先需要我們?cè)O(shè)置Apache的配置文件。

找到Apache的配置文件httpd.conf，在配置文件中找到下面兩行：

CustomLog "logs/access_log" common
 #CustomLog "logs/access_log" combined

默認(rèn)采用的是common，這里我們只需要將common這一行前面加#注釋掉,然后將combined這一行前的#去掉即可。然后保存重啟Apache服務(wù)。

注：如果你的服務(wù)器上添加了多個(gè)站點(diǎn)，每個(gè)站點(diǎn)有單獨(dú)的配置文件，則我們只需要在相應(yīng)站點(diǎn)的配置文件中設(shè)置CustomLog項(xiàng)即可，例如：

vim /usr/local/apache/conf/vhost/www.chanzhi.org.conf
 ServerAdmin [email protected] DocumentRoot "/data/wwwroot/www.chanzhi.org"
 ServerName www.chanzhi.org
 ServerAlias chanzhi.org
 ErrorLog "/data/wwwlogs/www.chanzhi.org_error_apache.log"
 CustomLog "/data/wwwlogs/www.chanzhi.org_apache.log" combined
 SetOutputFilter DEFLATE
 Options FollowSymLinks ExecCGI
 Require all granted
 AllowOverride All
 Order allow,deny
 Allow from all
 DirectoryIndex index.html index.php

下面是配置前后的網(wǎng)站日志記錄格式：

配置前：

配置后：

2.編寫shell腳本

我們通過shell腳本獲取網(wǎng)站日志中指定爬蟲的抓取記錄，然后匯總到一個(gè)文件中，便于后期使用。代碼如下，比如保存為deathlink.sh

#!/bin/bash
#初始化變量
#定義蜘蛛U(xiǎn)A信息（默認(rèn)是百度蜘蛛）
UA='+http://www.baidu.com/search/spider.html'
#前一天的日期（apache日志）
DATE=`date +%Y%m%d -d "1 day ago"`
#定義日志路徑
logfile=/data/wwwlogs/www.chanzhi.org_apache.log-${DATE}.log
#定義死鏈文件存放路徑
deathfile=/data/wwwroot/www.chanzhi.org/deathlink.txt
#定義網(wǎng)站訪問地址
website=http://www.chanzhi.org
#分析日志并保存死鏈數(shù)據(jù)
for url in `awk -v str="${UA}" '$9=="404" && $15~str {print $7}' ${logfile}`
do
 grep -q "$url" ${deathfile} || echo ${website}${url} >>${deathfile}
done

大家在使用該腳本時(shí)，根據(jù)自己服務(wù)器情況調(diào)整下路徑和字段即可，然后執(zhí)行腳本,：

bash deathlink.sh

3.提交死鏈

執(zhí)行上面腳本時(shí)候，就會(huì)在指定目錄下生成包含所有獲取的404頁面鏈接的文件，每個(gè)連接占一行。例如：

最后在站長(zhǎng)平臺(tái)提交死鏈頁面中，填寫自己的死鏈文件地址即可，例如：

百度在審核通過之后，會(huì)將已經(jīng)收錄的失效鏈接刪除，以避免失效頁面鏈接對(duì)網(wǎng)站造成不良的影響。

以上是“Apache下如何通過shell腳本提交網(wǎng)站404死鏈”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)成都網(wǎng)站設(shè)計(jì)公司行業(yè)資訊頻道！

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)頁標(biāo)題：Apache下如何通過shell腳本提交網(wǎng)站404死鏈-創(chuàng)新互聯(lián)
鏈接地址：http://chinadenli.net/article26/cdpscg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開發(fā)、網(wǎng)頁設(shè)計(jì)公司、外貿(mào)網(wǎng)站建設(shè)、搜索引擎優(yōu)化、域名注冊(cè)、定制網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)