爬取小說網(wǎng)站的小說，并保存到數(shù)據(jù)庫(kù)

十余年的左權(quán)網(wǎng)站建設(shè)經(jīng)驗(yàn)，針對(duì)設(shè)計(jì)、前端、開發(fā)、售后、文案、推廣等六對(duì)一服務(wù)，響應(yīng)快，48小時(shí)及時(shí)工作處理。營(yíng)銷型網(wǎng)站的優(yōu)勢(shì)是能夠根據(jù)用戶設(shè)備顯示端的尺寸不同，自動(dòng)調(diào)整左權(quán)建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設(shè)計(jì)，從而大程度地提升瀏覽體驗(yàn)。成都創(chuàng)新互聯(lián)從事“左權(quán)網(wǎng)站設(shè)計(jì)”,“左權(quán)網(wǎng)站推廣”以來，每個(gè)客戶項(xiàng)目都認(rèn)真落實(shí)執(zhí)行。

第一步：先獲取小說內(nèi)容

#!/usr/bin/python # -*- coding: UTF-8 -*- import urllib2,re domain = 'http://www.quanshu.net' headers = {     "User-Agent": "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36" } def getTypeList(pn=1): #獲取分類列表的函數(shù)     req = urllib2.Request('http://www.quanshu.net/map/%s.html' % pn) #實(shí)例將要請(qǐng)求的對(duì)象     req.headers = headers  #替換所有頭信息     #req.add_header() #添加單個(gè)頭信息     res = urllib2.urlopen(req)   #開始請(qǐng)求     html = res.read().decode('gbk')  #decode解碼，解碼成Unicode     reg = r'<a href="(/book/.*?)" target="_blank">(.*?)</a>'     reg = re.compile(reg) #增加匹配效率  正則匹配返回的類型為L(zhǎng)ist     return re.findall(reg,html) def getNovelList(url):  #獲取章節(jié)列表函數(shù)     req = urllib2.Request(domain + url)     req.headers = headers     res = urllib2.urlopen(req)     html = res.read().decode('gbk')     reg = r'<li><a href="(.*?)" title=".*?">(.*?)</a></li>'     reg = re.compile(reg)     return re.findall(reg,html) def getNovelContent(url):  #獲取章節(jié)內(nèi)容     req = urllib2.Request(domain + url)     req.headers = headers     res = urllib2.urlopen(req)     html = res.read().decode('gbk')     reg = r'style5\(\);</script>(.*?)<script type="text/javascript">style6\(\)'     return re.findall(reg,html)[0] if __name__ == '__main__':     for type in range(1,10):         for url,title in getTypeList(type):             for zurl,ztitle in getNovelList(url):                 print u'正則爬取----%s' %ztitle                 content = getNovelContent(url.replace('index.html',zurl))                 print content             break         break

執(zhí)行后結(jié)果如下：

第二步：存儲(chǔ)到數(shù)據(jù)庫(kù)

1、設(shè)計(jì)數(shù)據(jù)庫(kù)

1.1 新建庫(kù)：novel

1.2 設(shè)計(jì)表：novel

1.3 設(shè)計(jì)表：chapter

并設(shè)置外鍵

2、編寫腳本

#!/usr/bin/python # -*- coding: UTF-8 -*- import urllib2,re import MySQLdb class Sql(object):     conn = MySQLdb.connect(host='192.168.19.213',port=3306,user='root',passwd='Admin123',db='novel',charset='utf8')     def addnovels(self,sort,novelname):         cur = self.conn.cursor()         cur.execute("insert into novel(sort,novelname) values(%s , '%s')" %(sort,novelname))         lastrowid = cur.lastrowid         cur.close()         self.conn.commit()         return lastrowid     def addchapters(self,novelid,chaptername,content):         cur = self.conn.cursor()         cur.execute("insert into chapter(novelid,chaptername,content) values(%s , '%s' ,'%s')" %(novelid,chaptername,content))         cur.close()         self.conn.commit() domain = 'http://www.quanshu.net' headers = {     "User-Agent": "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36" } def getTypeList(pn=1): #獲取分類列表的函數(shù)     req = urllib2.Request('http://www.quanshu.net/map/%s.html' % pn) #實(shí)例將要請(qǐng)求的對(duì)象     req.headers = headers  #替換所有頭信息     #req.add_header() #添加單個(gè)頭信息     res = urllib2.urlopen(req)   #開始請(qǐng)求     html = res.read().decode('gbk')  #decode解碼，解碼成Unicode     reg = r'<a href="(/book/.*?)" target="_blank">(.*?)</a>'     reg = re.compile(reg) #增加匹配效率  正則匹配返回的類型為L(zhǎng)ist     return re.findall(reg,html) def getNovelList(url):  #獲取章節(jié)列表函數(shù)     req = urllib2.Request(domain + url)     req.headers = headers     res = urllib2.urlopen(req)     html = res.read().decode('gbk')     reg = r'<li><a href="(.*?)" title=".*?">(.*?)</a></li>'     reg = re.compile(reg)     return re.findall(reg,html) def getNovelContent(url):  #獲取章節(jié)內(nèi)容     req = urllib2.Request(domain + url)     req.headers = headers     res = urllib2.urlopen(req)     html = res.read().decode('gbk')     reg = r'style5\(\);</script>(.*?)<script type="text/javascript">style6\(\)'     return re.findall(reg,html)[0] mysql = Sql() if __name__ == '__main__':     for sort in range(1,10):         for url,title in getTypeList(sort):             lastrowid = mysql.addnovels(sort, title)             for zurl,ztitle in getNovelList(url):                 print u'正則爬取----%s' %ztitle                 content = getNovelContent(url.replace('index.html',zurl))                 print u'正在存儲(chǔ)----%s' %ztitle                 mysql.addchapters(lastrowid,ztitle,content)

3、執(zhí)行腳本

4、查看數(shù)據(jù)庫(kù)

可以看到已經(jīng)存儲(chǔ)成功了。

報(bào)錯(cuò)：

_mysql_exceptions.OperationalError: (1364, "Field 'novelid' doesn't have a default value")

解決：執(zhí)行sql語句

SELECT @@GLOBAL.sql_mode;

SET @@GLOBAL.sql_mode="NO_ENGINE_SUBSTITUTION";

報(bào)錯(cuò)參考：http://blog.sina.com.cn/s/blog_6d2b3e4901011j9w.html

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)站欄目：Python爬蟲：爬取小說并存儲(chǔ)到數(shù)據(jù)庫(kù)-創(chuàng)新互聯(lián)
轉(zhuǎn)載來源：http://chinadenli.net/article18/dspodp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供電子商務(wù)、小程序開發(fā)、網(wǎng)站排名、網(wǎng)站內(nèi)鏈、網(wǎng)站導(dǎo)航、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)