小編給大家分享一下python爬蟲(chóng)基本知識(shí)有哪些，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來(lái)自于我們對(duì)這個(gè)行業(yè)的熱愛(ài)。我們立志把好的技術(shù)通過(guò)有效、簡(jiǎn)單的方式提供給客戶，將通過(guò)不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴，公司提供的服務(wù)項(xiàng)目有：域名注冊(cè)、網(wǎng)站空間、營(yíng)銷(xiāo)軟件、網(wǎng)站建設(shè)、三沙網(wǎng)站維護(hù)、網(wǎng)站推廣。

爬蟲(chóng)簡(jiǎn)介

      根據(jù)百度百科定義：網(wǎng)絡(luò)爬蟲(chóng)（又被稱為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人，在FOAF社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁(yè)追逐者），是一種按照一定的規(guī)則，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動(dòng)索引、模擬程序或者蠕蟲(chóng)。   

隨著大數(shù)據(jù)的不斷發(fā)展，爬蟲(chóng)這個(gè)技術(shù)慢慢走入人們的視野，可以說(shuō)爬蟲(chóng)是大數(shù)據(jù)應(yīng)運(yùn)而生的產(chǎn)物，至少我解除了大數(shù)據(jù)才了解到爬蟲(chóng)這一技術(shù)

隨著數(shù)據(jù)的海量增長(zhǎng)，我們需要在互聯(lián)網(wǎng)上選取所需要的數(shù)據(jù)進(jìn)行自己研究的分析和實(shí)驗(yàn)。這就用到了爬蟲(chóng)這一技術(shù)，下面就跟著小編一起初遇python爬蟲(chóng)！

一、請(qǐng)求-響應(yīng)

在利用python語(yǔ)言實(shí)現(xiàn)爬蟲(chóng)時(shí)，主要用到了urllib和urllib2兩個(gè)庫(kù)。首先用一段代碼說(shuō)明如下：

 import urllib
 import urllib2
 url="http://www.baidu.com"
 request=urllib2.Request(url)
 response=urllib2.urlopen(request)
 print response.read()

我們知道一個(gè)網(wǎng)頁(yè)就是以html為骨架，js為肌肉，css為衣服所構(gòu)成的。上述代碼所實(shí)現(xiàn)的功能就是把百度網(wǎng)頁(yè)的源碼爬取到本地。

其中，url為要爬取的網(wǎng)頁(yè)的網(wǎng)址；request發(fā)出請(qǐng)求，response是接受請(qǐng)求后給出的響應(yīng)。最后用read（）函數(shù)輸出的就是百度網(wǎng)頁(yè)的源碼。

二、GET-POST

兩者都是向網(wǎng)頁(yè)傳遞數(shù)據(jù)，最重要的區(qū)別是GET方式是直接以鏈接形式訪問(wèn)，鏈接中包含了所有的參數(shù)，當(dāng)然如果包含了密碼的話是一種不安全的選擇，不過(guò)你可以直觀地看到自己提交了什么內(nèi)容。

POST則不會(huì)在網(wǎng)址上顯示所有的參數(shù)，不過(guò)如果你想直接查看提交了什么就不太方便了，大家可以酌情選擇。

POST方式：

 import urllib
 import urllib2
 values={'username':'2680559065@qq.com','Password':'XXXX'}
 data=urllib.urlencode(values)
 url='https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn'
 request=urllib2.Request(url,data)
 response=urllib2.urlopen(request)
 print response.read()

GET方式：

import urllib
import urllib2
values={'username':'2680559065@qq.com','Password':'XXXX'}
data=urllib.urlencode(values)
url = "http://passport.csdn.net/account/login"
geturl = url + "?"+data
request=urllib2.Request(geturl)
response=urllib2.urlopen(request)
print response.read()

三、異常處理

處理異常時(shí)，用到了try-except語(yǔ)句。

import urllib2
 try:
   response=urllib2.urlopen("http://www.xxx.com")
 except urllib2.URLError,e:
   print e.reason

以上是“python爬蟲(chóng)基本知識(shí)有哪些”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

當(dāng)前文章：python爬蟲(chóng)基本知識(shí)有哪些-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)URL：http://chinadenli.net/article26/ddgejg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站收錄、網(wǎng)站設(shè)計(jì)公司、用戶體驗(yàn)、企業(yè)網(wǎng)站制作、App設(shè)計(jì)、品牌網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)