PHP網(wǎng)站制作中經(jīng)常需要采集其他網(wǎng)站的數(shù)據(jù)，有些細(xì)節(jié)問(wèn)題會(huì)導(dǎo)致遇到很大麻煩，至于攻防采集在此不細(xì)說(shuō)，下面創(chuàng)新互聯(lián)記錄一下采集過(guò)程中的幾個(gè)要點(diǎn)需要注意的地方
1、首先要獲取到對(duì)方網(wǎng)址的所有內(nèi)容，可能你會(huì)想到用file_gets_contents來(lái)獲取，但此函數(shù)不適合用于獲取遠(yuǎn)程文件，用于打開(kāi)本地txt文件還是蠻好用的。那么用什么來(lái)獲取呢？Curl，這個(gè)php的擴(kuò)展來(lái)處理。下面就是一個(gè)簡(jiǎn)單的獲取網(wǎng)頁(yè)內(nèi)容的基本配置，更多參數(shù)配置可以到網(wǎng)上去搜。

2、在采集網(wǎng)頁(yè)匹配數(shù)據(jù)時(shí)，特別是在列表頁(yè)，可以先把獲取到的對(duì)方所有的空格換行等html標(biāo)簽去掉，寫(xiě)起正則來(lái)就會(huì)容易很多。這里提供一個(gè)函數(shù)：
3、在獲取到對(duì)方的數(shù)據(jù)的時(shí)候就要開(kāi)始正則匹配了，這里介紹幾個(gè)常有的匹配規(guī)則：
一個(gè)是任意字符(.*?)，另一個(gè)是([\s\S]*?)表示包括換行符的任意字符，在匹配過(guò)程中夠用了。然后選擇匹配模式i即可。
4、介紹一下采集的思路，可以先把符合頁(yè)面的數(shù)據(jù)下載下來(lái)保存為txt文件，再來(lái)本地處理就更快一些。還有就是為了避免頻繁訪問(wèn)對(duì)方網(wǎng)站或數(shù)據(jù)丟失狀態(tài)可以加一個(gè)while(){}循環(huán)或是sleep()暫停幾秒來(lái)處理。把相關(guān)的數(shù)據(jù)庫(kù)處理函數(shù)要封裝好，直接調(diào)用。
5、還有一個(gè)重要的事情，很多人可能會(huì)忽略，就是頁(yè)面的編碼問(wèn)題，如果對(duì)方網(wǎng)站是gbk的編碼，則相應(yīng)的php文件或是用于提交條件的html文件也會(huì)是gbk的編碼。但是這會(huì)存在一個(gè)問(wèn)題，就是發(fā)生在gbk的html向gbk的php頁(yè)面提交中文數(shù)據(jù)的時(shí)候，gbk的php文件可能就不會(huì)給你反應(yīng)，如果你用這些中文數(shù)據(jù)去匹配的時(shí)候會(huì)遇到問(wèn)題。于是要轉(zhuǎn)變思路，utf-8是好的編碼模式，所以我們要采用utf-8的編碼，而對(duì)方的又是gbk的，如何做呢？
$allcontent =iconv('gbk', 'utf-8',removetag(curl_exec($ch)));

本文題目：php網(wǎng)站制作中curl采集需要注意的一些地方和技巧
文章轉(zhuǎn)載：http://chinadenli.net/news21/245071.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供面包屑導(dǎo)航、做網(wǎng)站、企業(yè)網(wǎng)站制作、移動(dòng)網(wǎng)站建設(shè)、云服務(wù)器、小程序開(kāi)發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)