php curl 大量數(shù)據(jù)采集

這個(gè)需要配合js，打開一個(gè)html頁(yè)面，首先js用ajax請(qǐng)求頁(yè)面，返回第一個(gè)頁(yè)面信息確定處理完畢（ajax有強(qiáng)制同步功能），ajax再訪問第二個(gè)頁(yè)面。（或者根據(jù)服務(wù)器狀況，你可以同時(shí)提交幾個(gè)URL，跑幾個(gè)相同的頁(yè)面）

創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比同心網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式同心網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋同心地區(qū)。費(fèi)用合理售后完善，十年實(shí)體公司更值得信賴。

參數(shù)可以由js產(chǎn)生并傳遞url，php后臺(tái)頁(yè)面根據(jù)URL抓頁(yè)面。然后ajax通過php，在數(shù)據(jù)庫(kù)或者是哪里設(shè)一個(gè)標(biāo)量，標(biāo)明檢測(cè)到哪里。由于前臺(tái)的html頁(yè)面執(zhí)行多少時(shí)候都沒問題，這樣php的內(nèi)存限制和執(zhí)行時(shí)間限制就解決了。

因?yàn)椴粫?huì)浪費(fèi)大量的資源用一個(gè)頁(yè)面來(lái)跑一個(gè)瞬間500次的for循環(huán)了。（你的500次for循環(huán)死了原因可能是獲取的數(shù)據(jù)太多，大過了php限制的內(nèi)存）

不過印象中curl好像也有強(qiáng)制同步的選項(xiàng)，就是等待一個(gè)抓取后再執(zhí)行下一步。但是這個(gè)500次都是用一個(gè)頁(yè)面線程處理，也就是說(shuō)肯定會(huì)遠(yuǎn)遠(yuǎn)大于30秒的默認(rèn)執(zhí)行時(shí)間。

怎么用php采集網(wǎng)站數(shù)據(jù)

簡(jiǎn)單的分了幾個(gè)步驟：

1、確定采集目標(biāo)

2、獲取目標(biāo)遠(yuǎn)程頁(yè)面內(nèi)容（curl、file_get_contents）

3、分析頁(yè)面html源碼，正則匹配你需要的內(nèi)容（preg_match、preg_match_all），這一步最為重要，不同頁(yè)面正則匹配規(guī)則不一樣

4、入庫(kù)

用PHP做一個(gè)抓站工具，懂的進(jìn)

我是做數(shù)據(jù)采集的，

在我看來(lái)，除了輸入驗(yàn)證碼 ， 沒有什么能對(duì)我起到很好的防采集，

一般大的網(wǎng)站都是采用 網(wǎng)頁(yè)加入一次性隨機(jī)值 ，再有前端JS 生成秘鑰 ，最后一并提交加密了的數(shù)據(jù) ，這種沒什么效果 。對(duì)一般的人可以做下防御 。但是，我只要找出它的JS加密函數(shù) 。 使用一個(gè)JS服務(wù)器（node.js）,或php的 php 改寫的js加密實(shí)現(xiàn)過程 ，加密初始值，再模擬發(fā)送 。所以，這個(gè)也沒什么多大作用 。

對(duì)于驗(yàn)證碼 ，一般簡(jiǎn)單的都可以程序識(shí)別 ，復(fù)雜的提交到前臺(tái)讓手動(dòng)輸入 。再一并發(fā)送。 這種用戶體驗(yàn)不好。 慎行。

總的來(lái)說(shuō)，建議用JS 加密吧 。

但是，還是防御不了。

我一般用 filefox 的 filebug 或 小提琴工具 。

目前大半年了，沒有破解不了的網(wǎng)站 。

我用我的php程序 ，可以操作你的網(wǎng)站 。實(shí)現(xiàn) 用戶操作 我的php程序 ，我的php程序 再去操作源網(wǎng)站 。

你可以去研究下 58同城網(wǎng) 的登錄 。那里面一堆的加密 。 在我看來(lái)都是垃圾代碼 。 我的程序一鍵登錄進(jìn)去。

PHP如何接收外部數(shù)據(jù)，比如我想要‘東方財(cái)富網(wǎng)’的股票數(shù)據(jù)，如何做連接？

首先考慮對(duì)方API，不過我估計(jì)中國(guó)人的網(wǎng)站沒幾個(gè)開API的。

亞馬遜就有API，你可以調(diào)取圖書信息。

要么根據(jù)鏈接，獲取整個(gè)網(wǎng)頁(yè)內(nèi)容，然后用正則表達(dá)式獲取指定部分?jǐn)?shù)據(jù)。

可以參考 的數(shù)據(jù)采集教程

文章標(biāo)題：php采集網(wǎng)頁(yè)數(shù)據(jù)賺錢 php采集網(wǎng)頁(yè)數(shù)據(jù)賺錢是真的嗎
新聞來(lái)源：http://chinadenli.net/article20/dojipco.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App設(shè)計(jì)、網(wǎng)站設(shè)計(jì)、ChatGPT、網(wǎng)站設(shè)計(jì)公司、營(yíng)銷型網(wǎng)站建設(shè)、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)