如何抓取某個(gè)網(wǎng)頁(yè)上的目錄下的所有數(shù)據(jù)

用火車頭采集器（）之類的采集工具就可以，采集頁(yè)面，自動(dòng)下載圖片。（但使用要求懂點(diǎn)html、js和正則表達(dá)式）先分析列表頁(yè)，取得所有書的內(nèi)容頁(yè)，再?gòu)膬?nèi)容頁(yè)中獲取需要的每一個(gè)內(nèi)容，圖片、價(jià)格、作者什么的。這是個(gè)標(biāo)準(zhǔn)的采集流程。火車頭免費(fèi)版采集的內(nèi)容是采到access里的

恒山ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場(chǎng)景，ssl證書未來(lái)市場(chǎng)廣闊！成為創(chuàng)新互聯(lián)的ssl證書銷售渠道，可以享受市場(chǎng)價(jià)格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18982081108（備注：SSL證書合作）期待與您的合作！

如何利用采集工具采集數(shù)據(jù)修改后發(fā)布到個(gè)人網(wǎng)站？

可以試著用一下前嗅ForeSpider采集軟件，不需要更改軟件本身，只要在里面配置一些規(guī)則，大部分都是可視化操作的，軟件底層為C++，采集速度和性能都是很不錯(cuò)的，而且免費(fèi)版的不限制任何功能（數(shù)據(jù)量大的話也可以購(gòu)買付費(fèi)的），免費(fèi)版的每天都有1000條可以用，而且支持MySQL、SqlServer等主流數(shù)據(jù)庫(kù)的同時(shí)，也有自己的非關(guān)系型數(shù)據(jù)庫(kù)ForeLib，可以采集將采集下來(lái)的數(shù)據(jù)，放到數(shù)據(jù)庫(kù)里面，再處理數(shù)據(jù)，手動(dòng)處理之后，通過(guò)接口調(diào)用數(shù)據(jù)庫(kù)的數(shù)據(jù)，傳輸?shù)阶约旱木W(wǎng)站就可以了。

火車頭采集速度，如何設(shè)置的慢點(diǎn)，因?yàn)椴杉鞎?huì)出現(xiàn)采集空信息？

一般程序中都有這樣的采集間隔控制。仔細(xì)找找。不熟悉這個(gè)軟件，但在熊貓采集里面，是嚴(yán)格控制采集速度的。

采集到的信息發(fā)布到遠(yuǎn)程SQLSERVER里面，一般的采集軟件都會(huì)具有該功能。但需要你設(shè)置好你的遠(yuǎn)程SQL SERVER數(shù)據(jù)的參數(shù)：IP（端口），庫(kù)名、用戶名、密碼。有些傳統(tǒng)采集軟件是先將信息采集到本地緩存，再發(fā)布到遠(yuǎn)程數(shù)據(jù)庫(kù)內(nèi)。但熊貓采集不是這樣，采集的結(jié)果是直接存儲(chǔ)到遠(yuǎn)程數(shù)據(jù)庫(kù)內(nèi)的。

請(qǐng)問(wèn)網(wǎng)頁(yè)數(shù)據(jù)采集需要哪些技術(shù)

asp或者asp.net是需要服務(wù)器支持xmlhttp組件的

php有個(gè)fopen選項(xiàng) 要把它改成true

這兩個(gè)是通過(guò)你的網(wǎng)站自己采集 是需要服務(wù)器支持

不過(guò)你也可以通過(guò)一些本地程序采集。。就是讓你的計(jì)算機(jī)自動(dòng)給你的網(wǎng)站采集添加文章 軟件比較NB的就是火車頭。。。本人經(jīng)常用這個(gè)吧某網(wǎng)站的東西采集到另一個(gè)網(wǎng)站 弄的這個(gè)網(wǎng)站的內(nèi)容亂七八糟。。。已達(dá)到干壞事的目的

對(duì)你你個(gè)人熟悉html代碼就可以 其實(shí)不用太熟悉。。。知道一點(diǎn)就成

比如網(wǎng)站的html代碼給你 你能找到里面那些內(nèi)容是你需要采集的,那些不用就行。。。其實(shí)很簡(jiǎn)單。。。個(gè)人也就學(xué)了幾分鐘就會(huì)了

請(qǐng)問(wèn)這種網(wǎng)頁(yè)我怎么采集到內(nèi)容啊？

網(wǎng)頁(yè)采集專家 1.2.114

軟件大小：2.57 MB

軟件語(yǔ)言：簡(jiǎn)體中文

軟件類別：國(guó)產(chǎn)軟件 / 試用版 / 網(wǎng)絡(luò)輔助

運(yùn)行環(huán)境：Win9x/Me/NT/2000/XP/2003

添加時(shí)間：2006-12-21 10:15:07

更新時(shí)間：2006-12-21 10:15:07

軟件添加：supermini

軟件評(píng)級(jí)：

會(huì)員級(jí)別：匿名用戶

聯(lián) 系 人：skytck@163.com

開(kāi) 發(fā) 商：

下載統(tǒng)計(jì)：本日：0 本周：0 本月：0 總計(jì)：0

軟件簡(jiǎn)介：

網(wǎng)頁(yè)采集專家》軟件是目前國(guó)內(nèi)外最先進(jìn)的信息采集軟件，可以將因特網(wǎng)上的網(wǎng)站信息保存到用戶的本地?cái)?shù)據(jù)庫(kù)中。適合任何access2000或sqlserver2000數(shù)據(jù)庫(kù)。它和一些同類軟件相比，具有：

1、兼容性強(qiáng)：“采集方”和“被采集方”都能適合任何網(wǎng)站，沒(méi)有模版限制，能自動(dòng)分析數(shù)據(jù)表和字段，甚至可以突破登陸限制。

2、采集速度快：目標(biāo)搜索速度可達(dá)10萬(wàn)條/時(shí)，采集速度可達(dá)3-4萬(wàn)篇/時(shí)，而其他產(chǎn)品最多只能達(dá)到5000篇/時(shí)。

3、不受空間的連接數(shù)限制。

4、操作簡(jiǎn)便：只要觀看一次教程，即可操作。可以保存配置和導(dǎo)入配置。

5、純綠色軟件，大小只有2.5M。

6、價(jià)格便宜：正式版只要300元，價(jià)格是其他產(chǎn)品的1/10。300元的價(jià)格=30000元的價(jià)值！

并具備以下功能：

1、連接數(shù)據(jù)庫(kù)：連接數(shù)據(jù)庫(kù)就像打開(kāi)一個(gè)普通文檔一樣簡(jiǎn)單。

2、分析數(shù)據(jù)庫(kù)：連接后，軟件能自動(dòng)分析您數(shù)據(jù)庫(kù)的數(shù)據(jù)表和字段，即使不懂?dāng)?shù)據(jù)庫(kù)的人也可以操作。

3、獲取目標(biāo)：有手動(dòng)、半自動(dòng)、全自動(dòng)三種方式可供選用，獲取有效目標(biāo)URL方便快捷。

4、數(shù)據(jù)保存：數(shù)據(jù)邊采集邊自動(dòng)保存到您的數(shù)據(jù)庫(kù)中。

5、斷點(diǎn)續(xù)采：信息采集任務(wù)可以在中斷后手動(dòng)導(dǎo)出URL列表，導(dǎo)入后可從斷點(diǎn)開(kāi)始繼續(xù)采集。

6、文件下載：可以“遠(yuǎn)程抓圖”將采集到的圖片、SWF等下載保存到本地磁盤中。

7、結(jié)果分類：可以根據(jù)用戶定義的分類信息進(jìn)行采集結(jié)果的自動(dòng)分類。

8、結(jié)果替換：可以將采集的結(jié)果根據(jù)規(guī)則替換成你定義的內(nèi)容。

9、網(wǎng)站登錄： 支持網(wǎng)站登錄，并支持網(wǎng)站Cookie，即使需要驗(yàn)證碼才能登錄的網(wǎng)站也能輕松穿過(guò)。

10、瀏覽數(shù)據(jù)：直接可以瀏覽數(shù)據(jù)庫(kù)里的每條記錄。

11、執(zhí)行SQL：通過(guò)執(zhí)行SQL查詢語(yǔ)句，直接操縱數(shù)據(jù)庫(kù)，功能強(qiáng)大，無(wú)所不能。

;sID=0

網(wǎng)絡(luò)采集工具，可以把數(shù)據(jù)放到數(shù)據(jù)庫(kù)中的

通用的采集軟件都可以進(jìn)行采集數(shù)據(jù)的發(fā)布，介紹三款軟件，自己選擇：

網(wǎng)絡(luò)神采 共享版 采集規(guī)則自定義，可采集任意網(wǎng)站數(shù)據(jù)。可發(fā)布access、mssql、mysql，付費(fèi)后還可發(fā)布到oracle。但網(wǎng)絡(luò)神采共享版對(duì)采集任務(wù)數(shù)據(jù)由最大限制，好像是只能采集300條數(shù)據(jù)，用起來(lái)很不爽，其他的版本價(jià)格個(gè)人認(rèn)為偏高。

火車頭 免費(fèi)版 采集規(guī)則配置起來(lái)略微復(fù)雜，也可發(fā)布access、sqlserver、mysql及oracle。但免費(fèi)版受限較大，此方面可以參看 進(jìn)行版本功能比較。

Soukey采摘 唯一一款開(kāi)源免費(fèi)的軟件，功能與火車頭網(wǎng)絡(luò)神采類似 ，支持采集規(guī)則自定義，在此方面與火車頭網(wǎng)絡(luò)神采類似，數(shù)據(jù)庫(kù)發(fā)布支持Access、sqlserver及Mysql。如果具備一定的技術(shù)基礎(chǔ)，建議使用soukey采摘，靈活不受限制，可以針對(duì)自己的網(wǎng)站規(guī)則進(jìn)行修正。源代碼可在 下載。

我個(gè)人采集經(jīng)驗(yàn)，采集的數(shù)據(jù)一般很難滿足數(shù)據(jù)庫(kù)要求規(guī)則，一般都需要進(jìn)行數(shù)據(jù)加工，或者采用web方式發(fā)布數(shù)據(jù)。所以，建議選擇可以帶有一定數(shù)據(jù)加工的采集軟件，會(huì)很方便的。

分享題目：火車頭sqlserver,火車頭怎么畫
當(dāng)前URL：http://chinadenli.net/article41/dsesehd.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機(jī)、企業(yè)網(wǎng)站制作、Google、微信公眾號(hào)、商城網(wǎng)站、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)