這篇文章將為大家詳細(xì)講解有關(guān)node crawler添加promise支持的方法，小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)建站專注于科爾沁右翼中網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠(chéng)為您提供科爾沁右翼中營(yíng)銷型網(wǎng)站建設(shè)，科爾沁右翼中網(wǎng)站制作、科爾沁右翼中網(wǎng)頁(yè)設(shè)計(jì)、科爾沁右翼中網(wǎng)站官網(wǎng)定制、小程序制作服務(wù)，打造科爾沁右翼中網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供科爾沁右翼中網(wǎng)站排名全網(wǎng)營(yíng)銷落地服務(wù)。

背景

最近在組內(nèi)做一些爬蟲(chóng)相關(guān)的工作，本來(lái)想自己簡(jiǎn)單造個(gè)輪子的，但是經(jīng)網(wǎng)友推薦后，采用了node-crawler，用了一段時(shí)間過(guò)后，確實(shí)滿足了我的絕大部分需求，但是其 api 卻不支持 promise，而且我還需要一些同步爬取、同步處理的能力，如果不用 promise 的話，寫(xiě)法很不優(yōu)雅，所以我就簡(jiǎn)單地給其封裝了一層 promise api

現(xiàn)狀

目前 node-crawler 的使用方式不支持 promise ，這里直接給出 npm 上的使用例子

const Crawler = require("crawler")

// 實(shí)例化
const c = new Crawler({
  // ... 可以傳入一些配置
  callback : function (error, res, done) {
    // 請(qǐng)求回調(diào)，實(shí)例化的時(shí)候傳入的 callback 是作為默認(rèn) callback 的，后續(xù)每次抓取如果沒(méi)有傳入 callback，那么都會(huì)調(diào)用默認(rèn) callback
    done();
  }
})

// 爬取
c.queue([{
  uri: 'http://parishackers.org/',
  jQuery: false,
 
  // The global callback won't be called
  callback: function (error, res, done) {
    if(error){
      console.log(error);
    }else{
      console.log('Grabbed', res.body.length, 'bytes');
    }
    done();
  }
}])

這樣的回調(diào)方式對(duì)于多爬蟲(chóng)同步爬取很不友好

改造

理想使用方式：

const Crawler = require('crawler')

const c = new Crawler({
  // 一些默認(rèn)配置
})

c
.queue({
  uri: 'xxx'
})
.then(res => {
  // 抓取成功
})
.catch(err => {
  // 抓取失敗
})

改造方案：

// utils/crawler.js
const Crawler = require('crawler')
const defaultOptions = {
 jQuery: false,
 rateLimit: fetchRateLimit,
 retries: 0,
 timeout: fetchTimeout,
}

module.exports = class PromiseifyCrawler extends Crawler {
  // namespace 是為了后續(xù)抓取結(jié)果統(tǒng)一上報(bào)時(shí)候進(jìn)行區(qū)分
  constructor(namespace = 'unknow', options = {}) {
   if (typeof namespace === 'object') {
    options = namespace
    namespace = 'unknow'
   }
   
   options = merge({}, defaultOptions, options)

   const cb = options.callback
   options.callback = (err, res, done) => {
    typeof cb === 'function' && cb(err, res, noop)
    process.nextTick(done)
    // 在這里可以自定義抓取成功還是失敗
    // 我這里直接設(shè)置的是如果 http code 不是 200 就視為錯(cuò)誤
    // 而且在這里也可以做一些抓取成功失敗的統(tǒng)計(jì)
    if (err || res.statusCode !== 200) {
     if (!err) err = new Error(`${res.statusCode}-${res.statusMessage}`)
     err.options = res.options
     err.options.npolisReject(err)
    } else {
     res.options.npolisResolve(res)
    }
   }
   options.headers = Object.assign({}, options.headers, {
    'X-Requested-With': 'XMLHttpRequest',
   })
   super(options)
  }
 
  queue(options = {}) {
   // 每次抓取都是一個(gè)新的 promise
   return new Promise((resolve, reject) => {
    // 然后在 options 里掛載上 resolve 和 reject
    // 這樣在全局 callback 上就可以用到了
    options.npolisResolve = resolve
    options.npolisReject = reject

    const pr = options.preRequest
    options.preRequest = (options, done) => {
     typeof pr === 'function' && pr(options, noop)
     // 在這里也可以做一些通用的抓取前的處理
     
     done()
    }

    super.queue(options)
   })
  }
  
  // direct api 同理
 }
// 使用
const Crawler = require('./utils/crawler')

const crawler = new Crawler('示例爬蟲(chóng) namespace')

crawler
.queue({
 uri: 'xxx',
 preRequest: options => log('開(kāi)始抓取'),
})
.then(res => {
 log('爬取成功')
 return res
})
.catch(err => {
 log('爬取失敗')
 throw err
})
promise 化后，多個(gè)爬取任務(wù)同步爬取寫(xiě)法就友好多了：

// 抓取任務(wù)1
const fetchTask1 = () => crawler.queue({/* 配置 */}).then(res => handle(res))
// 抓取任務(wù)2
const fetchTask2 = () => crawler.queue({/* 配置 */}).then(res => handle(res))

const fetch = () => {
  return Promise.all([
    fetchTask1(),
    fetchTask2(),
  ])
}

fetch()

這樣就完成了對(duì) node-crawler 的 promise 化改造了

關(guān)于“node crawler添加promise支持的方法”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。

名稱欄目：nodecrawler添加promise支持的方法
本文URL：http://chinadenli.net/article16/gpppdg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供、搜索引擎優(yōu)化、全網(wǎng)營(yíng)銷推廣、網(wǎng)站維護(hù)、標(biāo)簽優(yōu)化、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)