批量導出某個簡書用戶的所有文章列表和文章超鏈接
簡書改版后，根據文章標題搜索文章的功能就不見了。
創(chuàng)新互聯(lián)公司服務項目包括閩清網站建設、閩清網站制作、閩清網頁制作以及閩清網絡營銷策劃等。多年來，我們專注于互聯(lián)網行業(yè)，利用自身積累的技術優(yōu)勢、行業(yè)經驗、深度合作伙伴關系等，向廣大中小型企業(yè)、政府機構等提供互聯(lián)網行業(yè)的解決方案，閩清網站推廣取得了明顯的社會效益與經濟效益。目前，我們服務的客戶以成都為中心已經輻射到閩清省份的部分城市，未來相信會繼續(xù)擴大服務區(qū)域并繼續(xù)獲得客戶的支持與信任！
雖然簡書提供了批量下載文章的功能，但是下載到本地的文章都是markdown格式的，不包含文章的鏈接，這不滿足我的需求。
既然我是程序員，沒有這個功能我就自己實現一個。
打開簡書首頁，發(fā)現默認只顯示8篇文章，用鼠標滑動到屏幕底部后，會觸發(fā)一個懶加載事件，到后臺讀取更多的文章列表，所以文章讀取在服務器端是采取的分頁實現。
打開Chrome開發(fā)者工具，觀察網絡請求，請求url中99b8712e8850是我簡書用戶id，page=2，3，4這些是分頁代碼。
每頁的文章內容以html格式包含在響應結構里：
我關心的只是文章標題和文章鏈接，如上圖高亮字段所示。
最開始我寫了一個nodejs應用，代碼如下：
var request = require('request');var jsdom = require("jsdom");var JSDOM = jsdom.JSDOM;const PREFIX = "https://www.jianshu.com";const PAGE = "https://www.jianshu.com/u/99b8712e8850?order_by=shared_at&page=";const MAX = 2;var mArticleResult = new Map();var pageNumber;/* a given article: https://www.jianshu.com/p/963cd23fb092
value got from API: /p/5c1d0319dc42
*/var lastPageReached = false;var url = "";var aHandlers = [];// use limited for loop to ease testingfor(var i = 0; i < MAX; i++){
pageNumber = i + 1; var url = PAGE + pageNumber; // console.log("current page: " + url);
var pageOptions = { url: url, method: "GET", headers: { "Accept": "text/html"
}
};
aHandlers.push(getArticles(pageOptions, pageNumber)); if( lastPageReached) break;
}console.log("promise handler size: " + aHandlers.length);Promise.all(aHandlers).then(function(){ var articleIndex = 0; for (var [key, value] of mArticleResult) { console.log("Article[" + articleIndex++ + "]: " + key + " = " + value);
} console.log("done");
}
);function getArticles(pageOptions, pageNumber) { return new Promise(function(resolve,reject){ var requestC = request.defaults({jar: true});
requestC(pageOptions,function(error,response,body){ if( error){ console.log("error: " + error);
resolve(error);
} var document = new JSDOM(body).window.document; var content = document.getElementsByTagName("li"); for( var i =0; i < content.length; i++){ var li = content[i]; var children = li.childNodes; for( var j = 0; j < children.length; j++){ var eachChild = children[j]; if( eachChild.nodeName == "DIV"){ var grandChild = eachChild.childNodes; for( var k = 0; k < grandChild.length; k++){ var grand = grandChild[k]; if( grand.nodeName == "A"){ var fragment = grand.getAttribute("href"); if( fragment.indexOf("/p") < 0) continue; console.log("title: " + grand.text); var wholeURL = PREFIX + fragment; console.log("url: " + wholeURL); if( mArticleResult.has(grand.text)){
lastPageReached = true; console.log("article size: " + mArticleResult.size);
resolve(pageNumber);
}
mArticleResult.set(grand.text, wholeURL);
}
}
}
}
}// end of outer loop
resolve(pageNumber);
});
});
}
原理就是使用nodejs的request module，向簡書網站同時發(fā)起多個請求，每個請求讀取一頁的簡書文章。
后來發(fā)現這種方法在并發(fā)請求數大于10個的時候就無法工作，簡書網站會拒絕該類請求，返回HTTP 429狀態(tài)碼。
所以最后我采用了最簡單的同步請求實現，使用了nodejs提供的sync-request在循環(huán)里發(fā)起請求。
var request = require("sync-request");var jsdom = require("jsdom");var JSDOM = jsdom.JSDOM;var textEncoding = require('text-encoding');
var textDecoder = textEncoding.TextDecoder;const PREFIX = "https://www.jianshu.com";const PAGE = "https://www.jianshu.com/u/99b8712e8850?order_by=shared_at&page=";const MAX = 100;var mArticleResult = new Map();var lastPageReached = false;var pageNumber;/* a given article: https://www.jianshu.com/p/963cd23fb092
value got from API: /p/5c1d0319dc42
*/try { // use limited for loop to ease testing
for (var i = 0; i < MAX; i++) { if( lastPageReached) break;
pageNumber = i + 1; var url = PAGE + pageNumber; console.log("current page: " + url); var response = request('GET', url); var html = new textDecoder("utf-8").decode(response.body);
handleResponseHTML(html);
}
}
catch (e) {
}var articleIndex = 0;var resultHTML = "<html>";const fs = require('fs');/*
<HTML>
<p>
<a href="https://www.baidu.com">eee</a>
</p>
<p><a>22</a></p>
<p><a>33</a></p>
</HTML>
*/var index = 1;for (var [key, value] of mArticleResult) { var article = "<p><a href=\"" + key + "\">" +
index++ + ". " + value + "</a></p>" + "\n";
resultHTML = resultHTML + article; console.log("Article[" + articleIndex++ + "]: " + value + " = " + key);
}
resultHTML = resultHTML + "</html>";var pwd = process.cwd() + "/jianshu.html";
fs.appendFileSync(pwd, resultHTML);console.log("done");function handleResponseHTML(html) { var document = new JSDOM(html).window.document; var content = document.getElementsByTagName("li"); for (var i = 0; i < content.length; i++) { var li = content[i]; var children = li.childNodes; for (var j = 0; j < children.length; j++) { var eachChild = children[j]; if (eachChild.nodeName == "DIV") { var grandChild = eachChild.childNodes; for (var k = 0; k < grandChild.length; k++) { var grand = grandChild[k]; if (grand.nodeName == "A") { var fragment = grand.getAttribute("href"); if (fragment.indexOf("/p") < 0) continue; // console.log("title: " + grand.text);
var wholeURL = PREFIX + fragment; // console.log("url: " + wholeURL);
if (mArticleResult.has(wholeURL)) {
lastPageReached = true; console.log("article size: " + mArticleResult.size); return;
}
mArticleResult.set(wholeURL, grand.text);
}
}
}
}
}
}
這個nodejs應用執(zhí)行后，會在本地生成一個html文件，包含每篇文章的標題和超鏈接。
要獲取更多Jerry的原創(chuàng)文章，請關注公眾號"汪子熙":
網站題目：批量導出某個簡書用戶的所有文章列表和文章超鏈接
轉載注明：http://chinadenli.net/article2/ppeoic.html
成都網站建設公司_創(chuàng)新互聯(lián)，為您提供網頁設計公司、Google、網站維護、小程序開發(fā)、營銷型網站建設、搜索引擎優(yōu)化
聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)
- 企業(yè)搭建網站該選擇哪里的建站公司？ 2021-06-22
- 企業(yè)網站設計開發(fā)時建站公司與企業(yè)如何做到高效率的溝通？ 2022-05-22
- 大型網站建站公司是怎么收費的？ 2016-09-23
- 選擇建站公司技巧 2017-08-10
- 網站建設好后是很有必要交給建站公司做維護的 2021-03-29
- 企業(yè)做網站找建站公司做還是自己招人做好呢？ 2016-11-11
- 高端品牌網站建設哪家建站公司好 2022-08-13
- 成都建站公司教如何規(guī)劃網站計劃 2023-03-15
- 成都建站公司解答為什么企業(yè)越來越喜歡建站？ 2023-03-08
- 怎么判斷建站公司的建站能力？ 2021-06-20
- 創(chuàng)新互聯(lián)：為何建站公司的土特產商城訂單特別多？ 2022-11-15
- 互聯(lián)網技術上邊的建站公司是不是能夠 信賴 2016-11-14